知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2021-12-13
(45)【発行日】2022-01-13
(54)【発明の名称】自動化された心臓ボリュームセグメンテーション
(51)【国際特許分類】
A61B 5/055 20060101AFI20220105BHJP
G06T 7/00 20170101ALI20220105BHJP
【ＦＩ】
A61B5/055 380
G06T7/00 612
G06T7/00 350C
【請求項の数】
18
(21)【出願番号】P 2018527794
(86)(22)【出願日】2016-11-29
(65)【公表番号】
(43)【公表日】2019-02-21
(86)【国際出願番号】 US2016064028
(87)【国際公開番号】W WO2017091833
(87)【国際公開日】2017-06-01
【審査請求日】2019-10-25
(31)【優先権主張番号】62/260,565
(32)【優先日】2015-11-29
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/415,666
(32)【優先日】2016-11-01
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】516215925
【氏名又は名称】アーテリーズ インコーポレイテッド
(74)【代理人】
【識別番号】110001243
【氏名又は名称】特許業務法人 谷・阿部特許事務所
(72)【発明者】
【氏名】ダニエル アービング ゴールデン
(72)【発明者】
【氏名】ジョン アクセリオ－シリーズ
(72)【発明者】
【氏名】マシュー リー
(72)【発明者】
【氏名】トリン アルニ ターラム
(72)【発明者】
【氏名】ジェシー リーマン－シフリー
【審査官】伊知地 和之
(56)【参考文献】
【文献】米国特許出願公開第２０１５／０２３８１４８（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１３／０３３６５５３（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１５／０１１７７６０（ＵＳ，Ａ１）
【文献】特表２０１２－５１２７３０（ＪＰ，Ａ）
【文献】特表２０１１－５２３１４７（ＪＰ，Ａ）
【文献】特表２０１１－５２７０５５（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１１／０１２３２５３（ＵＳ，Ａ１）
【文献】米国特許出願公開第２００９／００８０７４５（ＵＳ，Ａ１）
【文献】特開２０１５－１５４９１８（ＪＰ，Ａ）
【文献】特開２０１５－１３１０２３（ＪＰ，Ａ）
【文献】Olaf Ronneberger et al.，"U-Net: Convolutional Networks for Biomedical Image Segmentation"，International Conference on Medical Image Computiong and Computer-Assisted Intervention MICCAI 2015，2015年11月18日，pp.234-241
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ５／００ － ５／０１
Ａ６１Ｂ ５／０５５
Ａ６１Ｂ ６／００ － ６／１４
Ｇ０１Ｎ ２４／００ － ２４／１４
Ｇ０１Ｒ ３３／２８ － ３３／６４
Ｇ０６Ｔ ７／００ － ７／９０
(57)【特許請求の範囲】
【請求項1】
機械学習システムであって、プロセッサ実行可能命令又はデータのうちの少なくとも１つを記憶する少なくとも１つの非一時的プロセッサ可読記憶媒体と、
前記少なくとも１つの非一時的プロセッサ可読記憶媒体に通信可能に結合された少なくとも１つのプロセッサとを備え、前記少なくとも１つのプロセッサは、
複数のバッチのラベル付けされた画像セットを備える学習データを受け取ることであって、各画像セットは、解剖構造を表す画像データを備え、各画像セットは、前記画像セットの各画像において描かれた前記解剖構造の特定部分の領域を識別する少なくとも１つのラベルを含む、受け取ることと、
前記受け取られた学習データを利用して前記解剖構造の少なくとも一部分をセグメント化するように完全畳み込みニューラルネットワーク（ＣＮＮ）モデルをトレーニングすることであって、前記ＣＮＮモデルは、収縮経路及び拡張経路を備え、前記収縮経路は、いくつかの畳み込みレイヤ及びいくつかのプーリングレイヤを含み、各プーリングレイヤは、少なくとも１つの畳み込みレイヤによって先行され、前記拡張経路は、いくつかの畳み込みレイヤ及びいくつかのアップサンプリングレイヤを含み、各アップサンプリングレイヤは、少なくとも１つの畳み込みレイヤによって先行され、学習されたカーネルを用いてアップサンプリング及び補間を行う転置畳み込み操作を備える、該トレーニングすることと、
前記トレーニングされたＣＮＮモデルを、前記機械学習システムの前記少なくとも１つの非一時的プロセッサ可読記憶媒体に記憶することと
を行うことを特徴とする機械学習システム。
【請求項2】
各アップサンプリングレイヤに続いて、前記ＣＮＮモデルは、スキップ接続を介して前記収縮経路における対応するレイヤからの特徴マップの連結を含むことを特徴とする請求項１に記載の機械学習システム。
【請求項3】
機械学習システムであって、プロセッサ実行可能命令又はデータのうちの少なくとも１つを記憶する少なくとも１つの非一時的プロセッサ可読記憶媒体と、
前記少なくとも１つの非一時的プロセッサ可読記憶媒体に通信可能に結合された少なくとも１つのプロセッサとを備え、前記少なくとも１つのプロセッサは、
複数のバッチのラベル付けされた画像セットを備える学習データを受け取ることであって、各画像セットは、解剖構造を表す画像データを備え、各画像セットは、前記画像セットの各画像において描かれた前記解剖構造の特定部分の領域を識別する少なくとも１つのラベルを含む、受け取ることと、
前記受け取られた学習データを利用して前記解剖構造の少なくとも一部分をセグメント化するように完全畳み込みニューラルネットワーク（ＣＮＮ）モデルをトレーニングすることであって、前記ＣＮＮモデルは、いくつかの畳み込みレイヤを含み、前記ＣＮＮモデルは、ゼロパディング操作を使用して各畳み込みレイヤへの入力をパディングする、該トレーニングすることと、
前記トレーニングされたＣＮＮモデルを、前記機械学習システムの前記少なくとも１つの非一時的プロセッサ可読記憶媒体に記憶することと
を行うことを含み、
前記ＣＮＮモデルは、収縮経路及び拡張経路を備え、前記収縮経路は、いくつかの畳み込みレイヤ及びいくつかのプーリングレイヤを含み、各プーリングレイヤは、少なくとも１つの畳み込みレイヤによって先行され、前記拡張経路は、いくつかの畳み込みレイヤ及びいくつかのアップサンプリングレイヤを含み、各アップサンプリングレイヤは、少なくとも１つの畳み込みレイヤによって先行され、学習されたカーネルを用いてアップサンプリング及び補間を行う転置畳み込み操作を備えたことを特徴とする機械学習システム。
【請求項4】
前記画像データは、心周期全体にわたる１つ又は複数の時点における心臓を表すことを特徴とする請求項３に記載の機械学習システム。
【請求項5】
前記画像データは、超音波データ又は可視光写真データを含むことを特徴とする請求項４に記載の機械学習システム。
【請求項6】
機械学習システムであって、プロセッサ実行可能命令又はデータのうちの少なくとも１つを記憶する少なくとも１つの非一時的プロセッサ可読記憶媒体と、
前記少なくとも１つの非一時的プロセッサ可読記憶媒体に通信可能に結合された少なくとも１つのプロセッサとを備え、前記少なくとも１つのプロセッサは、
複数のバッチのラベル付けされた画像セットを備える学習データを受け取ることであって、各画像セットは、解剖構造を表す画像データを備え、各画像セットは、前記画像セットの各画像において描かれた前記解剖構造の特定部分の領域を識別する少なくとも１つのラベルを含む、受け取ることと、
前記複数のバッチのラベル付けされた画像セットにおける前記画像データの少なくとも一部の修正を介して、前記学習データを補強することと、
前記受け取られた学習データを利用して前記解剖構造の少なくとも一部分をセグメント化するように完全畳み込みニューラルネットワーク（ＣＮＮ）モデルをトレーニングすることと、
前記トレーニングされたＣＮＮモデルを、前記機械学習システムの前記少なくとも１つの非一時的プロセッサ可読記憶媒体に記憶することと
を行うことを特徴とする機械学習システム。
【請求項7】
前記少なくとも１つのプロセッサは、水平フリップ、垂直フリップ、切り取り量、シフト量、ズーム量、回転量、輝度レベル、又はコントラストレベルのうちの少なくとも１つに応じて、前記複数のバッチのラベル付けされた画像セットにおける前記画像データの少なくとも一部を修正する
ことを特徴とする請求項６に記載の機械学習システム。
【請求項8】
前記少なくとも１つのプロセッサは、各画像セットについて、前記画像セットが前記解剖構造の複数の部分のいずれかに対するラベルを欠損しているかどうかを識別し、
少なくとも１つのラベルを欠損していると識別された画像セットについて、前記識別された欠損ラベルを説明するようにトレーニング損失関数を修正する
ことを特徴とする請求項６に記載の機械学習システム。
【請求項9】
前記画像データは、ボリューム測定用画像を含み、各ラベルは、ボリューム測定用ラベルマスク又は輪郭を含むことを特徴とする請求項６に記載の機械学習システム。
【請求項10】
前記ＣＮＮモデルの各畳み込みレイヤは、サイズＮ×Ｎ×Ｋピクセルの畳み込みカーネルを含み、Ｎ及びＫは、正の整数であることを特徴とする請求項９に記載の機械学習システム。
【請求項11】
前記ＣＮＮモデルの各畳み込みレイヤは、サイズＮ×Ｍピクセルの畳み込みカーネルを含み、Ｎ及びＭは、正の整数であることを特徴とする請求項６に記載の機械学習システム。
【請求項12】
前記画像データは、心周期全体にわたる１つ又は複数の時点における心臓を表し、前記複数のバッチのラベル付けされた画像セットのサブセットは、乳頭筋を除外したラベルを含むことを特徴とする請求項６に記載の機械学習システム。
【請求項13】
各処理された画像について、前記ＣＮＮモデルは、空間に関して前記処理された画像に隣接するか、又は時間に関して前記処理された画像に隣接するかの少なくとも一方である少なくとも１つの画像についてのデータを利用することを特徴とする請求項６に記載の機械学習システム
【請求項14】
機械学習システムであって、プロセッサ実行可能命令又はデータのうちの少なくとも１つを記憶する少なくとも１つの非一時的プロセッサ可読記憶媒体と、
前記少なくとも１つの非一時的プロセッサ可読記憶媒体に通信可能に結合された少なくとも１つのプロセッサとを備え、前記少なくとも１つのプロセッサは、
複数のバッチのラベル付けされた画像セットを備える学習データを受け取ることであって、各画像セットは、解剖構造を表す画像データを備え、各画像セットは、前記画像セットの各画像において描かれた前記解剖構造の特定部分の領域を識別する少なくとも１つのラベルを含む、受け取ることと、
前記受け取られた学習データを利用して前記解剖構造の少なくとも一部分をセグメント化するように完全畳み込みニューラルネットワーク（ＣＮＮ）モデルをトレーニングすることであって、前記ＣＮＮモデルは、前記少なくとも１つの非一時的プロセッサ可読記憶媒体に記憶された複数のハイパーパラメータを含み、
複数の構成に従って前記ＣＮＮモデルを構成することであって、各構成は、前記ハイパーパラメータの値の異なる組み合わせを備える、該構成することと、
前記複数の構成の各々について、前記ＣＮＮモデルの精度を検証することと、
前記検証により決定された前記精度に少なくとも部分的に基づいて、少なくとも１つの構成を選択することと、
前記トレーニングされたＣＮＮモデルを、前記機械学習システムの前記少なくとも１つの非一時的プロセッサ可読記憶媒体に記憶することと
を行うことを特徴とする機械学習システム。
【請求項15】
プロセッサ実行可能命令又はデータのうちの少なくとも１つを記憶する少なくとも１つの非一時的プロセッサ可読記憶媒体と、前記少なくとも１つの非一時的プロセッサ可読記憶媒体に通信可能に結合された少なくとも１つのプロセッサとを備える機械学習システムを動作させる方法であって、前記少なくとも１つのプロセッサによって、複数のバッチのラベル付けされた画像セットを備える学習データを受け取るステップであって、各画像セットは、解剖構造を表す画像データを備え、各画像セットは、前記画像セットの各画像において描かれた前記解剖構造の特定部分の領域を識別する少なくとも１つのラベルを含む、該受け取るステップと、
前記少なくとも１つのプロセッサによって、各画像セットについて、前記画像セットが前記解剖構造の複数の部分のいずれかに対するラベルを欠損しているかどうかを識別するステップと、
前記少なくとも１つのプロセッサによって、少なくとも１つのラベルを欠損していると識別された画像セットについて、前記識別された欠損ラベルを説明するようにトレーニング損失関数を修正するステップと、
前記少なくとも１つのプロセッサによって、前記受け取られた学習データを利用して前記解剖構造の少なくとも一部分をセグメント化するように完全畳み込みニューラルネットワーク（ＣＮＮ）モデルをトレーニングするステップと、
前記少なくとも１つのプロセッサによって、前記トレーニングされたＣＮＮモデルを、前記機械学習システムの前記少なくとも１つの非一時的プロセッサ可読記憶媒体に記憶するステップと
を含むことを特徴とする方法。
【請求項16】
各処理された画像について、前記ＣＮＮモデルは、空間に関して前記処理された画像に隣接する少なくとも１つの画像についてのデータを利用し、時間に関して前記処理された画像に隣接する少なくとも１つの画像についてのデータを利用することを特徴とする請求項１５に記載の方法。
【請求項17】
各処理された画像について、前記ＣＮＮモデルは、時間情報又は位相情報のうちの少なくとも１つを利用することを特徴とする請求項１５に記載の方法。
【請求項18】
前記画像データは、定常自由歳差運動（ＳＳＦＰ）磁気共鳴イメージング（ＭＲＩ）データ又は４ＤフローＭＲＩデータのうちの少なくとも１つを含むことを特徴とする請求項１５に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、概して、解剖構造の自動化されたセグメンテーションに関する。
【背景技術】
【0002】
磁気共鳴イメージング（ＭＲＩ）は、心臓病を持つか、それが疑われる患者を評価するための心臓イメージングにおいてしばしば使用される。特に、心臓ＭＲＩは、心臓の高解像度シネ画像を精密に捕捉するその能力によって、心不全及び類似の病態に関係付けられた尺度（metrics）を定量化するために使用され得る。これらの高解像度画像は、心臓の関連する解剖学的領域（例えば、心室及び筋肉など）のボリュームが、手動で、又は半自動化もしくは全自動化されたソフトウェアの助けによって測定されることを可能にする。
【0003】
心臓ＭＲＩシネシーケンスは、１つ又は複数の空間スライスからなり、空間スライスの各々が、心周期全体にわたる複数の時点（例えば、２０個の時点）を含む。典型的には、以下のビューのいくつかのサブセットが別個の系列として捕捉される：短軸（ＳＡＸ）ビューは、左心室の長軸に沿ったスライスの系列からなる。各スライスは、この心室の長軸に直交する左心室の短軸の平面内にある；２チャンバー（2-chamber）（２ＣＨ）ビューは、左心室及び左心房又は右心室及び右心房のいずれかを示す長軸（ＬＡＸ）ビューであり；３チャンバー（３ＣＨ）ビューは、左心室、左心房及び大動脈、又は右心室、右心房及び大動脈のいずれかを示すＬＡＸビューであり；４チャンバー（４ＣＨ）ビューは、左心室、左心房、右心室及び右心房を示すＬＡＸビューである。
【0004】
取得のタイプに応じて、これらのビューは、スキャナ（例えば、定常自由歳差運動（steady-state free precession：ＳＳＦＰ）ＭＲＩ）に直接取り込まれる場合があり、又は、異なる向きに整列されたボリュームの多平面再構成（ＭＰＲ）（例えば、アキシャル面、サジタル面、又は冠状面など、例えば、４Ｄフロー（Flow）ＭＲＩ）を介して作成される場合もある。ＳＡＸビューは複数の空間スライスを有し、通常は心臓のボリューム全体をカバーするが、２ＣＨ、３ＣＨ、及び４ＣＨビューでは単一の空間スライスしか有していないことが多い。すべての系列がシネであり、完全な心周期を網羅する複数の時点を有する。
【0005】
心機能のいくつかの重要な測定は、心室ボリュームの精密な測定に依存する。例えば、駆出率（ＥＦ）は、各心拍で送り出される左心室（ＬＶ）内の血液の割合を表す。異常に低いＥＦ測定値は、しばしば心不全に関連付けられる。ＥＦの測定は、ＬＶが最大限に収縮される収縮末期フェーズとＬＶが最大限に拡張される拡張末期フェーズとの両方で、心室血液プールボリュームに依存する。
【0006】
ＬＶのボリュームを測定するために、心室は典型的にはＳＡＸビューでセグメント化される。この症例をレビューする放射線科医は、手動で単一のスライスについての各時点を通して周期を巡回し、心室が最大限に収縮又は拡張される時点をそれぞれ決定することによって、収縮末期（ＥＳ）時点及び拡張末期（ＥＤ）時点をまず決定する。それら２つの時点を決定した後、放射線科医は、心室が可視であるＳＡＸ系列のすべてのスライスにおけるＬＶの周囲に輪郭を描く。
【0007】
輪郭が作成されると、輪郭内のピクセルを合計し、ｘ及びｙ方向の面内ピクセル間隔（例えば、ピクセル当たりのｍｍ）で掛けることによって、各スライス内の心室の面積が計算され得る。次いで、各空間スライス内の面積を合計し、スライス間の距離（例えば、ミリメートル（ｍｍ））で掛けることによって、総心室ボリュームが決定され得る。これは、立体ｍｍでのボリュームをもたらす。スライス面積を統合して総ボリュームを決定する他の方法が使用されてもよく、例えば、シンプソンのルールの改変版では、直線セグメントを使用して離散積分を近似する代わりに、二次セグメントを使用して近似する。ボリュームは、典型的にはＥＳ及びＥＤで計算され、駆出率及び類似の尺度がボリュームから決定され得る。
【0008】
ＬＶ血液プールボリュームを測定するために、放射線科医は、典型的には、２つの時点（ＥＳ及びＥＤ）の各々で約１０個の空間スライス上でＬＶ心内膜（心筋の内壁）に沿って輪郭を作成し、合計約２０個の輪郭を得る。（例えば、能動輪郭又は「スネーク（snakes）」アルゴリズムを使用する）半自動化された輪郭配置ツールが存在するが、これらは、典型的には輪郭のいくつかの手動調整を必要とし、特に、ノイズ又はアーチファクト（artifacts）を有する画像の場合に必要とする。これらの輪郭を作成するプロセス全体は、１０分以上かかることがあり、その大部分は手動調整に関係する。例示的なＬＶ心内膜輪郭が、完全なＳＡＸスタックにわたる単一の時点での輪郭を示す図１の画像１００ａ～１００ｋとして示されている。１００ａから１００ｋへ、スライスは左心室の尖部から左心室の底部へと進む。
【0009】
上記の説明は、（ＬＶ心内膜の輪郭化を介する）ＬＶ血液プールの測定について具体的に述べているが、右心室における機能的病態を評価するために、右心室（ＲＶ）血液プールに対して同じボリューム測定が行われる必要がある場合が多い。加えて、心筋（心臓筋肉）質量の測定が必要とされることがあり、これは心外膜（心筋の外面）を輪郭化することを必要とする。これら４つの輪郭（ＬＶ心内膜、ＬＶ心外膜、ＲＶ心内膜、ＲＶ心外膜）の各々は、半自動化されたツールを使用しても、作成及び補正するために経験豊かな放射線科医を１０分以上のオーダーで束縛しうる。４つすべての輪郭を作成するには３０分以上を必要とし得る。
【0010】
このプロセスの煩わしい負担の最も明白な帰結は、心臓ＭＲＩ検査を読み込むことが高価となることである。別の重大な帰結は、絶対に必要でない限り、一般に輪郭ベースの測定が行われないことであり、行われた各心臓ＭＲＩ検査から抽出され得る診断情報を限定することになる。完全に自動化された輪郭生成及びボリューム測定は、放射線科医の処理量だけでなく、各検査から抽出され得る診断情報の量にも明らかに大きな利点がある。
【0011】
（能動的輪郭ベースの方法の制限）
心室輪郭を作成する最も基本的な方法は、自動化されたアルゴリズムやツールをまったく用いずに、ある種のポリゴン又はスプライン描画ツールを用いて手動でプロセスを完了することである。この場合、ユーザは、例えば、心室の外形のフリーハンド書きを作成し、又は、スプライン制御点を投下し、スプライン制御点を滑らかなスプライン輪郭に接続することができる。輪郭の初期作成の後、ソフトウェアのユーザインターフェースに応じて、ユーザは通常、例えば、制御点を移動、追加、もしくは削除することによって、又はスプラインセグメントを移動することによって、輪郭を修正する何らかの能力を有する。
心室輪郭を作成する最も基本的な方法は、自動化されたアルゴリズムやツールをまったく用いずに、ある種のポリゴン又はスプライン描画ツールを用いて手動でプロセスを完了することである。この場合、ユーザは、例えば、心室の外形のフリーハンド書きを作成し、又は、スプライン制御点を投下し、スプライン制御点を滑らかなスプライン輪郭に接続することができる。輪郭の初期作成の後、ソフトウェアのユーザインターフェースに応じて、ユーザは通常、例えば、制御点を移動、追加、もしくは削除することによって、又はスプラインセグメントを移動することによって、輪郭を修正する何らかの能力を有する。
【0012】
このプロセスの煩わしい負担を軽減するために、心室セグメンテーションをサポートするほとんどのソフトウェアパッケージは、半自動化されたセグメンテーションツールを含んでいる。半自動化された心室セグメンテーションのための１つのアルゴリズムは、「スネーク」アルゴリズムである（より正式には「能動輪郭（active contours）」として知られる）。例えば、「Kass, M., Witkin, A., & Terzopoulos, D. (1988). "Snakes: Active contour models." International Journal of Computer Vision, 1(4), 321-331.」を参照されたい。スネークアルゴリズムは、変形可能なスプラインを生成し、これは、エネルギー最小化手法によって画像の強度勾配に重なるように制約される。実際に、この手法は、輪郭を画像における高い勾配（エッジ）のエリアへ制約すると共に、輪郭における高い配向勾配（曲率）のエリア又は「キンク（kink）」を最小限にすることを目指す。最適な結果は、画像のエッジにきっちり重なる滑らかな輪郭となる。４Ｄフロー心臓検査における左心室心内膜に対するスネークアルゴリズムの成功結果の例が図２の画像２００に示されており、画像２００ではＬＶ心内膜の輪郭２０２を示している。
【0013】
スネークアルゴリズムは一般的であり、その結果の輪郭を修正するのはゼロから輪郭を生成するよりもかなり速くなり得るが、スネークアルゴリズムはいくつかの重大な欠点を有する。特に、スネークアルゴリズムは「シード」を必要とする。アルゴリズムによって改善されることになる「シード輪郭」は、ユーザ又はヒューリスティックのいずれかによって設定されなければならない。また、スネークアルゴリズムは局所的なコンテキスト（context）のみを知っている。スネークのコスト関数は、典型的には、輪郭が画像内のエッジと重なったときにクレジット（credit）を付与するが、検出されたエッジが所望されたものであることをアルゴリズムに通知する方法がなく、例えば、心内膜と他の解剖学的要素（例えば、他の心室、肺、肝臓）の境界との明確な区別がない。従って、このアルゴリズムは、予測可能な解剖学的形態及びシードが適切に設定されることに非常に依存している。さらに、スネークアルゴリズムは貪欲（greedy）である。スネークのエネルギー関数は、コスト関数の勾配の方向に自由パラメータを反復的に移動させる勾配降下などの貪欲なアルゴリズムを使用して最適化されることが多い。しかしながら、勾配降下及び多くの類似した最適化アルゴリズムは、コスト関数の極小値に捕らわれやすい。これは、イメージングアーチファクトや血液プールと乳頭筋との間のエッジのような画像内の誤ったエッジに潜在的に結合された輪郭として現れる。加えて、スネークアルゴリズムは小さな表現空間を有する。スネークアルゴリズムは、一般にわずか数十個の調整可能パラメータしか持たず、従って、セグメンテーションが所望される可能性のある画像の様々なセットを表す能力を有していない。多くの様々なファクタが、心室の認識された取り込まれた画像に影響を与える可能性があり、それらのファクタは、解剖学的形態（例えば、サイズ、心室の形状、病態、以前の手術、乳頭筋）、イメージングプロトコル（例えば、造影剤、パルスシーケンス、スキャナタイプ、受信器コイル品質及びタイプ、患者位置、画像解像度）、及び他のファクタ（例えば、モーションアーチファクト）を含む。記録された画像の多様性が大きく、調整可能パラメータが少数であるため、スネークアルゴリズムは「適切に挙動する」ケースのごく一部でのみ適切に実行することができる。
【0014】
スネークアルゴリズムのこれらの及び他の欠点にかかわらず、スネークアルゴリズムの人気は、スネークアルゴリズムが明示的な「トレーニング」無しで展開でき、そのため実装が比較的簡単であるという事実に主に由来する。しかしながら、スネークアルゴリズムは、より困難な場合にも役立つように適切に調整されることができない。
【0015】
（血液プールから乳頭筋を除外する課題）
乳頭筋は、左心室と右心室の両方の心内膜の内部にある筋肉である。乳頭筋は、心室収縮中に弁への圧力が増加したとき、僧帽弁及び三尖弁が閉じられているのを維持するために役立つ。図３は、左心室の乳頭筋及び心筋を示す例示的なＳＳＦＰ ＭＲＩ画像３００ａ（拡張末期）及び３００ｂ（収縮末期）を示す。拡張末期（画像３００ａ）において主な課題は、乳頭筋をそれらが埋め込まれている血液プールから区別することであり、収縮末期（画像３００ｂ）において主な課題は、乳頭筋を心筋から区別することであることに留意されたい。
乳頭筋は、左心室と右心室の両方の心内膜の内部にある筋肉である。乳頭筋は、心室収縮中に弁への圧力が増加したとき、僧帽弁及び三尖弁が閉じられているのを維持するために役立つ。図３は、左心室の乳頭筋及び心筋を示す例示的なＳＳＦＰ ＭＲＩ画像３００ａ（拡張末期）及び３００ｂ（収縮末期）を示す。拡張末期（画像３００ａ）において主な課題は、乳頭筋をそれらが埋め込まれている血液プールから区別することであり、収縮末期（画像３００ｂ）において主な課題は、乳頭筋を心筋から区別することであることに留意されたい。
【0016】
心室血液プール（手動又は自動のいずれか）のセグメンテーションを行うとき、乳頭筋は輪郭内に含まれるか、又は輪郭から除外されるかのいずれかであり得る。乳頭筋が輪郭内に含まれるか輪郭から除外されるかにかかわらず、血液プールを囲む輪郭は、しばしば口語的に「心内膜輪郭」と呼ばれることに留意されたい。後者の場合、輪郭が心内膜の真の表面に滑らかにマッピングしないため、「心内膜」という用語は厳密には正確でないが、これにかかわらず、「心内膜輪郭」という用語は便宜上使用される。
【0017】
心内膜輪郭は、典型的には、心室内の血液量を測定するためにＳＡＸスタック内のすべての画像上に作成される。従って、乳頭筋が心内膜輪郭から除外された場合に、血液量の最も精密な測定が行われる。しかしながら、筋肉は多数あり小さいため、手動の輪郭からそれらを除外するには、輪郭を作成するときにかなり多くの注意が払われる必要があり、従ってプロセスの煩わしい負担を劇的に増加させる。結果として、手動の輪郭を作成するとき、乳頭筋は通常、心内膜輪郭内に含まれ、結果として、心室の血液量のいささか過大な評価が生じる。技術的には、これは血液プールボリュームと乳頭筋ボリュームの合計を測定している。
【0018】
自動化又は半自動化されたユーティリティが、心内膜輪郭から乳頭筋を除外するプロセスを高速化し得るが、それらは重要な注意事項を有する。（上述された）スネークアルゴリズムは、その標準的な定式化では孔無しの単一の連結された領域の輪郭化のみを可能にするため、拡張末期に乳頭筋を除外するのに適していない。アルゴリズムが輪郭内の孔を取り扱うように適合されてもよいが、乳頭筋は血液プールよりもはるかに小さいので、アルゴリズムは、小さな接続された領域と大きな接続された領域との両方を同時に取り扱うようにかなり再定式化されなければならない。要するに、血液プールをセグメント化して拡張末期において乳頭筋を除外するために、標準的スネークアルゴリズムが使用されるのは不可能である。
【0019】
収縮末期において、乳頭筋量の大部分が心筋に接しているとき、スネークアルゴリズムは、（乳頭筋と心筋との間に強度境界がほとんど又はまったく存在しないので）デフォルトで乳頭筋の大部分を心内膜輪郭から除外し、それらを含むようにされ得ない。従って、標準的な定式化では、スネークアルゴリズムは、拡張末期に乳頭筋を含み、収縮末期に乳頭筋を除外することができるだけであり、結果として、心周期にわたって血液プールボリュームの不整合な測定をもたらす。これは、スネークアルゴリズムの重大な制限であり、ユーザによる大幅な補正無しにその出力を臨床に使用することを妨げている。
【0020】
血液プール輪郭を作成する代替的な半自動化された方法は、「フラッドフィル（flood fill）」アルゴリズムを使用している。フラッドフィルアルゴリズムでは、ユーザが初期シード点を選択し、強度勾配及びシード点からの距離が閾値を超えないシード点に接続されたすべてのピクセルが、選択されたマスク内に含まれる。スネークアルゴリズムのように、フラッドフィルは、セグメント化された領域が接続される必要があるが、フラッドフィルは、接続された領域が孔を有することができるという利点を持つ。従って、乳頭筋がそれらの強度に基づいて血液プールから区別されることができるので、フラッドフィルアルゴリズムは、ユーザの入力を介して動的に、又はハードコード化された様式で、乳頭筋をセグメンテーションから除外するように定式化され得る。拡張末期の心内膜セグメンテーションにおいて乳頭筋を含めるためにフラッドフィルを使用してもよいが、収縮末期では、乳頭筋の大部分が心筋に接続されている（そのため、２つの領域が互いにほとんど区別できない）ので、フラッドフィルは、心内膜セグメンテーション内に乳頭筋を含めるために使用され得ない。
【0021】
収縮末期の心筋から乳頭筋を区別することができないことに加えて、フラッドフィルの主要な欠点は、完全に手動のセグメンテーションに比較されると、それはセグメンテーションプロセスに必要とされる手間をかなり減らすことができるが、フラッドフィル勾配及び距離閾値を動的に決定するために、それは依然として多くのユーザ入力を必要とすることである。フラッドフィルツールを使用して精密なセグメンテーションが作成され得るが、許容可能な臨床精度でそれらを作成するには、依然としてかなりの手動調整を要することを本出願人は見出した。
【0022】
（短軸ビューにおいて基本スライスをセグメント化する課題）
心臓のセグメンテーションは、典型的には短軸又はＳＡＸスタックからの画像上で作成される。ＳＡＸスタック上でセグメンテーションを行う１つの主要な欠点は、ＳＡＸ平面が僧帽弁及び三尖弁の平面にほぼ平行なことである。これは２つの影響を有する。第１に、これらの弁はＳＡＸスタックのスライス上で区別することが非常に難しい。第２に、ＳＡＸスタックが弁平面に正確に平行ではないと想定すると、部分的に心室にあり部分的に心房にある心臓の底部の近くに少なくとも１つのスライスがあることになる。
心臓のセグメンテーションは、典型的には短軸又はＳＡＸスタックからの画像上で作成される。ＳＡＸスタック上でセグメンテーションを行う１つの主要な欠点は、ＳＡＸ平面が僧帽弁及び三尖弁の平面にほぼ平行なことである。これは２つの影響を有する。第１に、これらの弁はＳＡＸスタックのスライス上で区別することが非常に難しい。第２に、ＳＡＸスタックが弁平面に正確に平行ではないと想定すると、部分的に心室にあり部分的に心房にある心臓の底部の近くに少なくとも１つのスライスがあることになる。
【0023】
左心室と左心房の両方が単一のスライス内に見える例示的なケースが、図４の画像４００ａ及び４００ｂに示されている。臨床医が対応するＬＡＸビューに投影された現在のＳＡＸスライスを参照できなかった場合、ＳＡＸスライスが心室と心房の両方にわたることは明らかではないことがある。さらに、ＬＡＸビューが利用可能であっても、心室及び心房が同様の信号強度を有するので、ＳＡＸスライス上で、弁が配置された場所、ひいては心室のセグメンテーションが終了すべき場所を知ることは困難であり得る。従って、心臓の底部近くのセグメンテーションは、心室セグメンテーションの主要なエラー源の１つである。
【0024】
（ランドマーク）
心臓イメージングアプリケーションの４Ｄフローワークフローでは、異なる心臓ビュー（例えば、２ＣＨ、３ＣＨ、４ＣＨ、ＳＡＸ）を見て心室をセグメント化するために、ユーザは、心臓における異なるランドマークの領域を定義するように要求され得る。ＬＶをセグメント化し、２ＣＨ、３ＣＨ、及び４ＣＨ左心ビューを見るために必要とされるランドマークは、ＬＶ尖部、僧帽弁、及び大動脈弁を含む。ＲＶをセグメント化し、対応するビューを見るために必要とされるランドマークは、ＲＶ尖部、三尖弁、及び肺動脈弁を含む。
心臓イメージングアプリケーションの４Ｄフローワークフローでは、異なる心臓ビュー（例えば、２ＣＨ、３ＣＨ、４ＣＨ、ＳＡＸ）を見て心室をセグメント化するために、ユーザは、心臓における異なるランドマークの領域を定義するように要求され得る。ＬＶをセグメント化し、２ＣＨ、３ＣＨ、及び４ＣＨ左心ビューを見るために必要とされるランドマークは、ＬＶ尖部、僧帽弁、及び大動脈弁を含む。ＲＶをセグメント化し、対応するビューを見るために必要とされるランドマークは、ＲＶ尖部、三尖弁、及び肺動脈弁を含む。
【0025】
【0026】
ＬａｎｄＭａｒｋＤｅｔｅｃｔの１つの制限は、欠損しているランドマークに対処する方法がないことである。すべての単一ランドマークが各画像上に正確に配置されていると仮定されている。別の制限は、カーネル及びレイヤサイズを除いて、ハイパーパラメータ探索が存在しないことである。さらに別の制限は、学習するためのパラメータを有しない固定されたアップサンプリングレイヤである。さらに、ＬａｎｄＭａｒｋＤｅｔｅｃｔは、３Ｄ画像の平均値を取り除く（すなわち、入力データをセンタリングする）ことからなる制限された前処理戦略に依存している。
従って、上述された欠点の一部又はすべてに対処するシステム及び方法が必要とされる。
従って、上述された欠点の一部又はすべてに対処するシステム及び方法が必要とされる。
【発明の概要】
【0027】
機械学習システムは、プロセッサ実行可能命令又はデータのうちの少なくとも１つを記憶する少なくとも１つの非一時的プロセッサ可読記憶媒体と、少なくとも１つの非一時的プロセッサ可読記憶媒体に通信可能に結合された少なくとも１つのプロセッサとを備え、少なくとも１つのプロセッサは、複数のバッチ（batch）のラベル付けされた画像セットを備える学習データを受け取ることであって、各画像セットは、解剖構造を表す画像データを備え、各画像セットは、画像セットの各画像において描かれた解剖構造の特定部分の領域を識別する少なくとも１つのラベルを含む、受け取ることと、受け取られた学習データを利用して解剖構造の少なくとも一部分をセグメント化するように完全畳み込みニューラルネットワーク（ＣＮＮ）モデルをトレーニングすることと、トレーニングされたＣＮＮモデルを、機械学習システムの少なくとも１つの非一時的プロセッサ可読記憶媒体に記憶することとを行うものとして要約され得る。ＣＮＮモデルは、収縮経路及び拡張経路を備えることができ、収縮経路は、いくつかの畳み込み（Convolution）レイヤ及びいくつかのプーリングレイヤを含むことができ、各プーリングレイヤは、少なくとも１つの畳み込みレイヤによって先行され、拡張経路は、いくつかの畳み込みレイヤ及びいくつかのアップサンプリングレイヤを含むことができ、各アップサンプリングレイヤは、少なくとも１つの畳み込みレイヤによって先行され、学習されたカーネルを用いてアップサンプリング及び補間を行う転置畳み込み（Transpose Convolution）操作を備える。各アップサンプリングレイヤに続いて、ＣＮＮモデルは、スキップ接続（Skip Connection）を介して収縮経路における対応するレイヤからの特徴マップの連結を含むことができる。画像データは、心周期全体にわたる１つ又は複数の時点における心臓を表すことができる。画像データは、超音波データ又は可視光写真データを含むことができる。ＣＮＮモデルは、１と２０００の間の個数の特徴マップを有する第１の畳み込みレイヤを含むことができる収縮経路を含むことができる。ＣＮＮモデルは、いくつかの畳み込みレイヤを備えることができ、各畳み込みレイヤは、サイズ３×３及び１のストライドの畳み込みカーネルを含むことができる。ＣＮＮモデルは、いくつかのプーリングレイヤを備えることができ、各プーリングレイヤは、２のストライドを有する２×２最大プーリングレイヤを備えることができる。ＣＮＮモデルは、４つのプーリングレイヤ及び４つのアップサンプリングレイヤを含むことができる。ＣＮＮモデルは、いくつかの畳み込みレイヤを含むことができ、ＣＮＮモデルは、ゼロパディング操作を使用して各畳み込みレイヤへの入力をパディングすることができる。ＣＮＮモデルは、複数の非線形活性化関数レイヤを含むことができる。
【0028】
少なくとも１つのプロセッサは、複数のバッチのラベル付けされた画像セットにおける画像データの少なくとも一部の修正を介して、学習データを補強することができる。
【0029】
少なくとも１つのプロセッサは、水平フリップ、垂直フリップ、切り取り量（shear amount）、シフト量、ズーム量、回転量、輝度レベル、又はコントラストレベルのうちの少なくとも１つに応じて、複数のバッチのラベル付けされた画像セットにおける画像データの少なくとも一部を修正することができる。
【0030】
ＣＮＮモデルは、少なくとも１つの非一時的プロセッサ可読記憶媒体に記憶された複数のハイパーパラメータを含むことができ、少なくとも１つのプロセッサは、複数の構成に従ってＣＮＮモデルを構成することであって、各構成は、ハイパーパラメータの値の異なる組み合わせを備える、構成することと、複数の構成の各々について、ＣＮＮモデルの精度を検証することと、検証により決定された精度に少なくとも部分的に基づいて、少なくとも１つの構成を選択することとを行うことができる。
【0031】
少なくとも１つのプロセッサは、各画像セットについて、画像セットが解剖構造の複数の部分のいずれかに対するラベルを欠損しているかどうかを識別し、少なくとも１つのラベルを欠損していると識別された画像セットについて、識別された欠損ラベルを説明するようにトレーニング損失関数を修正することができる。画像データは、ボリューム測定用（volumetric）画像を含むことができ、各ラベルは、ボリューム測定用ラベルマスク又は輪郭を含むことができる。ＣＮＮモデルの各畳み込みレイヤは、サイズＮ×Ｎ×Ｋピクセルの畳み込みカーネルを含むことができ、Ｎ及びＫは、正の整数である。ＣＮＮモデルの各畳み込みレイヤは、サイズＮ×Ｍピクセルの畳み込みカーネルを含むことができ、Ｎ及びＭは、正の整数である。画像データは、心周期全体にわたる１つ又は複数の時点における心臓を表することができ、複数のバッチのラベル付けされた画像セットのサブセットは、乳頭筋を除外したラベルを含むことができる。各処理された画像について、ＣＮＮモデルは、空間に関して処理された画像に隣接するか、又は時間に関して処理された画像に隣接するかの少なくとも一方であり得る少なくとも１つの画像についてのデータを利用することができる。各処理された画像について、ＣＮＮモデルは、空間に関して処理された画像に隣接できる少なくとも１つの画像についてのデータを利用することができ、時間に関して処理された画像に隣接する少なくとも１つの画像についてのデータを利用することができる。各処理された画像について、ＣＮＮモデルは、時間情報又は位相情報のうちの少なくとも１つを利用することができる。画像データは、定常自由歳差運動（steady-state free precession：ＳＳＦＰ）磁気共鳴イメージング（ＭＲＩ）データ又は４ＤフローＭＲＩデータのうちの少なくとも１つを含むことができる。
【0032】
機械学習システムを動作させる方法は、プロセッサ実行可能命令又はデータのうちの少なくとも１つを記憶することができる少なくとも１つの非一時的プロセッサ可読記憶媒体と、少なくとも１つの非一時的プロセッサ可読記憶媒体に通信可能に結合された少なくとも１つのプロセッサとを備えることができ、少なくとも１つのプロセッサによって、複数のバッチのラベル付けされた画像セットを備える学習データを受け取るステップであって、各画像セットは、解剖構造を表す画像データを備え、各画像セットは、画像セットの各画像において描かれた解剖構造の特定部分の領域を識別する少なくとも１つのラベルを含む、ステップと、少なくとも１つのプロセッサによって、受け取られた学習データを利用して解剖構造の少なくとも一部分をセグメント化するように完全畳み込みニューラルネットワーク（ＣＮＮ）モデルをトレーニングするステップと、少なくとも１つのプロセッサによって、トレーニングされたＣＮＮモデルを、機械学習システムの少なくとも１つの非一時的プロセッサ可読記憶媒体に記憶するステップとを含むものとして要約され得る。ＣＮＮモデルをトレーニングするステップは、収縮経路及び拡張経路を備えるＣＮＮモデルをトレーニングするステップを含み、収縮経路は、いくつかの畳み込みレイヤ及びいくつかのプーリングレイヤを含むことができ、各プーリングレイヤは、少なくとも１つの畳み込みレイヤによって先行され、拡張経路は、いくつかの畳み込みレイヤ及びいくつかのアップサンプリングレイヤを含むことができ、各アップサンプリングレイヤは、少なくとも１つの畳み込みレイヤによって先行され、学習されたカーネルを用いてアップサンプリング及び補間を行う転置畳み込み操作を備えることができる。ＣＮＮモデルをトレーニングするステップは、受け取られた学習データを利用して解剖構造の少なくとも一部分をセグメント化するようにＣＮＮモデルをトレーニングするステップを含むことができ、各アップサンプリングレイヤに続いて、ＣＮＮモデルは、スキップ接続を介して収縮経路における対応するレイヤからの特徴マップの連結を含むことができる。学習データを受け取るステップは、心周期全体にわたる１つ又は複数の時点における心臓を表すことができる画像データを受け取るステップを含むことができる。ＣＮＮモデルをトレーニングするステップは、受け取られた学習データを利用して解剖構造の少なくとも一部分をセグメント化するようにＣＮＮモデルをトレーニングするステップを含むことができ、ＣＮＮモデルは、１と２０００の間の個数の特徴マップを有する第１の畳み込みレイヤを含むことができる収縮経路を含むことができる。ＣＮＮモデルをトレーニングするステップは、受け取られた学習データを利用して解剖構造の少なくとも一部分をセグメント化するように複数の畳み込みレイヤを含むことができるＣＮＮモデルをトレーニングするステップを含むことができ、各畳み込みレイヤは、サイズ３×３及び１のストライドの畳み込みカーネルを含むことができる。ＣＮＮモデルをトレーニングするステップは、受け取られた学習データを利用して解剖構造の少なくとも一部分をセグメント化するように複数のプーリングレイヤを含むことができるＣＮＮモデルをトレーニングするステップを含むことができ、各プーリングレイヤは、２のストライドを有する２×２最大プーリングレイヤを備えることができる。
【0033】
ＣＮＮモデルは、受け取られた学習データを利用して解剖構造の少なくとも一部分をセグメント化するようにＣＮＮモデルをトレーニングするステップを含むことができ、ＣＮＮモデルは、４つのプーリングレイヤ及び４つのアップサンプリングレイヤを含むことができる。
【0034】
ＣＮＮモデルは、受け取られた学習データを利用して解剖構造の少なくとも一部分をセグメント化するように複数の畳み込みレイヤを含むことができるＣＮＮモデルをトレーニングするステップを含むことができ、ＣＮＮモデルは、ゼロパディング操作を使用して各畳み込みレイヤへの入力をパディングすることができる。
【0035】
ＣＮＮモデルは、受け取られた学習データを利用して解剖構造の少なくとも一部分をセグメント化するようにＣＮＮモデルをトレーニングするステップを含むことができ、ＣＮＮモデルは、複数の非線形活性化関数レイヤを含むことができる。
【0036】
方法は、少なくとも１つのプロセッサによって、複数のバッチのラベル付けされた画像セットにおける画像データの少なくとも一部の修正を介して、学習データを補強するステップをさらに含むことができる。
【0037】
方法は、少なくとも１つのプロセッサによって、水平フリップ、垂直フリップ、切り取り量、シフト量、ズーム量、回転量、輝度レベル、又はコントラストレベルのうちの少なくとも１つに応じて、複数のバッチのラベル付けされた画像セットにおける画像データの少なくとも一部を修正するステップをさらに含むことができる。
【0038】
ＣＮＮモデルは、少なくとも１つの非一時的プロセッサ可読記憶媒体に記憶された複数のハイパーパラメータを含むことができ、少なくとも１つのプロセッサによって、複数の構成に従ってＣＮＮモデルを構成するステップであって、各構成は、ハイパーパラメータの値の異なる組み合わせを備える、ステップと、複数の構成の各々について、少なくとも１つのプロセッサによって、ＣＮＮモデルの精度を検証するステップと、少なくとも１つのプロセッサによって、検証により決定された精度に少なくとも部分的に基づいて、少なくとも１つの構成を選択するステップとをさらに含むことができる。
【0039】
方法は、各画像セットについて、少なくとも１つのプロセッサによって、画像セットが解剖構造の複数の部分のいずれかに対するラベルを欠損しているかどうかを識別するステップと、少なくとも１つのラベルを欠損していると識別された画像セットについて、少なくとも１つのプロセッサによって、識別された欠損ラベルを説明するようにトレーニング損失関数を修正するステップとをさらに含むことができる。学習データを受け取るステップは、ボリューム測定用画像を含むことができる画像データを受け取るステップを含みことができ、各ラベルは、ボリューム測定用ラベルマスク又は輪郭を含むことができる。
【0040】
ＣＮＮモデルは、受け取られた学習データを利用して解剖構造の少なくとも一部分をセグメント化するように複数の畳み込みレイヤを含むことができるＣＮＮモデルをトレーニングするステップを含むことができ、ＣＮＮモデルの各畳み込みレイヤは、サイズＮ×Ｎ×Ｋピクセルの畳み込みカーネルを含むことができ、Ｎ及びＫは、正の整数である。
【0041】
ＣＮＮモデルは、受け取られた学習データを利用して解剖構造の少なくとも一部分をセグメント化するように複数の畳み込みレイヤを含むことができるＣＮＮモデルをトレーニングするステップを含むことができ、ＣＮＮモデルの各畳み込みレイヤは、サイズＮ×Ｍピクセルの畳み込みカーネルを含むことができ、Ｎ及びＭは、正の整数である。学習データを受け取るステップは、心周期全体にわたる１つ又は複数の時点における心臓を表す画像データを受け取るステップを含むことができ、複数のバッチのラベル付けされた画像セットのサブセットは、乳頭筋を除外したラベルを含むことができる。ＣＮＮモデルをトレーニングするステップは、受け取られた学習データを利用して解剖構造の少なくとも一部分をセグメント化するようにＣＮＮモデルをトレーニングするステップを含むことができ、各処理された画像について、ＣＮＮモデルは、空間に関して処理された画像に隣接するか、又は時間に関して処理された画像に隣接するかの少なくとも一方である少なくとも１つの画像についてのデータを利用することができる。ＣＮＮモデルをトレーニングするステップは、受け取られた学習データを利用して解剖構造の少なくとも一部分をセグメント化するようにＣＮＮモデルをトレーニングするステップを含むことができ、各処理された画像について、ＣＮＮモデルは、空間に関して処理された画像に隣接する少なくとも１つの画像についてのデータを利用し、時間に関して処理された画像に隣接する少なくとも１つの画像についてのデータを利用することができる。ＣＮＮモデルをトレーニングするステップは、受け取られた学習データを利用して解剖構造の少なくとも一部分をセグメント化するようにＣＮＮモデルをトレーニングするステップを含むことができ、各処理された画像について、ＣＮＮモデルは、時間情報又は位相情報のうちの少なくとも１つを利用することができる。学習データを受け取るステップは、定常自由歳差運動（ＳＳＦＰ）磁気共鳴イメージング（ＭＲＩ）データ又は４ＤフローＭＲＩデータのうちの少なくとも１つを含むことができる画像データを受け取るステップを含むことができる。
【0042】
機械学習システムは、プロセッサ実行可能命令又はデータのうちの少なくとも１つを記憶する少なくとも１つの非一時的プロセッサ可読記憶媒体と、少なくとも１つの非一時的プロセッサ可読記憶媒体に通信可能に結合された少なくとも１つのプロセッサとを備え、少なくとも１つのプロセッサは、解剖構造を表す画像データを受け取ることと、完全畳み込みニューラルネットワーク（ＣＮＮ）モデルを介して、受け取られた画像データを処理して、画像データの各画像の各ピクセルについてのクラス毎の確率を生成することであって、各クラスは、画像データにより表される解剖構造の複数の部分のうちの１つに対応する、生成することと、画像データの各画像について、生成されたクラス毎の確率を使用して、複数のクラスの各々についての確率マップを生成することと、生成された確率マップを、少なくとも１つの非一時的プロセッサ可読記憶媒体に記憶することとを行うものとして要約され得る。ＣＮＮモデルは、収縮経路及び拡張経路を備えることができ、収縮経路は、いくつかの畳み込みレイヤ及びいくつかのプーリングレイヤを含むことができ、各プーリングレイヤは、少なくとも１つの畳み込みレイヤによって先行され、拡張経路は、いくつかの畳み込みレイヤ及びいくつかのアップサンプリングレイヤを含むことができ、各アップサンプリングレイヤは、少なくとも１つの畳み込みレイヤによって先行され、学習されたカーネルを用いてアップサンプリング及び補間を行う転置畳み込み操作を備えることができる。画像データは、心周期全体にわたる１つ又は複数の時点における心臓を表すことができる。
【0043】
少なくとも１つのプロセッサは、生成された確率マップに少なくとも部分的に基づいて、解剖構造の複数の部分のうちの少なくとも１つの標識をディスプレイ上に自律的に表示させることができる。少なくとも１つのプロセッサは、処理された画像データを後処理して、少なくとも１つの物理的制約が満たされることを保証することができる。心周期全体にわたる１つ又は複数の時点における心臓を表すことができ、少なくとも１つの物理的制約は、心筋のボリュームがすべての時点で同じであること、又は右心室と左心室が互いに重なることができないことのうちの少なくとも一方を含むことができる。少なくとも１つのプロセッサは、画像データの各画像について、各ピクセルのクラスを最も高い確率を有するクラスに設定することによって、複数の確率マップをラベルマスクに変換することができる。少なくとも１つのプロセッサは、画像データの各画像について、各ピクセルのクラスを、ピクセルについてのクラス確率のすべてが、決定された閾値を下回るときに、背景クラスに設定することができる。少なくとも１つのプロセッサは、画像データの各画像について、各ピクセルのクラスを、ピクセルが、そのピクセルが関連付けられたクラスの最大の接続された領域の部分ではないときに、背景クラスに設定することができる。少なくとも１つのプロセッサは、画像データに対するラベルマスクの各々をそれぞれのスプライン輪郭に変換することができる。少なくとも１つのプロセッサは、生成された輪郭を画像データと共にディスプレイ上に自律的に表示させることができる。少なくとも１つのプロセッサは、表示された輪郭のうちの少なくとも１つについてのユーザ修正を受け取り修正された輪郭を少なくとも１つの非一時的プロセッサ可読記憶媒体に記憶することができる。少なくとも１つのプロセッサは、生成された輪郭を利用して、解剖構造の複数の部分のうちの少なくとも１つのボリュームを決定することができる。解剖構造は、心臓を含むことができ、少なくとも１つのプロセッサは、生成された輪郭を利用して、心周期の複数の時点における心臓の複数の部分のうちの少なくとも１つのボリュームを決定することができる。少なくとも１つのプロセッサは、心周期の複数の時点のうちのどれが心周期の収縮末期フェーズ及び拡張末期フェーズに対応するかを、それぞれ最小ボリューム及び最大ボリュームを有すると決定された時点に基づいて自動的に決定することができる。少なくとも１つのプロセッサは、解剖構造の複数の部分のうちの少なくとも１つの決定されたボリュームをディスプレイ上に表示させることができる。画像データは、ボリューム測定用画像を含むことができる。ＣＮＮモデルの各畳み込みレイヤは、サイズＮ×Ｎ×Ｋピクセルの畳み込みカーネルを含むことができ、Ｎ及びＫは、正の整数である。
【0044】
機械学習システムを動作させる方法は、プロセッサ実行可能命令又はデータのうちの少なくとも１つを記憶する少なくとも１つの非一時的プロセッサ可読記憶媒体と、少なくとも１つの非一時的プロセッサ可読記憶媒体に通信可能に結合された少なくとも１つのプロセッサとを備えることができ、少なくとも１つのプロセッサによって、解剖構造を表す画像データを受け取るステップと、少なくとも１つのプロセッサによって、完全畳み込みニューラルネットワーク（ＣＮＮ）モデルを介して、受け取られた画像データを処理して、画像データの各画像の各ピクセルについてのクラス毎の確率を生成するステップであって、各クラスは、画像データにより表される解剖構造の複数の部分のうちの１つに対応する、ステップと、画像データの各画像について、少なくとも１つのプロセッサによって、生成されたクラス毎の確率を使用して、複数のクラスの各々についての確率マップを生成するステップと、少なくとも１つのプロセッサによって、生成された確率マップを、少なくとも１つの非一時的プロセッサ可読記憶媒体に記憶するステップとを含むものとして要約され得る。ＣＮＮモデルを介して受け取られた画像データを処理するステップは、収縮経路及び拡張経路を備えることができるＣＮＮモデルを介して受け取られた画像データを処理するステップを含むことができ、収縮経路は、いくつかの畳み込みレイヤ及びいくつかのプーリングレイヤを含むことができ、各プーリングレイヤは、少なくとも１つの畳み込みレイヤによって先行され、拡張経路は、いくつかの畳み込みレイヤ及びいくつかのアップサンプリングレイヤを含むことができ、各アップサンプリングレイヤは、少なくとも１つの畳み込みレイヤによって先行され、学習されたカーネルを用いてアップサンプリング及び補間を行う転置畳み込み操作を備えることができる。画像データを受け取るステップは、心周期全体にわたる１つ又は複数の時点における心臓を表す画像データを受け取るステップを含むことができる。
【0045】
方法は、少なくとも１つのプロセッサによって、生成された確率マップに少なくとも部分的に基づいて、解剖構造の複数の部分のうちの少なくとも１つの標識をディスプレイ上に自律的に表示させるステップをさらに含むことができる。
【0046】
方法は、少なくとも１つのプロセッサによって、処理された画像データを後処理して、少なくとも１つの物理的制約が満たされることを保証するステップをさらに含むことができる。画像データを受け取るステップは、心周期全体にわたる１つ又は複数の時点における心臓を表すことができる画像データを受け取るステップを含むことができ、少なくとも１つの物理的制約は、心筋のボリュームがすべての時点で同じであること、又は右心室と左心室が互いに重なることができないことのうちの少なくとも一方を含むことができる。
【0047】
方法は、画像データの各画像について、少なくとも１つのプロセッサによって、各ピクセルのクラスを最も高い確率を有するクラスに設定することによって、複数の確率マップをラベルマスクに変換するステップをさらに含むことができる。
【0048】
方法は、画像データの各画像について、少なくとも１つのプロセッサによって、各ピクセルのクラスを、ピクセルについてのクラス確率のすべてが、決定された閾値を下回るときに、背景クラスに設定するステップをさらに含むことができる。
【0049】
方法は、画像データの各画像について、少なくとも１つのプロセッサによって、各ピクセルのクラスを、ピクセルが、ピクセルが関連付けられたクラスの最大の接続された領域の部分ではないときに、背景クラスに設定するステップをさらに含むことができる。
【0050】
方法は、少なくとも１つのプロセッサによって、画像データに対するラベルマスクの各々をそれぞれのスプライン輪郭に変換するステップをさらに含むことができる。
方法は、少なくとも１つのプロセッサによって、生成された輪郭を画像データと共にディスプレイ上に自律的に表示させるステップをさらに含むことができる。
方法は、少なくとも１つのプロセッサによって、生成された輪郭を画像データと共にディスプレイ上に自律的に表示させるステップをさらに含むことができる。
【0051】
方法は、少なくとも１つのプロセッサによって、表示された輪郭のうちの少なくとも１つのユーザ修正を受け取るステップと、少なくとも１つのプロセッサによって、修正された輪郭を少なくとも１つの非一時的プロセッサ可読記憶媒体に記憶するステップとをさらに含むことができる。
【0052】
方法は、少なくとも１つのプロセッサによって、生成された輪郭を利用して、解剖構造の複数の部分のうちの少なくとも１つのボリュームを決定するステップをさらに含むことができる。
【0053】
解剖構造は、心臓を含むことができ、方法は、少なくとも１つのプロセッサによって、生成された輪郭を利用して、心周期の複数の時点における心臓の複数の部分のうちの少なくとも１つのボリュームを決定するステップをさらに含むことができる。
【0054】
方法は、少なくとも１つのプロセッサによって、心周期の複数の時点のうちのどれが心周期の収縮末期フェーズ及び拡張末期フェーズに対応するかを、それぞれ最小ボリューム及び最大ボリュームを有すると決定された時点に基づいて自動的に決定するステップをさらに含むことができる。
【0055】
方法は、少なくとも１つのプロセッサによって、解剖構造の複数の部分のうちの少なくとも１つの決定されたボリュームをディスプレイ上に表示させるステップをさらに含むことができる。画像データを受け取るステップは、ボリューム測定用画像データを受け取るステップを含むことができる。ＣＮＮモデルを介して受け取られた画像データを処理するステップは、各畳み込みレイヤがサイズＮ×Ｎ×Ｋピクセルの畳み込みカーネルを含むことができ、Ｎ及びＫが正の整数である、ＣＮＮモデルを介して、受け取られた画像データを処理するステップを含むことができる。
【0056】
機械学習システムは、プロセッサ実行可能命令又はデータのうちの少なくとも１つを記憶する少なくとも１つの非一時的プロセッサ可読記憶媒体と、少なくとも１つの非一時的プロセッサ可読記憶媒体に通信可能に結合された少なくとも１つのプロセッサとを備え、少なくとも１つのプロセッサは、複数のセットの３Ｄ ＭＲＩ画像を受け取ることであって、複数のセットの各々における画像は、患者の解剖構造を表す、受け取ることと、複数のセットの３Ｄ ＭＲＩ画像についての複数のアノテーション（Annotation）を受け取ることであって、各アノテーションは、対応する画像において描かれた患者の解剖構造のランドマークを示す、受け取ることと、３Ｄ ＭＲＩ画像を利用して複数のランドマークの位置を予測するように畳み込みニューラルネットワーク（ＣＮＮ）モデルをトレーニングすることと、トレーニングされたＣＮＮモデルを、機械学習システムの少なくとも１つの非一時的プロセッサ可読記憶媒体に記憶することとを行うものとして要約され得る。少なくとも１つのプロセッサは、３Ｄ ＭＲＩ画像を利用して複数のランドマークの位置を予測するように完全畳み込みニューラルネットワーク（ＣＮＮ）モデルをトレーニングすることができる。少なくとも１つのプロセッサは、１つ又は複数のセットの空間座標である出力を有するＣＮＮモデルをトレーニングすることができ、１つ又は複数の空間座標の各セットは、複数のランドマークのうちの１つの位置を識別する。ＣＮＮモデルは、１つ又は複数の全接続レイヤに後続される収縮経路を含むことができる。ＣＮＮモデルは、収縮経路及び拡張経路を備えることができ、収縮経路は、いくつかの畳み込みレイヤ及びいくつかのプーリングレイヤを含むことができ、各プーリングレイヤは、１つ又は複数の畳み込みレイヤによって先行され、拡張経路は、いくつかの畳み込みレイヤ及びいくつかのアップサンプリングレイヤを含むことができ、各アップサンプリングレイヤは、１つ又は複数の畳み込みレイヤによって先行され、学習されたカーネルを用いてアップサンプリング及び補間を行う転置畳み込み操作を備える。
【0057】
少なくとも１つのプロセッサは、解剖構造の１つ又は複数のランドマークの各々について、受け取られたセットの３Ｄ ＭＲＩ画像及び受け取られた複数のアノテーションに少なくとも部分的に基づいて、３Ｄラベルマップを定義することができ、各３Ｄラベルマップは、ランドマークが３Ｄラベルマップ上の特定の位置に配置されている可能性を符号化することができ、少なくとも１つのプロセッサは、３Ｄ ＭＲＩ画像及び生成された３Ｄラベルマップを利用して１つ又は複数のランドマークをセグメント化するようにＣＮＮモデルをトレーニングすることができる。複数のセットの各々における画像は、心周期の異なるそれぞれの時点における患者の心臓を表すことができ、各アノテーションは、対応する画像において描かれた患者の心臓のランドマークを示すことができる。
【0058】
少なくとも１つのプロセッサは、３Ｄ ＭＲＩ画像のセットを受け取り、ＣＮＮモデルを介して、受け取られた３Ｄ ＭＲＩ画像を処理して、１つ又は複数のランドマークのうちの少なくとも１つを検出し、複数のランドマークのうちの検出された少なくとも１つをディスプレイ上に提示されるようにすることができる。少なくとも１つのプロセッサは、ＣＮＮモデルを介して、受け取られた３Ｄ ＭＲＩ画像を処理し、ポイント又はラベルマップのうちの少なくとも１つを出力することができる。少なくとも１つのプロセッサは、ＣＮＮモデルを介して、受け取られた３Ｄ ＭＲＩ画像を処理して、複数の時点において複数のランドマークのうちの少なくとも１つを検出し、複数の時点における複数のランドマークのうちの検出された少なくとも１つをディスプレイ上に提示されるようにすることができる。ＣＮＮモデルは、受け取られた３Ｄ ＭＲＩ画像に関連付けられた位相情報を利用することができる。
【0059】
機械学習システムを動作させる方法は、プロセッサ実行可能命令又はデータのうちの少なくとも１つを記憶することができる少なくとも１つの非一時的プロセッサ可読記憶媒体と、少なくとも１つの非一時的プロセッサ可読記憶媒体に通信可能に結合された少なくとも１つのプロセッサとを備えることができ、少なくとも１つのプロセッサによって、複数のセットの３Ｄ ＭＲＩ画像を受け取るステップであって、複数のセットの各々における画像は、患者の解剖構造を表す、ステップと、少なくとも１つのプロセッサによって、複数のセットの３Ｄ ＭＲＩ画像についての複数のアノテーションを受け取るステップであって、各アノテーションは、対応する画像において描かれた患者の解剖構造のランドマークを示す、ステップと、少なくとも１つのプロセッサによって、３Ｄ ＭＲＩ画像を利用して複数のランドマークの位置を予測するように畳み込みニューラルネットワーク（ＣＮＮ）モデルをトレーニングするステップと、少なくとも１つのプロセッサによって、トレーニングされたＣＮＮモデルを、機械学習システムの少なくとも１つの非一時的プロセッサ可読記憶媒体に記憶するステップとを含むものとして要約され得る。ＣＮＮモデルをトレーニングするステップは、３Ｄ ＭＲＩ画像を利用して複数のランドマークの位置を予測するように完全畳み込みニューラルネットワーク（ＣＮＮ）モデルをトレーニングするステップを含むことができる。ＣＮＮモデルをトレーニングするステップは、１つ又は複数のセットの空間座標である出力を有するＣＮＮモデルをトレーニングするステップを含むことができ、１つ又は複数の空間座標の各セットは、複数のランドマークのうちの１つの位置を識別する。ＣＮＮモデルをトレーニングするステップは、１つ又は複数の全接続レイヤに後続される収縮経路を含むことができるＣＮＮモデルをトレーニングするステップを含むことができる。ＣＮＮモデルをトレーニングするステップは、収縮経路及び拡張経路を備えることができるＣＮＮモデルをトレーニングするステップを含むことができ、収縮経路は、いくつかの畳み込みレイヤ及びいくつかのプーリングレイヤを含むことができ、各プーリングレイヤは、少なくとも１つの畳み込みレイヤによって先行され、拡張経路は、いくつかの畳み込みレイヤ及びいくつかのアップサンプリングレイヤを含むことができ、各アップサンプリングレイヤは、少なくとも１つの畳み込みレイヤによって先行され、学習されたカーネルを用いてアップサンプリング及び補間を行う転置畳み込み操作を備える。
【0060】
方法は、解剖構造の複数のランドマークの各々について、少なくとも１つのプロセッサによって、受け取られたセットの３Ｄ ＭＲＩ画像及び受け取られた複数のアノテーションに少なくとも部分的に基づいて、３Ｄラベルマップを定義するステップをさらに含むことができ、各３Ｄラベルマップは、ランドマークが３Ｄラベルマップ上の特定の位置に配置されている可能性を符号化し、複数のセットの３Ｄ ＭＲＩ画像を受け取るステップは、複数のセットの３Ｄ ＭＲＩ画像を受け取るステップを含むことができ、複数のセットの各々における画像が、心周期の異なるそれぞれの時点における患者の心臓を表すことができ、各アノテーションが、対応する画像において描かれた患者の心臓のランドマークを示すことができる。
【0061】
方法は、少なくとも１つのプロセッサによって、３Ｄ ＭＲＩ画像のセットを受け取るステップと、少なくとも１つのプロセッサによって、ＣＮＮモデルを介して、受け取られた３Ｄ ＭＲＩ画像を処理して、複数のランドマークのうちの少なくとも１つを検出するステップと、少なくとも１つのプロセッサによって、複数のランドマークのうちの検出された少なくとも１つをディスプレイ上に提示されるようにするステップをさらに含むことができる。
【0062】
方法は、少なくとも１つのプロセッサによって、ＣＮＮモデルを介して、受け取られた３Ｄ ＭＲＩ画像を処理して、複数の時点において複数のランドマークのうちの少なくとも１つを検出するステップと、少なくとも１つのプロセッサによって、複数の時点における複数のランドマークのうちの検出された少なくとも１つをディスプレイ上に提示されるようにするステップをさらに含むことができる。
【0063】
ＣＮＮモデルをトレーニングするステップは、受け取られた３Ｄ ＭＲＩ画像に関連付けられた位相情報を利用することができるＣＮＮモデルをトレーニングするステップを含むことができる。
【0064】
図面では、同一の参照番号が同様の要素又は行為を識別する。図面における要素のサイズ及び相対位置は、必ずしも原寸通りに描かれていない。例えば、様々な要素及び角度の形状は必ずしも原寸通りではなく、これらの要素の一部は、図面明瞭性を改善するために任意に拡大及び位置調整されることがある。さらに、描かれる要素の具体的な形状は、具体的な要素の実際の形状に関する何らかの情報を伝えるように必ずしも意図されておらず、単に図面での認識を容易にするように選択されていることがある。
【図面の簡単な説明】
【0065】
【図1】完全なＳＡＸ（短軸）スタックにわたる単一の時点におけるいくつかのＬＶ心内膜セグメンテーションの例を示す図であり、左から右へ、上から下へ、スライスが左心室の尖部から左心室の基底へ進んでいく様子を示している。
【図2】スネークアルゴリズムを使用して生成されたＬＶ心内膜輪郭の例を示す図である。
【図3】左心室心内膜の内部における心室、心筋、及び乳頭筋を示す２つのＳＳＦＰ画像を示す図であり、左のＳＳＦＰ画像は拡張末期を示し、右のＳＳＦＰ画像は収縮末期を示す。
【図4】ＳＡＸ平面において基底スライス上で心室と心房を区別する課題を示す２つの画像を示す図である。
【図5】ＬａｎｄＭａｒｋＤｅｔｅｃｔで使用されるＵ－Ｎｅｔネットワークアーキテクチャの図である。
【図6】１つの例示された実装形態による、プーリングレイヤ当たり２つの畳み込みレイヤと４つのプーリング／アップサンプリング操作を有するＤｅｅｐ Ｖｅｎｔｒｉｃｌｅネットワークアーキテクチャの図である。
【図7】１つの例示された実装形態による、ＳＳＦＰデータを用いるトレーニングのためのライトニングメモリマップデータベース（lightning memory-mapped database：ＬＭＤＢ）の作成についてのフロー図である。
【図8】１つの例示された実装形態による、畳み込みニューラルネットワークモデルをトレーニングするためのパイプラインプロセスのフロー図である。
【図9】１つの例示された実装形態による、ＳＳＦＰデータ用の推定パイプラインのためのプロセスを例示するフロー図である。
【図10】１つの時点及びスライスインデックスにおけるＬＶ ｅｎｄｏについてのアプリケーション内ＳＳＦＰ推定結果のスクリーンショットを示す図である。
【図11】１つの時点及びスライスインデックスにおけるＬＶ ｅｐｉについてのアプリケーション内ＳＳＦＰ推定結果のスクリーンショットを示す図である。
【図12】１つの時点及びスライスインデックスにおけるＲＶ ｅｎｄｏについてのアプリケーション内ＳＳＦＰ推定結果のスクリーンショットを示す図である。
【図13】自動的にセグメント化された心室からのアプリケーション内ＳＳＦＰ計算パラメータのスクリーンショットを示す図である。
【図14】ＳＡＸスタックの平面を示す平行線を有する２、３、及び４チャンバービューを示すスクリーンショットを示す図である。
【図15】左パネルで、右心室に平行でないセグメンテーション平面の系列を示す２、３、及び４チャンバービューを描き、右パネルで、２、３、及び４チャンバービューで見られる強調された平面に沿った再構成された画像を示すスクリーンショットを示す図である。
【図16】ＲＶのセグメント化を例示するスクリーンショットを示す図であり、輪郭におけるポイント（右パネル）はスプラインを定義しデータベースに記憶されるものであり、輪郭はＬＡＸビュー（左パネル）に投影される。
【図17】図１６と同じＲＶスライスのセグメント化を例示するが、２、３、及び４チャンバービューの各々が奥行き効果でセグメンテーション平面を強調するように少し回転された、スクリーンショットを示す図である。
【図18】１つの例示された実装形態による、４Ｄフローデータを用いてトレーニングするためのライトニングメモリマップデータベース（ＬＭＤＢ）の作成を例示する概略図である。
【図19】ＳＡＸ平面、利用可能なラベル、及び画像データから生成された、多断面再構成（左上）、ＲＶ ｅｎｄｏマスク（右上）、ＬＶ ｅｐｉマスク（左下）、及びＬＶ ｅｎｄｏマスク（右下）を示す図であり、これらのマスクは１つのアレイに記憶されてよく、画像と共に１つの固有キーでＬＭＤＢに記憶されてよい。
【図21】１つの例示された実装形態による、４Ｄフロー用の推定パイプラインを例示するフロー図である。
【図22】４Ｄフロー検査でのＬＶ ｅｎｄｏについてのアプリケーション内推定を示すスクリーンショットを示す図である。
【図23】４Ｄフロー検査でのＬＶ ｅｐｉについてのアプリケーション内推定を示すスクリーンショットを示す図である。
【図24】４Ｄフロー検査でのＲＶ ｅｎｄｏについてのアプリケーション内推定を示すスクリーンショットを示す図である。
【図25】１つの例示された実装形態による、ウェブアプリケーションを使用した左心室尖部（ＬＶＡ）の位置特定を例示するスクリーンショットを示す図である。
【図26】１つの例示された実装形態による、ウェブアプリケーションを使用した右心室尖部（ＲＶＡ）の位置特定を例示するスクリーンショットを示す図である。
【図27】１つの例示された実装形態による、ウェブアプリケーションを使用した僧帽弁（ＭＶ）の位置特定を例示するスクリーンショットを示す図である。
【図28】１つの例示された実装形態による、トレーニングデータベースの作成のためのプロセスを例示するフロー図である。
【図29】画像上で評価されたガウシアンを有する画像上のランドマーク位置の符号化を例示する図である。
【図30】１つの例示された実装形態による、画像及びランドマークのための前処理パイプラインのフロー図である。
【図31】１人の患者についての前処理された入力画像及び符号化された僧帽弁ランドマークの例を示す複数のスクリーンショットを示す図であり、上から下へ、左から右へ、サジタル、アキシャル、及び冠状ビューが示されている。
【図32】１人の患者についての前処理された入力画像及び符号化された三尖弁ランドマークの例を示す複数のスクリーンショットを示す図であり、上から下へ、左から右へ、サジタル、アキシャル、及び冠状ビューが示されている。
【図33】ネットワーク出力からのランドマーク位置の予測を例示する図である。
【図34】解剖学的画像に重ねられた流れ情報を示す例示的な画像を示す図である。
【図35】１つの非限定的な例示された実装形態による、本明細書に説明された機能のうちの１つ又は複数を実装するために使用される例示的なプロセッサベースのデバイスのブロック図である。
【発明を実施するための形態】
【0066】
以下の説明では、様々な開示されている実装形態の完全な理解を提供するために、いくつかの特定の詳細が説明される。しかしながら、これら特定の詳細の１つ又は複数を伴わずに、又は他の方法、構成要素、材料などと共に実装形態が実施され得ることは、当業者には理解されよう。他の例では、コンピュータシステム、サーバコンピュータ、及び／又は通信ネットワークに関連付けられたよく知られている構造は、実装形態の説明を不必要に曖昧にすることを避けるために詳細に図示又は説明されていない。
【0067】
文脈で別段の要求がない限り、明細書及び続く特許請求の範囲を通して、「備える、有する」という単語は、「含む」と同義であり、包含的又はオープンエンドである（すなわち、追加の記載されていない要素又は方法行為を除外しない）。
【0068】
本明細書を通して「一実装形態」又は「実装形態」への言及は、実装形態に関連して説明される具体的な特徴、構造、又は特性が少なくとも１つの実装形態に含まれることを意味する。従って、本明細書を通して様々な箇所における「一実装形態では」又は「実装形態では」という表現の出現は、必ずしもすべてが同じ実装形態に言及しているわけではない。さらに、具体的な特徴、構造、又は特性は、１つ又は複数の実装形態において任意の適切な様式で組み合わされ得る。
【0069】
本明細書及び添付された特許請求の範囲で使用される場合、単数形「ａ」、「ａｎ」、及び「ｔｈｅ」は、文脈で別段に明確に指示しない限り、複数の指示対象を含む。「又は」という用語は、文脈で別段に明確に指示しない限り、「及び／又は」を含む意味で一般に利用されることにも留意されたい。
本明細書で提供される本開示の見出し及び要約書は、単に便宜のためであり、実装形態の範囲又は意義を解釈するものではない。
本明細書で提供される本開示の見出し及び要約書は、単に便宜のためであり、実装形態の範囲又は意義を解釈するものではない。
【0070】
（ＳＳＦＰ自動化された心室セグメンテーション）
（Ｄｅｅｐ Ｖｅｎｔｒｉｃｌｅアーキテクチャ）
図６は、心臓ＳＳＦＰ検査における心室セグメンテーションに利用される、本明細書ではＤｅｅｐ Ｖｅｎｔｒｉｃｌｅと呼ばれる畳み込みニューラルネットワーク（ＣＮＮ）アーキテクチャ６００を示す。ネットワーク６００は、２つの経路を含み、すなわち、左側は、畳み込みレイヤ６０６とプーリングレイヤ６０８とを含む収縮経路６０２であり、右側は、アップサンプリング又は転置畳み込みレイヤ６１０と畳み込みレイヤ６０６とを含む拡張経路６０４である。
（Ｄｅｅｐ Ｖｅｎｔｒｉｃｌｅアーキテクチャ）
図６は、心臓ＳＳＦＰ検査における心室セグメンテーションに利用される、本明細書ではＤｅｅｐ Ｖｅｎｔｒｉｃｌｅと呼ばれる畳み込みニューラルネットワーク（ＣＮＮ）アーキテクチャ６００を示す。ネットワーク６００は、２つの経路を含み、すなわち、左側は、畳み込みレイヤ６０６とプーリングレイヤ６０８とを含む収縮経路６０２であり、右側は、アップサンプリング又は転置畳み込みレイヤ６１０と畳み込みレイヤ６０６とを含む拡張経路６０４である。
【0071】
ネットワーク６００における自由パラメータの数は、モデルのエントロピー容量を決定し、エントロピー容量は、本質的にモデルが覚えることができる情報の量である。これらの自由パラメータのかなりの部分は、ネットワーク６００における各レイヤの畳み込みカーネルに存在する。ネットワーク６００は、各プーリングレイヤ６０８の後に、特徴マップの数が倍になり、空間解像度が半分にされるように構成される。各アップサンプリングレイヤ６１０の後、特徴マップの数が半分にされ、空間解像度が倍にされる。この方式では、ネットワーク６００にわたる各レイヤについての特徴マップの数は、第１のレイヤの数（例えば、１と２０００の間の個数の特徴マップ）によって完全に記述され得る。少なくともいくつかの実装形態では、第１のレイヤにおける特徴マップの数は１２８である。追加の特徴マップを使用すると、計算複雑性、メモリ使用量、トレーニングされたモデルディスク使用量の増加の適度なコストで、モデルの精度を向上することが見出されている。トレーニングデータの量、及び利用可能な計算リソースとモデル性能との間の所望されるトレードオフによっては、初期特徴マップの数について他の値でも十分であり得る。
【0072】
少なくともいくつかの実装形態では、ネットワーク６００は、各プーリングレイヤ６０８の前に、サイズ３×３及びストライド１の畳み込みカーネルを有する２つの畳み込みレイヤ６０６を含む。これらのパラメータの異なる組み合わせ（レイヤの数、畳み込みカーネルサイズ、畳み込みストライド）が使用されてもよい。ハイパーパラメータ探索に基づいて、４つのプーリング及びアップサンプリング操作が検査中のデータに対して最も良く作用することが見出されたが、結果は、この数から中程度にしか影響されない。
【0073】
入力画像に何らパディングを適用せずに（このパディングの欠落は「有効（valid）」パディングと呼ばれる）、１×１よりも大きい畳み込みは、（画像サイズ－畳み込みサイズ＋１の）畳み込みのみで所与の画像にわたってフィットできるので、出力特徴マップのサイズを自然に小さくさせる。有効パディングを使用すると、出力セグメンテーションマップは、５７２×５７２ピクセルの入力画像に対して３８８×３８８ピクセルに過ぎない。従って、画像全体をセグメント化することは、タイリング手法を必要とし、元の画像の境界のセグメンテーションは不可能である。本開示の少なくともいくつかの実装形態によるネットワーク６００では、すべての畳み込みの前に幅（畳み込みサイズ－２）のゼロパディングが利用され、従って、セグメンテーションマップが常に入力と同じ解像度である（「同じ（same）」パディングとして知られる）。有効パディングが使用されてもよい。
【0074】
プーリング操作を用いる特徴マップのダウンサンプリングは、元の画像の空間内のより大きな視野を有する畳み込みによって、より高いレベルの抽象的特徴を学習するための重要なステップであり得る。少なくともいくつかの実装形態では、ネットワーク６００は、畳み込みの各セットの後に、画像をダウンサンプリングするために、ストライド２を有する２×２最大プーリング操作を利用する。学習されたダウンサンプリング、すなわち、ストライド２を有する２×２畳み込みを用いる入力ボリュームの畳み込みが使用されてもよいが、それにより計算複雑性を増大する可能性がある。一般に、プーリングサイズとストライドの異なる組み合わせが使用されてもよい。
【0075】
活性化ボリュームを元の解像度にアップサンプリングすることは、ピクセル単位のセグメンテーションのために完全畳み込みネットワークにおいて必要である。ネットワークにおける活性化ボリュームの解像度を増大させるために、いくつかのシステムでは、アップサンプリング操作、次いで２×２畳み込み、次いでスキップ接続を介する対応する収縮レイヤからの特徴マップの連結、最後に２つの３×３畳み込みを用いることができる。少なくともいくつかの実装形態では、ネットワーク６００は、アップサンプリング及び２×２畳み込みを、学習されたカーネルを用いてアップサンプリング及び補間を行う単一の転置畳み込みレイヤ６１０に置き換えて、細かな詳細を解像するモデルの能力を改善する。その操作は、図６の収縮経路６０２から拡張経路６０４への太い矢印によって示されるようにスキップ接続連結によって後続される。この連結に続いて、２つの３×３畳み込みレイヤが適用される。
【0076】
少なくともいくつかの実装形態では、正規化線形関数（rectified linear unit：ＲｅＬＵ）が、畳み込みに続くすべての活性化のために使用される。ＰＲｅＬＵ（パラメトリックＲｅＬＵ）及びＥＬＵ（指数線形ユニット（exponential linear unit））を含む他の非線形活性化関数が使用されてもよい。
【0077】
（モデルハイパーパラメータ）
モデルハイパーパラメータが、トレーニング中に読み込まれる少なくとも１つの非一時的プロセッサ可読記憶媒体（例えば、構成ファイル）に記憶され得る。モデルを記述するパラメータは、以下を含み得る。
・ｎｕｍ＿ｐｏｏｌｉｎｇ＿ｌａｙｅｒｓ：プーリング（及びアップサンプリング）レイヤの総数、
・ｐｏｏｌｉｎｇ＿ｔｙｐｅ：使用するプーリング操作のタイプ（例えば、ｍａｘ）、
・ｎｕｍ＿ｉｎｉｔ＿ｆｉｌｔｅｒｓ：第１のレイヤのフィルタ（畳み込みカーネル）の数、
・ｎｕｍ＿ｃｏｎｖ＿ｌａｙｅｒｓ：各プーリング操作の間の畳み込みレイヤの数、
・ｃｏｎｖ＿ｋｅｒｎｅｌ＿ｓｉｚｅ：畳み込みカーネルのピクセル単位のエッジ長、
・ｄｒｏｐｏｕｔ＿ｐｒｏｂ：特定のノードの活性化がネットワークを介したバッチの所与の順方向／逆方向パスでゼロに設定される確率、
・ｂｏｒｄｅｒ＿ｍｏｄｅ：畳み込み前に入力特徴マップをゼロパディングする方法、
・ａｃｔｉｖａｔｉｏｎ：各畳み込み後に使用する非線形活性化関数、
・ｗｅｉｇｈｔ＿ｉｎｉｔ：ネットワーク内で重みを初期化するための手段、
・ｂａｔｃｈ＿ｎｏｒｍ：ネットワークのダウンサンプリング／収縮部分における各非線形性の後にバッチ正規化を利用するか否か、
・ｂａｔｃｈ＿ｎｏｒｍ＿ｍｏｍｅｎｔｕｍ：特徴毎の平均及び標準偏差のバッチ正規化計算におけるモメンタム、
・ｄｏｗｎ＿ｔｒａｉｎａｂｌｅ：ネットワークのダウンサンプリング部分が新しいデータを見ると学習することを可能にするかどうか、
・ｂｒｉｄｇｅ＿ｔｒａｉｎａｂｌｅ：ブリッジ畳み込みが学習することを可能にするかどうか、
・ｕｐ＿ｔｒａｉｎａｂｌｅ：ネットワークのアップサンプリング部分が学習することを可能にするかどうか、及び
・ｏｕｔ＿ｔｒａｉｎａｂｌｅ：ピクセル単位確率を作成する最終畳み込みが学習することを可能にするかどうか。
モデルハイパーパラメータが、トレーニング中に読み込まれる少なくとも１つの非一時的プロセッサ可読記憶媒体（例えば、構成ファイル）に記憶され得る。モデルを記述するパラメータは、以下を含み得る。
・ｎｕｍ＿ｐｏｏｌｉｎｇ＿ｌａｙｅｒｓ：プーリング（及びアップサンプリング）レイヤの総数、
・ｐｏｏｌｉｎｇ＿ｔｙｐｅ：使用するプーリング操作のタイプ（例えば、ｍａｘ）、
・ｎｕｍ＿ｉｎｉｔ＿ｆｉｌｔｅｒｓ：第１のレイヤのフィルタ（畳み込みカーネル）の数、
・ｎｕｍ＿ｃｏｎｖ＿ｌａｙｅｒｓ：各プーリング操作の間の畳み込みレイヤの数、
・ｃｏｎｖ＿ｋｅｒｎｅｌ＿ｓｉｚｅ：畳み込みカーネルのピクセル単位のエッジ長、
・ｄｒｏｐｏｕｔ＿ｐｒｏｂ：特定のノードの活性化がネットワークを介したバッチの所与の順方向／逆方向パスでゼロに設定される確率、
・ｂｏｒｄｅｒ＿ｍｏｄｅ：畳み込み前に入力特徴マップをゼロパディングする方法、
・ａｃｔｉｖａｔｉｏｎ：各畳み込み後に使用する非線形活性化関数、
・ｗｅｉｇｈｔ＿ｉｎｉｔ：ネットワーク内で重みを初期化するための手段、
・ｂａｔｃｈ＿ｎｏｒｍ：ネットワークのダウンサンプリング／収縮部分における各非線形性の後にバッチ正規化を利用するか否か、
・ｂａｔｃｈ＿ｎｏｒｍ＿ｍｏｍｅｎｔｕｍ：特徴毎の平均及び標準偏差のバッチ正規化計算におけるモメンタム、
・ｄｏｗｎ＿ｔｒａｉｎａｂｌｅ：ネットワークのダウンサンプリング部分が新しいデータを見ると学習することを可能にするかどうか、
・ｂｒｉｄｇｅ＿ｔｒａｉｎａｂｌｅ：ブリッジ畳み込みが学習することを可能にするかどうか、
・ｕｐ＿ｔｒａｉｎａｂｌｅ：ネットワークのアップサンプリング部分が学習することを可能にするかどうか、及び
・ｏｕｔ＿ｔｒａｉｎａｂｌｅ：ピクセル単位確率を作成する最終畳み込みが学習することを可能にするかどうか。
【0078】
使用するトレーニングデータを記述するパラメータは、以下を含み得る、
・ｃｒｏｐ＿ｆｒａｃ：元のものに対するＬＭＤＢにおける画像の部分サイズ、
・ｈｅｉｇｈｔ：画像のピクセル単位の高さ、及び
・ｗｉｄｔｈ：画像のピクセル単位の幅。
・ｃｒｏｐ＿ｆｒａｃ：元のものに対するＬＭＤＢにおける画像の部分サイズ、
・ｈｅｉｇｈｔ：画像のピクセル単位の高さ、及び
・ｗｉｄｔｈ：画像のピクセル単位の幅。
【0079】
トレーニング中に使用するデータ補強を記述するパラメータは、以下を含み得る。
・ｈｏｒｉｚｏｎｔａｌ＿ｆｌｉｐ：水平方向に入力／ラベル対をランダムにフリップするかどうか、
・ｖｅｒｔｉｃａｌ＿ｆｌｉｐ：垂直方向に入力／ラベル対をランダムにフリップするかどうか、
・ｓｈｅａｒ＿ａｍｏｕｎｔ：画像／ラベル対をせん断する正／負の制限値、
・ｓｈｉｆｔ＿ａｍｏｕｎｔ：画像／ラベル対をシフトする最大分割値（max fractional value）、
・ｚｏｏｍ＿ａｍｏｕｎｔ：画像／ラベル対においてズームインする最大分割値、
・ｒｏｔａｔｉｏｎ＿ａｍｏｕｎｔ：画像／ラベル対を回転する正／負の制限値、
・ｚｏｏｍ＿ｗａｒｐｉｎｇ：ズーミングとワーピングを一緒に利用するかどうか、
・ｂｒｉｇｈｔｎｅｓｓ：画像輝度を変更する正／負の制限値、
・ｃｏｎｔｒａｓｔ：画像コントラストを変更する正／負の制限値、及び
・ａｌｐｈａ， ｂｅｔａ：弾性変形の強度を記述する第１のパラメータ及び第２のパラメータ。
・ｈｏｒｉｚｏｎｔａｌ＿ｆｌｉｐ：水平方向に入力／ラベル対をランダムにフリップするかどうか、
・ｖｅｒｔｉｃａｌ＿ｆｌｉｐ：垂直方向に入力／ラベル対をランダムにフリップするかどうか、
・ｓｈｅａｒ＿ａｍｏｕｎｔ：画像／ラベル対をせん断する正／負の制限値、
・ｓｈｉｆｔ＿ａｍｏｕｎｔ：画像／ラベル対をシフトする最大分割値（max fractional value）、
・ｚｏｏｍ＿ａｍｏｕｎｔ：画像／ラベル対においてズームインする最大分割値、
・ｒｏｔａｔｉｏｎ＿ａｍｏｕｎｔ：画像／ラベル対を回転する正／負の制限値、
・ｚｏｏｍ＿ｗａｒｐｉｎｇ：ズーミングとワーピングを一緒に利用するかどうか、
・ｂｒｉｇｈｔｎｅｓｓ：画像輝度を変更する正／負の制限値、
・ｃｏｎｔｒａｓｔ：画像コントラストを変更する正／負の制限値、及び
・ａｌｐｈａ， ｂｅｔａ：弾性変形の強度を記述する第１のパラメータ及び第２のパラメータ。
【0080】
トレーニングを記述するパラメータは、以下を含む。
・ｂａｔｃｈ＿ｓｉｚｅ：各順方向／逆方向パスでネットワークを示す例の数、
・ｍａｘ＿ｅｐｏｃｈ：データを通した反復の最大数、
・ｏｐｔｉｍｉｚｅｒ＿ｎａｍｅ：使用するオプティマイザ関数の名前、
・ｏｐｔｉｍｉｚｅｒ＿ｌｒ：学習率の値、
・ｏｂｊｅｃｔｉｖｅ： 使用する目的関数、
・ｅａｒｌｙ＿ｓｔｏｐｐｉｎｇ＿ｍｏｎｉｔｏｒ：いつモデルトレーニングがトレーニングを停止すべきかを決定するために監視するパラメータ、及び
・ｅａｒｌｙ＿ｓｔｏｐｐｉｎｇ＿ｐａｔｉｅｎｃｅ：モデルトレーニングを停止する前にｅａｒｌｙ＿ｓｔｏｐｐｉｎｇ＿ｍｏｎｉｔｏｒ値が改善しなくなった後に待機をするエポック（Epoch）の数。
・ｂａｔｃｈ＿ｓｉｚｅ：各順方向／逆方向パスでネットワークを示す例の数、
・ｍａｘ＿ｅｐｏｃｈ：データを通した反復の最大数、
・ｏｐｔｉｍｉｚｅｒ＿ｎａｍｅ：使用するオプティマイザ関数の名前、
・ｏｐｔｉｍｉｚｅｒ＿ｌｒ：学習率の値、
・ｏｂｊｅｃｔｉｖｅ： 使用する目的関数、
・ｅａｒｌｙ＿ｓｔｏｐｐｉｎｇ＿ｍｏｎｉｔｏｒ：いつモデルトレーニングがトレーニングを停止すべきかを決定するために監視するパラメータ、及び
・ｅａｒｌｙ＿ｓｔｏｐｐｉｎｇ＿ｐａｔｉｅｎｃｅ：モデルトレーニングを停止する前にｅａｒｌｙ＿ｓｔｏｐｐｉｎｇ＿ｍｏｎｉｔｏｒ値が改善しなくなった後に待機をするエポック（Epoch）の数。
【0081】
最適モデルを選択するために、これらのハイパーパラメータに対してランダム探索が行われてよく、最も高い検証精度を有するモデルが選択されてよい。
【0082】
（トレーニングデータベース）
少なくともいくつかの実装形態では、トレーニング用の前処理された画像／セグメンテーションマスク対を記憶するライトニングメモリマップデータベース（ＬＭＤＢ）が使用され得る。このデータベースアーキテクチャは、トレーニングデータを記憶する他の手段に対して多くの利点を持つ。そのような利点は、キーのマッピングが速度に関して辞書式（lexicographical for speed）であること、画像／セグメンテーションマスク対がトレーニングに必要とされるフォーマットで記憶されるので、それらがトレーニング時間にさらに前処理を必要としないこと、及び、画像／セグメンテーションマスク対を読み込むことが計算上安価なトランザクションであることを含む。
少なくともいくつかの実装形態では、トレーニング用の前処理された画像／セグメンテーションマスク対を記憶するライトニングメモリマップデータベース（ＬＭＤＢ）が使用され得る。このデータベースアーキテクチャは、トレーニングデータを記憶する他の手段に対して多くの利点を持つ。そのような利点は、キーのマッピングが速度に関して辞書式（lexicographical for speed）であること、画像／セグメンテーションマスク対がトレーニングに必要とされるフォーマットで記憶されるので、それらがトレーニング時間にさらに前処理を必要としないこと、及び、画像／セグメンテーションマスク対を読み込むことが計算上安価なトランザクションであることを含む。
【0083】
トレーニングデータは一般に、ディスク上の名前付けされたファイル、及び各画像のグランドトゥルース（Ground Truth）データベースからのマスクのリアルタイム生成を含む、様々な他のフォーマットで記憶され得る。これらの方法は、同じ結果を達成し得るが、トレーニングプロセスを遅くする可能性がある。
【0084】
新しいＬＭＤＢが、モデルをトレーニングするために使用されるべき入力／ターゲットの各一意のセットに対して作成され得る。これは、画像前処理のためのトレーニング中に減速がないことを保証する。
【0085】
（トレーニング中の欠損データの処置）
セル区別タスクの２つのクラス、すなわち前景モデル及び背景モデルのみに関心があった以前のモデルとは異なり、本明細書に開示されるＳＳＦＰモデルは、４つのクラス、すなわち、背景、ＬＶ心内膜、ＬＶ心外膜、及びＲＶ心内膜を区別しようと試みる。これを達成するために、ネットワーク出力は、３つの確率マップ、すなわち非背景クラス毎に１つの確率マップを含むことができる。トレーニング中に、３つのクラスの各々についてのグランドトゥルースバイナリマスクが、ピクセルデータと共にネットワークに提供される。ネットワーク損失が、３つのクラスにわたる損失の合計として決定され得る。３つのグランドトゥルースマスクのいずれかが画像に対して欠損している（すなわち、グランドトゥルースが空のマスクではなく、データがないことを意味する）場合、そのマスクは損失を計算するときに無視されてよい。
セル区別タスクの２つのクラス、すなわち前景モデル及び背景モデルのみに関心があった以前のモデルとは異なり、本明細書に開示されるＳＳＦＰモデルは、４つのクラス、すなわち、背景、ＬＶ心内膜、ＬＶ心外膜、及びＲＶ心内膜を区別しようと試みる。これを達成するために、ネットワーク出力は、３つの確率マップ、すなわち非背景クラス毎に１つの確率マップを含むことができる。トレーニング中に、３つのクラスの各々についてのグランドトゥルースバイナリマスクが、ピクセルデータと共にネットワークに提供される。ネットワーク損失が、３つのクラスにわたる損失の合計として決定され得る。３つのグランドトゥルースマスクのいずれかが画像に対して欠損している（すなわち、グランドトゥルースが空のマスクではなく、データがないことを意味する）場合、そのマスクは損失を計算するときに無視されてよい。
【0086】
欠損グランドトゥルースデータは、トレーニングプロセス中に明示的に計上される。例えば、ＬＶ心外膜及びＲＶ心内膜輪郭位置が知られていなくても、ＬＶ心内膜輪郭が定義される画像上でネットワークがトレーニングされ得る。欠損データを計上できなかった、より基本的なアーキテクチャは、３つすべてのタイプの輪郭が定義されているトレーニング画像のサブセット（例えば、２０％）に対してのみトレーニング可能であった。このようにトレーニングデータ量を減らした結果、精度がかなり低下される。従って、欠損データを説明するために損失関数を明示的に変更することによって、全トレーニングデータ量が使用され、ネットワークがよりロバストな特徴を学習することを可能にする。
【0087】
（トレーニングデータベース作成）
図７は、ＳＳＦＰ ＬＭＤＢの作成のためのプロセス７００を示す。７０２では、輪郭情報がＳＳＦＰグランドトゥルースデータベース７０４から抽出される。これらの輪郭は、特定のＳＳＦＰスライス位置及び時点に関連付けられて、輪郭Ｘ位置及びＹ位置の辞書としてグランドトゥルースデータベース７０４に記憶される。７０６では、対応するＳＳＦＰ ＤＩＣＯＭ（Digital Imaging and Communications in Medicine）画像７０８からのピクセルデータが、この情報から作成されたブール型マスク（Boolean mask）と対にされる。７１０では、システムは、画像を正規化し、画像／マスクをクロップし、画像／マスクをサイズ変更することによって、画像及びマスクを前処理する。少なくともいくつかの実装形態では、ＭＲＩは、それらが平均値０を有し、画像のバッチの第１及び第９９パーセンタイル（the 1st and 99th percentile）が－０．５及び０．５であり、すなわち、それらの「使用可能範囲」は－０．５と０．５の間にあるように正規化される。心室輪郭が画像のより大きな割合を占めるように、画像がクロップ及びサイズ変更され得る。これは、より多くの総数の前景クラスピクセルをもたらし、心室の細かな詳細（特にコーナー）をより簡単に解像し、より小さい計算能力のみでモデルの収束を容易にする。
図７は、ＳＳＦＰ ＬＭＤＢの作成のためのプロセス７００を示す。７０２では、輪郭情報がＳＳＦＰグランドトゥルースデータベース７０４から抽出される。これらの輪郭は、特定のＳＳＦＰスライス位置及び時点に関連付けられて、輪郭Ｘ位置及びＹ位置の辞書としてグランドトゥルースデータベース７０４に記憶される。７０６では、対応するＳＳＦＰ ＤＩＣＯＭ（Digital Imaging and Communications in Medicine）画像７０８からのピクセルデータが、この情報から作成されたブール型マスク（Boolean mask）と対にされる。７１０では、システムは、画像を正規化し、画像／マスクをクロップし、画像／マスクをサイズ変更することによって、画像及びマスクを前処理する。少なくともいくつかの実装形態では、ＭＲＩは、それらが平均値０を有し、画像のバッチの第１及び第９９パーセンタイル（the 1st and 99th percentile）が－０．５及び０．５であり、すなわち、それらの「使用可能範囲」は－０．５と０．５の間にあるように正規化される。心室輪郭が画像のより大きな割合を占めるように、画像がクロップ及びサイズ変更され得る。これは、より多くの総数の前景クラスピクセルをもたらし、心室の細かな詳細（特にコーナー）をより簡単に解像し、より小さい計算能力のみでモデルの収束を容易にする。
【0088】
７１２では、ＳＳＦＰ ＬＭＤＢの一意のキーが、系列インスタンスＵＩＤ及びＳＯＰインスタンスＵＩＤの組み合わせとなるように定義される。７１４では、時点、スライスインデックス、及びＬＭＤＢキーを含む、画像及びマスクメタデータが、データフレームに記憶される。７１６では、正規化、クロップ、及びサイズ変更された画像、並びにクロップ及びサイズ変更されたマスクが、各キーについてＬＭＤＢに記憶される。
Ｄｅｅｐ Ｖｅｎｔｒｉｃｌｅトレーニング
Ｄｅｅｐ Ｖｅｎｔｒｉｃｌｅトレーニング
【0089】
図８は、モデルトレーニングを例示するプロセス８００を示す。少なくともいくつかの実装形態では、モデルをトレーニングするために、ＴｅｎｓｏｒＦｌｏｗで構築されたオープンソースのラッパーであるＫｅｒａｓが使用され得る。しかしながら、同等の結果は、生のＴｅｎｓｏｒＦｌｏｗ、Ｔｈｅａｎｏ、Ｃａｆｆｅ、Ｔｏｒｃｈ、ＭＸＮｅｔ、ＭＡＴＬＡＢ、又はテンソル数学用の他のライブラリを使用しても達成され得る。
【0090】
少なくともいくつかの実装形態では、データセットは、トレーニングセット、検証セット、及びテストセットに分割され得る。トレーニングセットは、モデル勾配の更新のために使用され、検証セットは、（例えば、早期停止のための）トレーニング中に「ホールドアウトされた」データのモデルを評価するために使用され、テストセットは、トレーニングプロセスにおいてまったく使用されない。
【0091】
８０２では、トレーニングが起動される。８０４では、画像及びマスクデータがＬＭＤＢトレーニングセットから一度に１バッチ読み込まれる。８０６では、少なくともいくつかの実装形態では、上述されたようにモデルハイパーパラメータファイルに記憶された歪みハイパーパラメータに従って、画像及びマスクが歪められる。８０８では、バッチがネットワークを介して処理される。８１０では、損失／勾配が計算される。８１０では、指定されたオプティマイザ及びオプティマイザ学習率に従って、重みが更新される。少なくともいくつかの実装形態では、ピクセル単位のクロスエントロピー損失関数及びＡｄａｍ更新ルールを使用して、損失が計算され得る。
【0092】
８１４では、システムは、エポックが完了したかどうかを決定することができる。エポックが完了しなかった場合、プロセスは、行為８０４に戻って、別のバッチのトレーニングデータを読み込む。８１６では、エポックが完了した場合、検証セットについて尺度が計算される。そのような尺度は、例えば、検証損失、検証精度、相対精度、多数派クラスのみを予測するナイーブモデルに対する相対精度、ｆｌスコア、精度、及びリコールを含み得る。
【0093】
８１８では、モデルが改善したかを決定するために、検証損失が監視され得る。８２０では、モデルが改善した場合、その時のモデルの重みが保存され得る。８２２では、早期停止（early stopping）カウンタがゼロにリセットされ得、８０４で、別のエポックのトレーニングが始まることができる。検証損失以外の検証精度などの尺度も、評価モデル性能を示すために使用され得る。８２４では、モデルがエポックの後に改善しない場合、早期停止カウンタが１だけ増分される。８２６では、カウンタがその限界に達していない場合、８０４で別のエポックについてトレーニングが開始される。８２８では、カウンタがその限界（limit）に達した場合、モデルのトレーニングが停止される。この「早期停止」方法論は、過剰適合を防止するために使用されるが、例えば、より小さいモデルの利用、ドロップアウト又はＬ２正則化のレベルの増大など、他の過剰適合を防止する方法が存在する。
【0094】
モデルをトレーニングするときに使用されるテストセットからのデータはない。テストセットからのデータは、セグメンテーションの例を示すために使用されてもよいが、この情報は、トレーニングのために、又はモデルを互いにランク付けするために使用されない。
【0095】
（推定）
推定は、新しいデータについての予測のためのトレーニングされたモデルを利用するプロセスである。少なくともいくつかの実装形態では、ウェブアプリケーション（又は「ウェブアプリ」）が推定のために使用され得る。図９は、予測が新しいＳＳＦＰ検査に対して行われ得る例示的なパイプライン又はプロセス９００を表示する。９０２では、ユーザがウェブアプリケーションに検査をロードした後、ユーザが、（例えば、「欠損輪郭を生成する」アイコンをクリックすることによって）推定サービスを起動することができ、それにより、任意の欠損（まだ作成されていない）輪郭を自動的に生成する。そのような輪郭は、例えば、ＬＶ Ｅｎｄｏ、ＬＶ Ｅｐｉ、又はＲＶ Ｅｎｄｏを含むことができる。少なくともいくつかの実装形態では、推定は、検査がユーザによってアプリケーションにロードされたとき、又は検査がユーザによってサーバに最初にアップロードされたときに、自動的に起動され得る。推定がアップロード時に行われる場合、予測は、非一時的プロセッサ可読記憶媒体にその時に記憶され得るが、ユーザが検査を開くまでは表示されない。
推定は、新しいデータについての予測のためのトレーニングされたモデルを利用するプロセスである。少なくともいくつかの実装形態では、ウェブアプリケーション（又は「ウェブアプリ」）が推定のために使用され得る。図９は、予測が新しいＳＳＦＰ検査に対して行われ得る例示的なパイプライン又はプロセス９００を表示する。９０２では、ユーザがウェブアプリケーションに検査をロードした後、ユーザが、（例えば、「欠損輪郭を生成する」アイコンをクリックすることによって）推定サービスを起動することができ、それにより、任意の欠損（まだ作成されていない）輪郭を自動的に生成する。そのような輪郭は、例えば、ＬＶ Ｅｎｄｏ、ＬＶ Ｅｐｉ、又はＲＶ Ｅｎｄｏを含むことができる。少なくともいくつかの実装形態では、推定は、検査がユーザによってアプリケーションにロードされたとき、又は検査がユーザによってサーバに最初にアップロードされたときに、自動的に起動され得る。推定がアップロード時に行われる場合、予測は、非一時的プロセッサ可読記憶媒体にその時に記憶され得るが、ユーザが検査を開くまでは表示されない。
【0096】
推定サービスは、モデルをロードし、輪郭を生成し、それらをユーザへ表示することを担う。９０２で推定が起動された後、９０４で画像が推定サーバに送られる。９０６では、推定サービスによって使用される生成モデル又はネットワークが、推定サーバにロードされる。ネットワークは、ハイパーパラメータ探索中にトレーニングされたモデルのコーパスから事前に選択されていてよい。ネットワークは、精度、メモリ使用量、及び実行の速度の間のトレードオフに基づいて選ばれてもよい。あるいは、ユーザは、ユーザプリファレンスオプションによって「速い」又は「精密な」モデルの間の選択肢を与えられてもよい。
【0097】
９０８では、一度に画像の１つのバッチが推定サーバによって処理される。９１０では、上述されたようにトレーニング中に利用された同じパラメータを使用して、画像が前処理（例えば、正規化、クロップ）される。少なくともいくつかの実装形態では、推定時間歪みが適用され、平均推定結果が、例えば、各入力画像の１０個の歪んだコピーに基づいて得られる。この特徴は、輝度、コントラスト、向きなどの小さな変動に対してロバストである推定結果を作成する。
【0098】
推定は、要求されたバッチにおけるスライス位置及び時点において行われる。９１２では、ネットワークを通る順方向パスが計算される。与えられた画像について、モデルは、順方向パス中の各ピクセルのクラス毎の確率を生成し、その結果、値が０から１の範囲であるクラス毎に１つの確率マップのセットをもたらす。確率マップは、各ピクセルのクラスを最も高いラベルマップ確率を有するクラスに設定することによって、単一のラベルマスクに変形される。
【0099】
９１４では、システムは後処理を行うことができる。例えば、少なくともいくつかの実装形態では、ピクセルのすべての確率が０．５未満である場合、そのピクセルのピクセルクラスは、背景に設定される。さらに、偽の予測されたピクセルを除去するために、そのクラスの最大の接続された領域の部分ではないラベルマップにおけるいずれのピクセルも背景に変換され得る。少なくともいくつかの実装形態では、時間及び空間で近隣のセグメンテーションマップを比較し異常値を除去することによって、偽のピクセルが除去され得る。あるいは、例えば、ＲＶが心臓の基底近くで非凸であるので、与えられた心室が、２つの異なる接続された領域として１つのスライスに時として出現し得るので、複数の接続された領域は許容され得るが、小さな領域、又はスライス位置及び時間にわたるすべての検出された領域の重心から離れた領域が除去され得る。
【0100】
少なくともいくつかの実装形態では、１つ又は複数の物理的制約を満たすための後処理が、９１４で行われ得る。例えば、後処理は、心筋ボリュームがすべての時点で同じであることを保証することができる。これを達成するために、システムは、心内膜及び心外膜確率マップを２値化するために使用される閾値を、それらを輪郭に変換する前に動的に調整することができる。閾値は、例えば、非線形最小二乗を使用して、報告された心筋ボリュームの不一致を最小限にするように調整され得る。物理的制約の別の例として、後処理行為は、ＲＶとＬＶが重ならないことを保証することができる。これを達成するために、システムは、任意の与えられたピクセルが、最高の推定された確率を有するクラスである１つのクラスに属することだけを可能にすることができる。ユーザは、選択された制約の要求を有効又は無効にする構成オプションを有することができる。
【0101】
９１６では、すべてのバッチが処理されていない場合、すべてのスライス位置及びすべての時点で推定が実行されるまで、９０８で新しいバッチが処理パイプラインに追加される。
【0102】
少なくともいくつかの実装形態では、表示、ユーザ対話、及びデータベース記憶を容易にするために、ラベルマスクが作成されると、マスクはスプライン輪郭に変換され得る。最初のステップでは、マスクの境界上のすべてのピクセルをマーキングすることによって、マスクをポリゴンに変換する。次いで、このポリゴンは、「A. Rosenfeld and J.S. Weszka. “An improved method of angle detection on digital curves.” Computers, IEEE Transactions on, C-24(9):940-941, Sept. 1975.」に基づいてコーナー検出アルゴリズムを使用してスプラインの制御点のセットに変換される。これらのマスクの１つからの典型的なポリゴンは、数百の頂点を有する。コーナー検出は、これを約１６個のスプラインの制御点のセットへ削減しようと試みる。これは、ストレージ要件を削減し、より滑らかに見えるセグメンテーションをもたらす。
【0103】
９１８では、これらのスプラインがデータベースに記憶され、ウェブアプリケーションでユーザへ表示される。ユーザがスプラインを修正した場合、データベースは修正されたスプラインで更新され得る。
【0104】
少なくともいくつかの実装形態では、ボリュームは、与えられた時点についてすべての頂点からボリューム測定用メッシュを作成することによって計算される。頂点は、３Ｄボリュームのすべてのスライス毎に配列される。メッシュを定義するために使用される頂点の円筒形グリッドが得られるまで、輪郭における各頂点について、各輪郭における第１の頂点を接続する開いた３次スプライン、第２の頂点を接続する第２のスプラインなどが生成される。次いで、ポリゴンメッシュの内部ボリュームが計算される。計算されたボリュームに基づき、どの時点が収縮末期フェーズ及び拡張末期フェーズを表すかが、それぞれ最小ボリューム及び最大ボリュームを有する時間に基づいて自律的に決定され、これらの時点は、ユーザのためにラベル付けされる。
【0105】
図１０、図１１、及び図１２はそれぞれ、単一の時点及びスライス位置におけるＬＶ Ｅｎｄｏ輪郭１００２、ＬＶ Ｅｐｉ輪郭１１０２、及びＲＶ Ｅｎｄｏ輪郭１２０２についてのアプリケーション内推定結果の例示的な画像１０００、１１００、及び１２００を示す。
【0106】
輪郭（例えば、輪郭１００２、１１０２、及び１２０２）がユーザへ表示されると同時に、システムは、ＥＤ及びＥＳにおける心室ボリュームを計算し、複数の計算された測定値と共にユーザへ示す。複数の計算された測定値を表示する例示的なインターフェース１３００が、図１３に示される。少なくともいくつかの実装形態では、これらの測定値は、１つの心周期において心室から放出される血液のボリュームである一回拍出量（ＳＶ）１３０２、１つの心周期内に心室から放出された血液プールの割合である駆出率（ＥＦ）１３０４、血液が心室を離れる平均速度である心拍出量（ＣＯ）１３０６、拡張末期における心室の心筋（すなわち、心外膜－心内膜）の質量であるＥＤ質量（ED mass）１３０８、及び収縮末期における心室の心筋の質量であるＥＳ質量（ES mass）１３１０を含む。
【0107】
４Ｄフローデータでは、ＳＳＦＰに関して上記に説明されたのと同じＤｅｅｐ Ｖｅｎｔｒｉｃｌｅアーキテクチャ、ハイパーパラメータ探索方法論、及びトレーニングデータベースが使用されてよい。４Ｄフローモデルのトレーニングは上述されたＳＳＦＰ操作と同じでよいが、ＬＭＤＢの作成及び推定は４Ｄフロー実装形態では異なることがある。
４Ｄフローデータのトレーニングデータベース作成
４Ｄフローデータのトレーニングデータベース作成
【0108】
ＳＳＦＰ ＤＩＣＯＭファイルは、取得されＳＡＸ方向に記憶されるのに対し、４ＤフローＤＩＣＯＭは、収集されアキシャルスライス（axial slices）として記憶される。データのＳＡＸ多平面再構成（ＭＰＲ）を作成するために、ユーザは左心及び／又は右心の関連するランドマークを配置する必要があり得る。これらのランドマークは、心室尖部及び弁によって画定された各心室の一意のＳＡＸ平面を定義するために使用される。図１４は、各ＳＡＸ平面が２チャンバービュー１４０２、３チャンバービュー１４０４、及び４チャンバービュー１４０６に対して平行である、ＬＶについてのＳＡＸ平面のセット１４００（ＳＡＸスタックとも呼ばれる）を示す。
【0109】
アプリケーションは、必要に応じて、平行でないＳＡＸ平面をユーザが有することを可能にすることもできる。図１５は、２チャンバービュー１５０２、３チャンバービュー１５０４、４チャンバービュー１５０６、及び再構成された画像１５０８の、セグメンテーション平面がＲＶに平行でないＳＡＸスタックのビューのセット１５００を示す。これは、セグメンテーション平面が弁平面と交差せずにむしろそれと平行である場合に、心室をセグメント化することが少し容易であるという事実によって動機付けされる。しかしながら、これは必須ではなく、この特徴を使用することなく精密な結果を得ることが可能である。
【0110】
図１６及び図１７の画像１６００及び１７００にそれぞれ示されるように、各ＳＡＸ平面上の画像データの多平面再構成に対してセグメンテーションが行われる。画像１６０６内の輪郭１６０４上の点１６０２はスプラインを定義し、データベースに記憶されるものである。輪郭１６０４は、２チャンバーＬＡＸビュー１６０８、３チャンバーＬＡＸビュー１６１０、及び４チャンバーＬＡＸビュー１６１２に投影される。図１７は、図１６の同じスライスがセグメント化されている画像１７０２、１７０４、１７０６、及び１７０８を示すが、２チャンバービュー１７０４、３チャンバービュー１７０６、及び４チャンバービュー１７０８の各々は、奥行き効果でセグメンテーション平面を強調するように少し回転されている。
【0111】
図１８は、臨床医アノテーションからトレーニングＬＭＤＢを作成するプロセス１８００を示す。４Ｄフローアノテーションは、ＭｏｎｇｏＤＢ１８０２に記憶され得る。１８０４及び１８０６では、システムはそれぞれ輪郭及びランドマークを抽出する。輪郭は、輪郭のスプラインを定義する（ｘ，ｙ，ｚ）点の系列として記憶される。ランドマークは、ランドマーク毎に単一の４次元座標（ｘ，ｙ，ｚ，ｔ）として記憶される。
【0112】
１８０８では、輪郭をブール型マスクに変換するために、システムは、回転行列を計算して、ｘ－ｙ平面上に輪郭点を回転させる。システムは、輪郭の元の平面上で、サンプリンググリッド、すなわち（ｘ，ｙ，ｚ）点のセットを定義してもよい。システムは、同じ回転行列によって輪郭とサンプリンググリッドの両方をそれらがｘ－ｙ平面内にあるように回転させる。ここで、サンプリンググリッドのどの点が輪郭を定義する２Ｄ頂点内にあるかを決定することは単純な作業である。これは、２Ｄポリゴンの単純な計算幾何学的問題である。
【0113】
４ＤフローＤＩＣＯＭは、データベース１８１０に記憶される。１８１２では、システムは、行為１８０６からのランドマークアノテーション及びデータベース１８１０からの４ＤフローＤＩＣＯＭを使用して、ＳＡＸスタックに沿って画像を定義し生成する。一般に、このＳＡＸスタックは、グランドトゥルース輪郭が定義された元のＳＡＸスタックのものとは異なる。システムは、左心室尖部（ＬＶＡ）と僧帽弁（ＭＶ）を接続する線に直交するようにスタックを定義する。右心室尖部（ＲＶＡ）や三尖弁（ＴＶ）などの適切なランドマークの他の組み合わせも同様に作用する。
【0114】
少なくともいくつかの実装形態では、システムは、ＬＶＡとＭＶとの間にいくつか（例えば、１４個）のスライスが存在するように定義し、これは、ほとんどのＳＳＦＰ ＳＡＸスタックのスライスの数と同様である。異なる数のスライスが使用されてもよい。スライスが増えるとトレーニングセット多様性が増大することになるが、実際のディスク上のサイズは多様性の増大よりも急速に増大する。結果は、スライスの正確な数に対して敏感でないことが予想される。
【0115】
４つのスライスがＬＶＡを越えるようにＳＡＸスタックに付加され、さらに４つがＭＶを越えるように付加され得る。これは、心室全体がＳＡＸスタック内にあることを保証する。結果は、使用される追加スライスの正確な数に敏感でないことが見込まれる。大動脈弁（ＡＶ）がＬＶＡをＭＶに接続する線の右に向けられることを保証することによって、ＲＶが（心臓ＭＲで従来のように）常に画像の左にあるように、ＳＡＸスタックが向けられることができる。向きの一貫性は良好な結果を得るためにおそらく重要であるが、正確な選ばれた向きは任意である。
【0116】
１８１４では、少なくともいくつかの実装形態では、与えられた検査の利用可能なすべての輪郭は、トレーニング及び推定の単純さ及び速度のために、単一の湾曲されていないＳＡＸスタック上に補間される。ＳＡＸスタックの平面が定義されると、元のサンプリンググリッド、すなわち（ｘ，ｙ，ｚ）点の系列、及びそれらに対応するマスクによって記述された各心室及び時点について線形補間器が設定される。次いで、システムは、グランドトゥルースマスクをそれらの元のＳＡＸスタックから検査の共通のＳＡＸスタック上へ補間する。これの例が図１９のビュー１９００に示されており、ビュー１９００は、多平面再構成１９０２、ＲＶ ｅｎｄｏマスク１９０４、ＬＶ ｅｐｉマスク１９０６、及びＬＶ ｅｎｄｏマスク１９０８を示している。タグ（sentinel）が、標識が欠損しているときを示すために、補間されたグランドトゥルースマスク内に使用される。これの例示的な視覚化２０００が図２０に示されており、視覚化２０００は、多平面再構成２００２、ＲＶ ｅｎｄｏマスク２００４、欠損ＬＶ ｅｐｉマスク２００６、及びＬＶ ｅｎｄｏマスク２００８を示している。
【0117】
少なくともいくつかの実装形態では、グランドトゥルースマスクを共通のＳＡＸスタックに投影する代わりに、マスクはアキシャル平面上に投影され、アキシャル平面内でトレーニング及び推定を行うことができる。これは同様の精度を達成し得るが、アプリケーションのユーザインターフェース内に表示するために推定された輪郭をＳＡＸスタック内に再投影する必要があるため、解像度のわずかな損失を生じることがある。
【0118】
１８１６では、システムは前処理操作を実行する。例えば、前処理行為は、画像の正規化、画像／マスクのクロップ、及び画像／マスクのサイズ変更を含むことができる。
【0119】
１８１８では、システムは、時間インデックス、スライスインデックス、側（「右」又は「左」）、レイヤ（「ｅｎｄｏ」又は「ｅｐｉ」）、アップロードＩＤ、ワークスペースＩＤ（１人の人物のアノテーションに対する一意の識別子）、及びワークフローキー（所与のユーザが作業したそのユーザのワークフローに対する一意の識別子）の文字列組み合わせの３２文字のハッシュとして、４ＤフローＬＭＤＢの一意のキーを定義する。あるいは、各画像／マスク対に対するいくつかの他の一意のキーが使用されてもよい。１８２０では、システムは、データフレームに、時点、スライスインデックス、及びＬＭＤＢキーを含む、画像及びマスクメタデータを記憶する。正規化、クロップ、及びサイズ変更された画像、並びにクロップ及びサイズ変更されたマスクが、各キーについてＬＭＤＢ１８２２に記憶される。
【0120】
（４ＤフローデータのＤｅｅｐ Ｖｅｎｔｒｉｃｌｅ推定）
上述されたＳＳＦＰ Ｄｅｅｐ Ｖｅｎｔｒｉｃｌｅ推定と同様に、ウェブアプリケーションが４Ｄフローデータについての推定のために使用され得る。図２１は、システムが新しい４Ｄフロー検査に対して予測を行うプロセス２１００のためのパイプラインを示す。２１０２では、ユーザがウェブアプリケーションに検査をロードした後、ユーザは、上記に説明され図９に示された推定パイプラインと同様のパイプラインを介して推定サービスを起動することができる。ランドマークは、手動又は自動で（例えば、後述される自動ランドマーク発見アルゴリズムによって）既に定義されている。
上述されたＳＳＦＰ Ｄｅｅｐ Ｖｅｎｔｒｉｃｌｅ推定と同様に、ウェブアプリケーションが４Ｄフローデータについての推定のために使用され得る。図２１は、システムが新しい４Ｄフロー検査に対して予測を行うプロセス２１００のためのパイプラインを示す。２１０２では、ユーザがウェブアプリケーションに検査をロードした後、ユーザは、上記に説明され図９に示された推定パイプラインと同様のパイプラインを介して推定サービスを起動することができる。ランドマークは、手動又は自動で（例えば、後述される自動ランドマーク発見アルゴリズムによって）既に定義されている。
【0121】
ランドマーク位置は、推定を行うための標準的ＬＶ ＳＡＸスタックを作成するために使用される。ＳＡＸスタックは、上記に説明されたＳＡＸスタックがトレーニング中に作成されたのと同じ方法で作成される。２１０４では、ＳＡＸスタックにおいて各ＭＰＲを記述するために必要とされるメタデータが、ランドマーク位置から計算される。各ＭＰＲの平面は、平面上の点及び平面の法線によって完全に定義されるが、システムはまた、この実装形態では、確実に画像が正しく向けられるように、僧帽弁と大動脈弁を接続するベクトルを渡す。すなわち、右心室は画像における左にある。僧帽弁及び三尖弁などのランドマークの別のセットも、右心室が画像における左にあることを確実にするために十分であり得る。
【0122】
２１０６では、ＭＰＲメタデータは、次いで、データの分散されたバージョンを保持する計算サーバに送られる（各計算ノードは、データの数個の時点を有する）。２１０８では、各ノードは、要求されたＭＰＲをそれが利用可能な時点についてレンダリングする。２１１０では、生成されたＭＰＲ画像は、時点、向き、位置、及びスライスインデックスを含むそれらのメタデータと共に、複数の推定サーバにわたって時点で均等に分散される。２１１２では、ネットワークが各推定ノードにロードされる。
【0123】
２１１４では、一度に１つのバッチの画像が各推定ノードによって処理される。２１１６では、画像が前処理される。２１１８では、順方向パスが計算される。２１２０では、予測が後処理され、上述されたＳＳＦＰ実装形態と同じ方法でスプライン輪郭が作成される。
【0124】
２１２２では、生成されたスプラインは、すべてのバッチが処理された後にウェブサーバに転送されて戻され、スプラインは、他の推定ノードからの推定結果と結合される。ウェブサーバは、輪郭が欠損している場合、隣接するスライスの間を補間することによって、ボリュームが連続的である（すなわち、欠損輪郭がボリュームの途中にない）ことを保証する。２１２４では、ウェブサーバは輪郭をデータベースに保存し、次いで、ウェブアプリケーションを介してユーザに輪郭を提示する。ユーザがスプラインを編集した場合、スプラインの更新されたバージョンが、元の自動的に生成されたバージョンと共にデータベースに保存される。少なくともいくつかの実装形態では、手動で編集された輪郭をそれらの元の自動的に生成されたバージョンと比較することは、手動補正を必要とする推定結果上のみでモデルを再トレーニング又は微調整するために使用され得る。
【0125】
図２２、図２３、及び図２４はそれぞれ、単一の時点及びスライス位置におけるＬＶ Ｅｎｄｏ（輪郭２２０２）、ＬＶ Ｅｐｉ（輪郭２３０２）、及びＲＶ Ｅｎｄｏ（輪郭２４０２）についてのアプリケーション内推定の画像２２００、２３００、及び２４００を示す。ＳＳＦＰと同様に、ＥＤ及びＥＳにおける計算されたボリュームが、複数の計算された測定値（図１３参照）と共にユーザへ提示され得る。
【0126】
（３Ｄエンドツーエンド畳み込みアーキテクチャ）
心室のエンドツーエンドセグメンテーションのための別の手法では、ボリューム測定用画像、ボリューム測定用マスク、及び３Ｄ畳み込みカーネルを全体にわたって利用する。この実装形態の説明及び操作は共に、上述されたＳＳＦＰ実装形態のそれに密接に従うが、いくつかの重要な違いを有する。従って、簡潔にするために、以下の議論は主にそのような違いに焦点を当てる。
心室のエンドツーエンドセグメンテーションのための別の手法では、ボリューム測定用画像、ボリューム測定用マスク、及び３Ｄ畳み込みカーネルを全体にわたって利用する。この実装形態の説明及び操作は共に、上述されたＳＳＦＰ実装形態のそれに密接に従うが、いくつかの重要な違いを有する。従って、簡潔にするために、以下の議論は主にそのような違いに焦点を当てる。
【0127】
この実装形態のためのＤｅｅｐ Ｖｅｎｔｒｉｃｌｅアーキテクチャは、畳み込みカーネルが単に（Ｎ×Ｍ）ピクセルでなく（Ｎ×Ｍ×Ｋ）ピクセルであり、Ｎ、Ｍ、及びＫは互いに等しい又は異なる正の整数であることを除いて、上述されたものとほぼ同一である。モデルパラメータも同様に見えるが、トレーニングデータを記述する深さ成分の追加が、ボリューム測定用入力画像の形状を完全に記述するために必要であり得る。
【0128】
他の実装形態と同様に、この実装形態にはトレーニングＬＭＤＢが利用される。この実装形態のためのＬＭＤＢは、上述された４Ｄフロー実装形態のそれと同様の方法で作成されてよい。しかしながら、この実装形態では、隣接するスライスの間のスライス間隔がｘ方向及びｙ方向のピクセル間隔のそれと同様である（すなわち、ピクセル間隔が３次元でほぼ等方的である）ように、より多くのスライスがＳＡＸを定義するために利用される。ピクセル間隔の間の比がすべての検査にわたって保存されている限り、非等方性ピクセル間隔で同様の結果が達成できる可能性が高い。次いで、ＳＡＸ ＭＰＲ及びマスクは、空間スライスによって配列され、これらのスライスは、１つのコヒーレントなボリューム測定用画像に連結される。モデルトレーニングは、図８を参照して上記に説明されたのと同じパイプラインに従って行われる。
【0129】
推定パイプラインは、同様に４Ｄフロー実装形態のそれとかなり似ている。しかしながら、この実装形態では、隣接するＭＰＲは、推定の前に１つのボリューム測定用画像へ連結される必要がある。
【0130】
（乳頭筋の除外）
Ｄｅｅｐ Ｖｅｎｔｒｉｃｌｅ自動セグメンテーションモデルの追加の実装形態は、心室の血液プールのみがセグメント化され乳頭筋が除外されるものである。実際に、乳頭筋は小さく不規則に形成されているので、それらは典型的には便宜的にセグメント化されたエリアに含まれる。血液プールから乳頭筋を除外する、この実装形態のアーキテクチャ、ハイパーパラメータ、及びトレーニングデータベースは、上述されたＳＳＦＰ実装形態にすべて類似している。しかしながら、この実装形態では、グランドトゥルースセグメンテーションデータベースが、乳頭筋を除外しそれらを含まない左及び右心室心内膜アノテーションを含む。
Ｄｅｅｐ Ｖｅｎｔｒｉｃｌｅ自動セグメンテーションモデルの追加の実装形態は、心室の血液プールのみがセグメント化され乳頭筋が除外されるものである。実際に、乳頭筋は小さく不規則に形成されているので、それらは典型的には便宜的にセグメント化されたエリアに含まれる。血液プールから乳頭筋を除外する、この実装形態のアーキテクチャ、ハイパーパラメータ、及びトレーニングデータベースは、上述されたＳＳＦＰ実装形態にすべて類似している。しかしながら、この実装形態では、グランドトゥルースセグメンテーションデータベースが、乳頭筋を除外しそれらを含まない左及び右心室心内膜アノテーションを含む。
【0131】
心内膜輪郭から乳頭筋を除外するセグメンテーションは作成するのが煩わしいため、トレーニングデータの量は、乳頭筋を除外しないセグメンテーションで取得され得るものよりもかなり少なくなる可能性がある。これを補うために、まず、乳頭筋が心内膜セグメンテーションに含まれ心外膜セグメンテーションから除外されたデータに対してトレーニングされた畳み込みニューラルネットワークが使用され得る。これは、ネットワークが、各クラスの一般的なサイズ及び形状をセグメント化することを学習することを可能にする。次いで、そのネットワークは、セグメンテーションから乳頭筋を除外したより小さなデータのセットに対して微調整される。結果は、以前と同じクラスをセグメント化するが乳頭筋が心内膜セグメンテーションから除外された、セグメンテーションモデルである。これは、乳頭筋が心内膜輪郭内に含まれていたときに以前に利用可能であったものよりも精密な心室血液プールボリュームの測定をもたらす。
【0132】
（自動化されたボリュームについての他のビューの合成）
従来の画像分類又はセグメンテーションニューラルネットワークアーキテクチャは、一度に単一の画像、場合によっては複数チャンネル（例えば、ＲＧＢ）画像、場合によってはボリューム測定用画像に対して動作する。標準的２Ｄ手法は、一度に３Ｄボリュームからの単一のスライスに対して動作するネットワークを含む。この場合、単一のスライスからの情報のみが、そのスライスにおけるデータを分類又はセグメント化するために使用される。この手法の問題は、対象のスライスについて、周囲の時点又はスライスからの文脈が推定に組み込まれないことである。標準的３Ｄ手法は、ボリューム測定用予測を行うために３Ｄカーネルを利用しボリューム測定用情報を組み込む。しかしながら、この手法は、低速であり、トレーニングと推定の両方のためにかなりの計算リソースを必要とする。
従来の画像分類又はセグメンテーションニューラルネットワークアーキテクチャは、一度に単一の画像、場合によっては複数チャンネル（例えば、ＲＧＢ）画像、場合によってはボリューム測定用画像に対して動作する。標準的２Ｄ手法は、一度に３Ｄボリュームからの単一のスライスに対して動作するネットワークを含む。この場合、単一のスライスからの情報のみが、そのスライスにおけるデータを分類又はセグメント化するために使用される。この手法の問題は、対象のスライスについて、周囲の時点又はスライスからの文脈が推定に組み込まれないことである。標準的３Ｄ手法は、ボリューム測定用予測を行うために３Ｄカーネルを利用しボリューム測定用情報を組み込む。しかしながら、この手法は、低速であり、トレーニングと推定の両方のためにかなりの計算リソースを必要とする。
【0133】
メモリ／計算と時空間コンテキストのモデルへの利用可能性とのトレードオフを最適化するために、後述されるいくつかのハイブリッド手法が使用され得る。空間コンテキストは、単一の２Ｄスライス上で僧帽弁と三尖弁を区別するのが難しい心臓の基底の近くの心室セグメンテーションに特に有用である。時間コンテキスト、及びセグメンテーションの一貫性の実施は、セグメンテーションのすべての部分のために有用であり得る。
【0134】
第１の手法では、問題は２Ｄ問題として解釈され、一度に単一のスライスについて予測を行うが、（空間、時間、又はその両方で）隣接するスライスが、画像の追加の「チャンネル」として解釈される。例えば、時間ｔ＝５及びスライス＝１０において、９チャンネル画像が生成されてよく、以下の時間／スライス組み合わせにおけるデータが以下の９チャンネル、すなわち、｛ｔ＝４、スライス＝９｝、｛ｔ＝４、スライス＝１０｝、｛ｔ＝４、スライス＝１１｝、｛ｔ＝５、スライス＝９｝、｛ｔ＝５、スライス＝１０｝、｛ｔ＝５、スライス＝１１｝、｛ｔ＝６、スライス＝９｝、｛ｔ＝６、スライス＝１０｝、｛ｔ＝６、スライス＝１１｝にパックされる。この構成では、ネットワークは２Ｄ畳み込みで動作するが、近くの空間的位置及び時間的位置からのデータを組み込み、学習されたカーネルと畳み込まれた入力チャンネルの線形結合を介して特徴マップを作成する標準的ニューラルネットワーク技法によって情報を合成する。
【0135】
第２の手法は、心臓ＭＲＩのいくつかの複雑さに特異的であるが、それは、データの直交面（又は斜面）が取得される任意のシナリオで使用され得る。標準的ＳＳＦＰ心臓ＭＲＩでは、短軸（ＳＡＸ）スタックが、１つ又は複数の長軸（ＬＡＸ）平面と共に取得される。ＬＡＸ平面はＳＡＸスタックと直交しており、ＬＡＸ平面は、典型的には、左心室の長軸に沿った方向に著しく高い空間解像度を有する。すなわち、ＳＡＸスタックのＭＰＲによって生成されたＬＡＸ画像は、ＳＡＸスライス間隔がＬＡＸ面内ピクセル間隔よりもかなり粗いので、ネイティブＬＡＸ画像よりも低い解像度を有する。長軸方向のより高い空間解像度のため、ＳＡＸ画像と比較してＬＡＸ画像における弁を見ることは極めて簡単である。
【0136】
従って、２段階心室セグメンテーションモデルが利用されてよい。第１の段階では、心室が１つ又は複数のＬＡＸ平面でセグメント化される。これらの画像の高い空間解像度のため、セグメンテーションが非常に正確であり得る。欠点は、ＬＡＸ平面が、ボリュームの代わりに単一の平面のみからなることである。このＬＡＸセグメンテーションがＳＡＸスタックに投影された場合、ＬＡＸセグメンテーションはＳＡＸ画像の各々における線として出現する。この線が複数のＬＡＸビュー（例えば、２ＣＨ、３ＣＨ、４ＣＨ；下記の見出し「手動ＬＶ／ＲＶボリュームに対する弁平面を定義するためのインターフェース」を参照されたい）からセグメンテーションにわたって集約されている場合、この線は正確に作成され得る。この線は、ＳＡＸ画像に対して動作する異なるモデルを介して生成されるＳＡＸセグメンテーションを境界付けるために使用され得る。ＳＡＸセグメンテーションモデルは、生のＳＡＸ ＤＩＣＯＭデータ及びＬＡＸモデルからの予測された投影された線の両方を、その予測を行うために入力して使用する。予測されたＬＡＸラインは、ＳＡＸ予測を誘導し、境界付け、特に、ＳＡＸスタックだけで見られたときにセグメンテーションがしばしば曖昧である、心臓及び弁平面の基底近くのモデルの助けとなる。
【0137】
この技法は、ボリューム全体が一度に取得される（並びにＳＡＸ画像とＬＡＸ画像が別々に収集されない）４Ｄフローを含む任意の心臓イメージングに使用されてよく、２つの連鎖モデル内にかかわらず、２Ｄカーネルのみが利用されることを必要とするという利点を有する。
【0138】
（自動化されたボリュームについての時間又は流れ情報の使用）
ＳＳＦＰシネ検査は４次元のデータ（空間で３つ、時間で１つ）を含み、４Ｄフロー検査は５次元のデータ（空間で３つ、時間で１つ、４チャンネルの情報）を含む。これら４チャンネルの情報は、解剖学的形態（すなわち信号強度）、軸位相、ｙ軸位相、及びｚ軸位相である。モデルを構築する最も単純な方法は、各３Ｄ空間点で信号強度のみを使用し、時間情報、又は４Ｄフローの場合は流れ情報を組み込まない。この単純なモデルは、形状（ｘ，ｙ，ｚ）の３Ｄデータ立方体を入力として取り込む。
ＳＳＦＰシネ検査は４次元のデータ（空間で３つ、時間で１つ）を含み、４Ｄフロー検査は５次元のデータ（空間で３つ、時間で１つ、４チャンネルの情報）を含む。これら４チャンネルの情報は、解剖学的形態（すなわち信号強度）、軸位相、ｙ軸位相、及びｚ軸位相である。モデルを構築する最も単純な方法は、各３Ｄ空間点で信号強度のみを使用し、時間情報、又は４Ｄフローの場合は流れ情報を組み込まない。この単純なモデルは、形状（ｘ，ｙ，ｚ）の３Ｄデータ立方体を入力として取り込む。
【0139】
すべての利用可能なデータを活用するために、少なくともいくつかの実装形態では、時間及び位相データも組み込まれる。これは、少なくともいくつかの理由で特に有用である。第１に、心臓の動きは通常、心周期中の予測可能なパターンに従うので、ピクセルの相対的な動きは、特に解剖学的領域を識別する助けとなり得る。第２に、通常は心周期に対して約２０個の時点が記録され、これは、心臓がフレーム間でわずかにのみ動くことを意味する。予測がフレーム間でわずかしか変化しないことを認識することは、モデル出力を正則化する方法として役立つことがある。第３に、流れ情報が、低流量と高流量との間で変化する非常に規則的な流れパターンを有する弁などの構造を位置特定するために使用され得る。
【0140】
時間データを組み込むために、強度データに追加の「チャンネル」として時間が追加され得る。そのような実装形態では、次いで、モデルは形状（Ｘ，Ｙ，Ｚ，ＮＴＩＭＥＳ）の３Ｄデータブロブ（3D data blobs）又は形状（Ｘ，Ｙ，Ｚ，ＮＴＩＭＥＳ）の４Ｄデータブロブを入力として取り込み、ここで、ＮＴＩＭＥＳは、含む時点の数である。これは、すべての時点、又は対象の時点を囲むいくつかの時点であってもよい。すべての時点が含まれている場合、時間が心周期を表し本質的に周期的であるため、データを数個の「ラップアラウンド（wrapped around）」時点でパディングすることが望ましく又は必要であり得る。次いで、モデルは、データの追加の「チャンネル」として時点を有する２Ｄ／３Ｄ畳み込み又は３Ｄ／４Ｄ畳み込みを含むことができる。前者の場合、出力は、関心のある単一の時間において２Ｄ／３Ｄであってよい。後者の場合、出力は、３Ｄ／４Ｄであってよく、入力に含まれたのと同じ時点でデータを含んでよい。
【0141】
４Ｄフローで取得された位相データは、入力データの追加チャンネルとして位相の各方向（ｘ，ｙ，ｚ）を使用して、又は単一の追加チャンネルとして位相大きさのみを使用して、類似した方法で組み込まれてもよい。時間無しで、流れの３つすべての成分を有する場合、入力は形状（Ｘ，Ｙ，Ｚ，４）を有し、ここで、４は、ピクセル強度及び位相の３つの成分を示す。時間を有する場合、この形状は（Ｘ，Ｙ，Ｚ，ＮＴＩＭＥＳ，４）である。従って、そのような実装形態では、モデルは４又は５次元折り畳みで動作する。
【0142】
（自動化された４Ｄフローランドマーク）
本明細書に述べられているシステム及び方法はまた、３Ｄ ＭＲＩにおける複数の心臓ランドマークの領域の自動化された検出を可能にする。システムは、画像化された心臓の様々な位置、向き、及び外観を有するＭＲＩの多様なセットを取り扱う。さらに、システムは、不完全なアノテーションを有するデータベースからの学習の問題を効果的に扱う。より具体的には、システムは、トレーニングセット上の各入力ボリューム測定用画像について一部のランドマークのみが位置特定されたときに、画像内のすべてのランドマークを検出する問題に対処する。
本明細書に述べられているシステム及び方法はまた、３Ｄ ＭＲＩにおける複数の心臓ランドマークの領域の自動化された検出を可能にする。システムは、画像化された心臓の様々な位置、向き、及び外観を有するＭＲＩの多様なセットを取り扱う。さらに、システムは、不完全なアノテーションを有するデータベースからの学習の問題を効果的に扱う。より具体的には、システムは、トレーニングセット上の各入力ボリューム測定用画像について一部のランドマークのみが位置特定されたときに、画像内のすべてのランドマークを検出する問題に対処する。
【0143】
一般に、パイプラインは、生の３Ｄ画像から必要とされるランドマーク位置を自律的に出力する、エンドツーエンド機械学習アルゴリズムである。有利なことに、システムは、前処理又はユーザからの事前知識を必要としない。さらに、ボリューム測定用画像における検出されたランドマークが、２ＣＨ、３ＣＨ、４ＣＨ、及びＳＡＸビューに沿って画像を投影するために使用され得る。それにより、ユーザによる介入無しにこれらのビューを自動的に作成されることを可能にする。
【0144】
最初に、解決策の第１の実装形態について述べられる。この実装形態では、心臓ランドマークが、多くのレイヤを有するニューラルネットワークを使用して位置特定される。アーキテクチャは３次元（３Ｄ）であり、３Ｄ畳み込みを使用する。この説明は、３つの左心室ランドマーク（ＬＶ尖部、僧帽弁、及び大動脈弁）、並びに３つの右心室ランドマーク（ＲＶ尖部、三尖弁、及び肺動脈弁）の検出に焦点を当てている。しかしながら、この方法は、これらのアノテーションがグランドトゥルースの一部として利用可能である場合、同等の結果を有するより多様な心臓ランドマークの検出に適用され得ることに留意されたい。
【0145】
先に説明されたＤｅｅｐ Ｖｅｎｔｒｉｃｌｅアーキテクチャと同様に、本開示のランドマーク検出方法は、畳み込みニューラルネットワークに基づく。ランドマーク検出に必要な情報は、臨床画像のデータベースから、それらのアノテーション（すなわちランドマーク位置）と共に抽出される。図２５、図２６、及び図２７はそれぞれ、左心室尖部、僧帽弁、及び右心室尖部が、上述されたウェブアプリケーションなどのウェブアプリケーションを使用して配置された３人の患者の画像２５００、２６００、２７００を示す。この例では、大動脈弁、肺動脈弁、及び三尖弁のアノテーションがどのように欠損しているかに留意されたい。
【0146】
第１に、データ処理パイプラインが説明される。この項では、ランドマーク位置を符号化するために使用される特定の方法と共に、そのアノテーションを有する画像のデータベースを作成するためにたどられるプロセスを詳述する。第２に、機械学習手法のアーキテクチャが提示される。ネットワークがどのように入力３Ｄ画像をランドマーク位置の予測に変換するかが提示される。第３に、モデルが利用可能なデータに対してどのようにトレーニングされるかが説明される。最後に、推定パイプラインが詳述される。６つすべてのランドマークの領域を予測するために以前に使用されなかった画像にニューラルネットワークをどのように適用できるかが示されている。
【0147】
（データ処理パイプライン）
提示された機械学習手法では、２次元（２Ｄ）ＤＩＣＯＭ画像の系列として記憶された心臓の３次元（３Ｄ）磁気共鳴イメージング（ＭＲＩ）を含む、４Ｄフローデータのデータベースが使用される。典型的には、単一の心周期にわたって、約２０個の３Ｄボリューム測定用画像が取得され、各々が心拍の１つのスナップショットに対応する。従って、初期データベースは、異なる時間ステップにおける異なる患者の３Ｄ画像に対応する。各３Ｄ ＭＲＩは、ウェブアプリケーションのユーザによって配置されたゼロランドマークから６ランドマークまでのいくつかのランドマークアノテーションを提示する。ランドマークのアノテーションは、存在する場合、時点ｔに対応する３Ｄ ＭＲＩのランドマークの位置（ｘ，ｙ，ｚ）を示す座標（ｘ，ｙ，ｚ，ｔ）のベクトルとして記憶される。
提示された機械学習手法では、２次元（２Ｄ）ＤＩＣＯＭ画像の系列として記憶された心臓の３次元（３Ｄ）磁気共鳴イメージング（ＭＲＩ）を含む、４Ｄフローデータのデータベースが使用される。典型的には、単一の心周期にわたって、約２０個の３Ｄボリューム測定用画像が取得され、各々が心拍の１つのスナップショットに対応する。従って、初期データベースは、異なる時間ステップにおける異なる患者の３Ｄ画像に対応する。各３Ｄ ＭＲＩは、ウェブアプリケーションのユーザによって配置されたゼロランドマークから６ランドマークまでのいくつかのランドマークアノテーションを提示する。ランドマークのアノテーションは、存在する場合、時点ｔに対応する３Ｄ ＭＲＩのランドマークの位置（ｘ，ｙ，ｚ）を示す座標（ｘ，ｙ，ｚ，ｔ）のベクトルとして記憶される。
【0148】
図２８は、４Ｄフロー画像２８０２の２Ｄ ＤＩＣＯＭスライス、及びＭｏｎｇｏＤＢデータベースに記憶されたアノテーション２８０４を取り扱うためにたどられ得るプロセス２８００を示す。
【0149】
２８０６では、ランドマーク座標がＭｏｎｇｏＤＢデータベースから抽出される。次いで、２８０８では、３Ｄ ＭＲＩは、２Ｄ ＤＩＣＯＭ画像の系列から、単一の時点からの２Ｄ ＤＩＣＯＭ画像をｚ軸に沿ったそれらの位置に従ってスタックする（すなわち、２Ｄ画像は、３Ｄボリュームを作成するために深さ次元に沿ってスタックされる）ことによって抽出される。これは、心臓の全景を表すボリューム測定用３Ｄ画像をもたらす。ＬＭＤＢは、少なくとも１つのランドマーク位置でアノテーション付けされた３Ｄ画像で構築される。これは、グランドトゥルースランドマークを有しない画像はＬＭＤＢに含まれないことを意味する。
【0150】
２８１０では、後の段階で使用されるニューラルネットワークに理解可能な方法でアノテーション情報を符号化するラベルマップが定義される。ランドマークの位置は、３Ｄボリューム内の各位置において、その位置がどの程度ランドマーク位置にあるかを示すことによって符号化される。そうするために、３Ｄガウス確率分布が作成され、グランドトゥルースランドマークの位置に中心が置かれ、それは、すべてのトレーニングデータにわたるそのタイプのランドマークの観察された評価者間変動に対応する標準偏差を有する。
【0151】
評価者間変動を理解するために、ＬＶ尖部のような１つの特定のランドマークを考える。ＬＶ尖部が複数のユーザ又は「評価者」によってアノテーションを付けられた各検査では、すべてのユーザにわたってＬＶ尖部座標の標準偏差が計算される。このプロセスを各ランドマークについて繰り返すことによって、各ランドマークを符号化するために使用されるガウスの標準偏差が定義される。このプロセスは、原則的な様式でこのパラメータを設定することを可能にする。この手法を使用する様々な利点の中でも、標準偏差がランドマーク毎に異なり、ランドマークを位置特定する複雑さに依存することに留意されたい。具体的には、より難しいランドマークは、ターゲット確率マップでより大きなガウス標準偏差を有する。さらに、標準偏差がｘ、ｙ、及びｚ軸に沿って異なり、心臓の解剖学的形態及び／又は画像の解像度のために不確実性が一方向に別方向よりも大きくなり得ることを反映している。
【0152】
代替戦略が標準偏差（任意の値、パラメータ検索）を定義するために使用されてもよく、同等の結果をもたらし得ることに留意されたい。図２９は、ビュー２９０４内の十字２９０２で識別されたランドマーク位置から、２Ｄの場合に画像上で評価されたビュー２９０８内のガウシアン２９０６へのこの移行を示す。
【0153】
２８１２では、３ＤボリュームがＭＲＩとラベルマップの両方に対して定義されると、画像が前処理される。一般に、目標は、将来のトレーニングのために画像サイズ及び外観を標準化することである。
【0154】
図３０は、前処理パイプラインのためのプロセス３０００を示す。３００６及び３００８では、３Ｄ ＭＲＩ３００２及びラベルマップ３００４はそれぞれ、ＭＲＩのすべてが同じニューラルネットワークに供給され得るように、予め定義されたサイズ＄ｎ＿ｘ ＼ｔｉｍｅｓ ｎ＿ｙ ＼ｔｉｍｅｓ ｎ＿ｚ＄にサイズ変更される。３０１０では、ＭＲＩピクセルの強度は第１及び第９９パーセンタイルとの間でクリッピングされる。これは、ピクセル強度が第１及び第９９パーセンタイルに対応する強度の値で飽和することを意味する。これは、アーチファクトによって引き起こされた異常値ピクセル強度を除去する。３０１２では、次いで、強度が０と１の間になるようにスケーリングされる。３０１４では、次いで、コントラスト制限適応ヒストグラム等化（contrast limited adaptive histogram equalization）を使用して、画像内のコントラストを最大化し、（例えば、磁場不均一性によって引き起こされ得るような）画像内強度差を最小化するように、強度ヒストグラムが正規化される。最後に、３０１６では、画像がゼロ平均を有するようにセンタリングされる。入力の分散を１に正規化するような他の戦略が画像強度の正規化に使用されてもよく、同様の結果を生じ得る。このパイプラインは、ネットワークに供給され得る前処理された画像３０１８及びラベル３０２０をもたらす。
【0155】
図３１及び図３２は、前処理された３Ｄ ＭＲＩ及び符号化されたラベルの、２人の患者についての例示的な画像３１００及び３２００を示す。特に、図３１は、１人の患者についての前処理された入力画像及び符号化された僧帽弁ランドマークのサジタルビュー３１０２、アキシャルビュー３１０４、及び冠状ビュー３１０６を示し、図３２は、別の患者についての前処理された入力画像及び符号化された僧帽弁ランドマークのサジタルビュー３２０２、アキシャルビュー３２０４、及び冠状ビュー３２０６を示す。図３１及び図３２に見られるように、三尖弁の位置特定の不確実性は僧帽弁についての不確定性よりも大きい。さらに、不確実性は軸毎に異なる。
【0156】
図２８に戻ると、２８１４では、アップロードＩＤが、２８１６でトレーニングＬＭＤＢデータベースに記憶される対（ＭＲＩ、ラベルマップ）を識別するキーであると定義される。最後に、２８１８では、対（ＭＲＩ、ラベルマップ）がＬＭＤＢに書き込まれる。
ネットワークアーキテクチャ
ネットワークアーキテクチャ
【0157】
上記されたように、ディープニューラルネットワークがランドマークの検出のために使用される。ネットワークは、前処理された３Ｄ ＭＲＩを入力として取り入れ、ランドマーク毎に１つずつ、６つの３Ｄラベルマップを出力する。この実装形態で使用されるアーキテクチャは、上記に説明されたアーキテクチャと同様又は同一である。ネットワークは、２つの対称的経路である収縮経路及び拡張経路から構成される（図６参照）。
【0158】
すべてのランドマークが、利用可能なトレーニングデータで利用可能ではないことがあるため、本開示のシステム及び方法は、有利には、ラベル内の欠損情報を処理しながら同時にすべてのランドマークを予測することができる。
【0159】
ランドマーク検出に使用されるネットワークは、上述されたＤｅｅｐ Ｖｅｎｔｒｉｃｌｅ実装形態と３つの主要な点において異なる。第１に、アーキテクチャは３次元であり、ネットワークがシングルパスで３Ｄ ＭＲＩを処理し、すべてのランドマークに対して３Ｄラベルマップを作成する。第２に、ネットワークは、ランドマーク毎に１つで、６つのクラスを予測する。第３に、ハイパーパラメータ探索の後に選択されたパラメータは、Ｄｅｅｐ Ｖｅｎｔｒｉｃｌｅパラメータとは異なる可能性があり、特に間近の問題を解決するために選択される。加えて、上述されたラベルマップを定義するために使用される標準偏差は、ハイパーパラメータとして考えられ得る。ネットワークの出力は、ランドマークがどこに位置付けられているかを符号化する３Ｄマップである。マップの高い値は、ありそうなランドマーク位置に対応することができ、低い値は、ありそうにないランドマーク位置に対応することができる。
【0160】
（トレーニング）
以下の議論は、３Ｄ ＭＲＩ及びラベルマップ対のＬＭＤＢデータベースを使用してどのようにディープニューラルネットワークがトレーニングされ得るかを説明する。全体的な目的は、以前に見られなかった画像上の心臓ランドマークの位置をネットワークが予測できるように、ネットワークのパラメータを調整することである。トレーニングプロセスのフローチャートは図８に示され上記に説明されている。
以下の議論は、３Ｄ ＭＲＩ及びラベルマップ対のＬＭＤＢデータベースを使用してどのようにディープニューラルネットワークがトレーニングされ得るかを説明する。全体的な目的は、以前に見られなかった画像上の心臓ランドマークの位置をネットワークが予測できるように、ネットワークのパラメータを調整することである。トレーニングプロセスのフローチャートは図８に示され上記に説明されている。
【0161】
トレーニングデータベースは、モデルをトレーニングするために使用されるトレーニングセット、モデルの品質を定量化するために使用される検証セット、及びテストセットに分割され得る。分割は、１人の患者のすべての画像が同じセット内にあるように強制する。これは、トレーニングに使用された患者でモデルが検証されないことが保証する。モデルをトレーニングするときに使用されるテストセットからのデータはない。テストセットからのデータは、ランドマーク位置特定の例を示すために使用されてもよいが、この情報は、トレーニングのために、又はモデルを互いにランク付けするために使用されない。
【0162】
トレーニング中、損失の勾配がニューラルネットワークのパラメータを更新するために使用される。少なくともいくつかの実装形態では、ネットワークのより速い収束を提供するために、ランドマークが存在する領域での損失の重み付けが利用され得る。より正確には、損失を計算するときに、ランドマークの近くの画像の領域に対して、画像の残部と比べて大きな重みが適用され得る。結果として、ネットワークがより急速に収束する。しかしながら、重み付けされない損失の使用が、より長いトレーニング時間にかかわらず、良好な結果を伴って用いられることもある。
【0163】
（推定）
新しい画像が与えられると、図２８を参照して上記に説明されたものと同様の様式で画像を前処理することによって、ランドマーク位置が推定される。より正確には、画像がサイズ変更され、クリッピングされ、スケーリングされ、画像のヒストグラムが等化され、画像がセンタリングされ得る。ネットワークは、６つのランドマークの場合、ランドマーク毎に１つのマップで合計６つの３Ｄマップを出力する。これらのマップは、各ランドマークが特定の位置に発見される確率を記述する。あるいは、マップは、ランドマークの真の位置から逆距離関数を符号化する（すなわち、高い値は小さい距離に帰着し、低い値は大きい距離に帰着する）とみなされ得る。
新しい画像が与えられると、図２８を参照して上記に説明されたものと同様の様式で画像を前処理することによって、ランドマーク位置が推定される。より正確には、画像がサイズ変更され、クリッピングされ、スケーリングされ、画像のヒストグラムが等化され、画像がセンタリングされ得る。ネットワークは、６つのランドマークの場合、ランドマーク毎に１つのマップで合計６つの３Ｄマップを出力する。これらのマップは、各ランドマークが特定の位置に発見される確率を記述する。あるいは、マップは、ランドマークの真の位置から逆距離関数を符号化する（すなわち、高い値は小さい距離に帰着し、低い値は大きい距離に帰着する）とみなされ得る。
【0164】
従って、図３３の図３３００に示されるように、ランドマーク位置３３０２は、各ランドマークについてのニューラルネットワークの出力の最大値を探すことによって決定され得る。次いで、この位置は、最終的ランドマーク位置特定のために、元の前処理されていない３Ｄ入力ＭＲＩの空間に投影される（例えば、推定中にボリュームに適用された空間歪みを元に戻す）。ラベルマップをランドマーク位置座標に変換するために、いくつかの他の戦略が使用されてもよいことに留意されたい。例えば、ラベルマップを３Ｄ確率密度として使用して、予想される位置を得てもよい。最大値を取ることは密度のモードを考えることに対応することに留意されたい。又は、確率推定値が、位置として最大値又は期待値を選択する前に、最初に平滑化されてもよい。
【0165】
（データ収集）
少なくともいくつかの実装形態では、データセットは、以前のユーザによってウェブアプリケーションにアップロードされた臨床検査から構成される。アノテーションは、異なる画像上にユーザによって配置されてよい。先に説明されたように、このデータセットは、トレーニング、検証、及び試験セットに分割される。
少なくともいくつかの実装形態では、データセットは、以前のユーザによってウェブアプリケーションにアップロードされた臨床検査から構成される。アノテーションは、異なる画像上にユーザによって配置されてよい。先に説明されたように、このデータセットは、トレーニング、検証、及び試験セットに分割される。
【0166】
ニューラルネットワークは、先に上述され図８に示されたパイプラインを使用してトレーニングされ得る。トレーニングセットから抽出されたデータのバッチが、ニューラルネットワークに順次供給される。ネットワーク予測と実際のランドマーク位置との間の損失の勾配が計算され、逆方向伝達されて（backpropagated）、ネットワークの固有パラメータを更新する。他のモデルハイパーパラメータ（例えば、ネットワークサイズ、形状）が、上述されたようにハイパーパラメータ検索を使用して選択される。
モデルアクセシビリティ
モデルアクセシビリティ
【0167】
トレーニングされたモデルは、クラウドサービスの一部としてサーバ上に記憶されてよい。このモデルは、いくつかの時点で並行してランドマークの検出を実行するために、推定時に複数のサーバにロードされ得る。このプロセスは、図９に示され上述されたＤｅｅｐ Ｖｅｎｔｒｉｃｌｅに使用される手法と同様である。
【0168】
（ユーザ対話）
心臓ＭＲＩがウェブアプリケーションにアップロードされると、ユーザは「心臓」セクションの下の「ビュー」ボタンを選択することができる。これにより、「ランドマークを位置特定する」ボタンを用いて画像の右側に新しいパネルを開く。このボタンを選択すると、各時点におけるすべての３Ｄ画像で６つのランドマークを自動的に位置特定する。位置特定されたランドマークのリストが右パネル上に見える。ランドマーク名を選択することにより、画像のフォーカスを予測されたランドマーク位置にもたらし、ユーザは、必要とみなされる任意の修正を行うことを可能にされる。ユーザが満足すると、心臓の標準的２、３、４チャンバービュー及びＳＡＸビューを作成する「標準ビュー」ボタンをユーザが選択することができる。
心臓ＭＲＩがウェブアプリケーションにアップロードされると、ユーザは「心臓」セクションの下の「ビュー」ボタンを選択することができる。これにより、「ランドマークを位置特定する」ボタンを用いて画像の右側に新しいパネルを開く。このボタンを選択すると、各時点におけるすべての３Ｄ画像で６つのランドマークを自動的に位置特定する。位置特定されたランドマークのリストが右パネル上に見える。ランドマーク名を選択することにより、画像のフォーカスを予測されたランドマーク位置にもたらし、ユーザは、必要とみなされる任意の修正を行うことを可能にされる。ユーザが満足すると、心臓の標準的２、３、４チャンバービュー及びＳＡＸビューを作成する「標準ビュー」ボタンをユーザが選択することができる。
【0169】
少なくともいくつかの実装形態では、取得される３Ｄ画像は、４Ｄフローシーケンスである。これは、信号の位相も取得され、４つの異なるビューを示す図３４の画像３４００に示されるように、心臓及び動脈における血流の速度を定量化するために使用されてよいことを意味する。この情報は、心臓の異なるランドマークを位置特定するために有用であり得る。この場合、先に説明されたモデルが、流れ情報を含むように補強されてよい。
【0170】
（画像前処理）
４Ｄフローでは、各患者の取得の時点毎に流速情報が利用可能である。この情報を十分に利用するために、時間軸に沿った標準偏差が３Ｄ画像の各ボクセルで計算されてよい。標準偏差の大きさは、１心拍の経過におけるそのピクセルの血流変動の量に関連付けられる。次いで、この標準偏差画像は、先に説明された正規化パイプライン、すなわち、サイズ変更、クリッピング、スケーリング、ヒストグラム等化、センタリングに従って正規化される。フローデータの時間情報を符号化するために、いくつかの他の手法が考えられ得ることに留意されたい。例えば、４Ｄ信号のフーリエ変換が最後の次元に沿って計算されてもよく、様々な周波数ビン（frequency bins）が信号を符号化するために使用されてもよい。より一般的には、追加の計算及びメモリパワーを必要とするという犠牲を払って、時系列全体がネットワークに入力されてもよい。
４Ｄフローでは、各患者の取得の時点毎に流速情報が利用可能である。この情報を十分に利用するために、時間軸に沿った標準偏差が３Ｄ画像の各ボクセルで計算されてよい。標準偏差の大きさは、１心拍の経過におけるそのピクセルの血流変動の量に関連付けられる。次いで、この標準偏差画像は、先に説明された正規化パイプライン、すなわち、サイズ変更、クリッピング、スケーリング、ヒストグラム等化、センタリングに従って正規化される。フローデータの時間情報を符号化するために、いくつかの他の手法が考えられ得ることに留意されたい。例えば、４Ｄ信号のフーリエ変換が最後の次元に沿って計算されてもよく、様々な周波数ビン（frequency bins）が信号を符号化するために使用されてもよい。より一般的には、追加の計算及びメモリパワーを必要とするという犠牲を払って、時系列全体がネットワークに入力されてもよい。
【0171】
（ネットワーク拡張）
ニューラルネットワークに対する入力は、追加のチャンネルによって拡張されてもよい。より正確には、４次元（４Ｄ）テンソルが定義されてよく、この場合、最後の次元が、解剖学的ピクセル強度と流れ大きさ又は速度の成分とを別々のチャンネルとして符号化する。上記に説明されたネットワークは、入力としてそのようなテンソルを受け入れるように拡張され得る。これは、第１のレイヤの拡張が４Ｄテンソルを受け入れることを必要とする。後続ステップのネットワークトレーニング、推定、及びユーザ対話は、先述されているものと同様のままである。
ニューラルネットワークに対する入力は、追加のチャンネルによって拡張されてもよい。より正確には、４次元（４Ｄ）テンソルが定義されてよく、この場合、最後の次元が、解剖学的ピクセル強度と流れ大きさ又は速度の成分とを別々のチャンネルとして符号化する。上記に説明されたネットワークは、入力としてそのようなテンソルを受け入れるように拡張され得る。これは、第１のレイヤの拡張が４Ｄテンソルを受け入れることを必要とする。後続ステップのネットワークトレーニング、推定、及びユーザ対話は、先述されているものと同様のままである。
【0172】
少なくともいくつかの実装形態では、心臓のランドマークの自動位置は、異なるランドマークの座標（ｘ，ｙ，ｚ）を直接予測することによって達成されてもよい。そのため、異なるネットワークアーキテクチャが使用されてもよい。この代替ネットワークは、各ランドマークについての出力として（ｘ，ｙ，ｚ）座標の長さ３のベクトルを有する、いくつかの全接続されたレイヤに後続される収縮経路から構成されてよい。これはセグメンテーションネットワークではなく回帰（regression）である。回帰ネットワークでは、セグメンテーションネットワークとは異なり、ネットワークに拡張経路が存在しないことに留意されたい。同じ出力フォーマットと共に他のアーキテクチャが使用されてもよい。少なくともいくつかの実装形態では、時間は、４Ｄデータ（ｘ，ｙ，ｚ，時間）が入力として与えられた場合、第４の次元として出力に含められてもよい。
【0173】
時間が組み込まれていないと想定すると、ネットワークの出力は、入力画像内の６つのランドマークの各々に対する３つの座標に対応する１８個のスカラーである。そのようなアーキテクチャは、先に説明されたランドマーク検出器と同様の様式でトレーニングされてよい。必要とされる唯一の更新は、ネットワーク出力フォーマット（最初の実装形態で使用された確率マップとは対照的に、この実装形態では空間的点）の変更を説明するための損失の再定式化である。１つの妥当な損失関数は、ネットワークの出力と実際のランドマーク座標との間のＬ２（二乗）距離であってもよいが、損失関数が対象の量、すなわち距離誤差に関係付けられている限り、他の損失関数も使用されてよい。
【0174】
上述された第１のランドマーク検出実施態様は、識別器（discriminator）ネットワークとして働く第２のニューラルネットワークを使用して拡張されてもよい。識別器ネットワークは、良好で現実的なランドマーク位置を悪い現実的でないものと区別するためにトレーニングされ得る。この定式化では、実装形態の初期ネットワークが、予測されたランドマーク確率分布のすべての極大を使用することなどによって、ランドマークの各タイプについてのいくつかのランドマーク提案を生成するために使用され得る。次いで、識別器ネットワークは、例えば、ランドマーク提案を中心とされた高解像度パッチ上で分類アーキテクチャを使用することによって、各提案を評価することができる。次いで、真のランドマークである最高の確率を有する提案が出力として捉えられ得る。この実装形態は、例えば、ノイズやアーチファクトの存在下で、曖昧な状況において正しいランドマーク位置を選択するのに役立つ場合がある。
【0175】
心臓ランドマークの検出のための別の手法は、強化学習の使用である。この異なるフレームワークでは、３Ｄ画像に沿って歩くエージェントが考慮される。エージェントは、最初に画像の中央に配置される。次いで、エージェントがランドマーク位置に達するまで、エージェントはポリシーに従う。ポリシーは、左、右、上（up）、下（down）、上（above）、又は下（under）へステップを進める各ステップでのエージェントの意思決定プロセスを表す。このポリシーは、Ｑ学習アルゴリズムを使用する状態動作関数Ｑについてのベルマン方程式を近似するディープニューラルネットワークを使用して学習され得る。１つのＱ関数が、検出されるべきランドマークの各々について学習され得る。
【0176】
少なくともいくつかの実装形態では、ニューラルネットワークが、標準ビューに対する平面の位置及び向きを定義するパラメータを直接予測するために使用され得る。例えば、開始ピクセルグリッドを長軸ビューに移動させるために必要とされる３Ｄ回転角度、並進、及び再スケーリングを計算するようにネットワークがトレーニングされ得る。別々のモデルが、異なる変形を予測するようにトレーニングされてよく、単一のモデルが、いくつかのビューを出力するために使用されてよい。
【0177】
（手動ＬＶ／ＲＶボリュームのための弁平面を定義するためのインターフェース）
左心室及び右心室のより精密なセグメンテーションを行うために、心臓の弁の位置及び方向を識別することが有利であり得る。少なくともいくつかの実装形態では、前述の心室セグメンテーションインターフェース内で、ユーザは、利用可能な長軸ビューを使用して弁平面上にある点をマーキングすることができる。弁平面は、最も良く適合する平面を発見するために回帰を行うことによって、これの入力点から決定される。平面の法線は、心室の尖部から離れる向きへ設定される。平面が定義されると、正側にあるボリュームの任意の部分が心室の総ボリュームから差し引かれる。これにより、心室のボリュームを決定する際に、弁の外側に何も含まれないことを保証する。
左心室及び右心室のより精密なセグメンテーションを行うために、心臓の弁の位置及び方向を識別することが有利であり得る。少なくともいくつかの実装形態では、前述の心室セグメンテーションインターフェース内で、ユーザは、利用可能な長軸ビューを使用して弁平面上にある点をマーキングすることができる。弁平面は、最も良く適合する平面を発見するために回帰を行うことによって、これの入力点から決定される。平面の法線は、心室の尖部から離れる向きへ設定される。平面が定義されると、正側にあるボリュームの任意の部分が心室の総ボリュームから差し引かれる。これにより、心室のボリュームを決定する際に、弁の外側に何も含まれないことを保証する。
【0178】
（例示的なプロセッサベースのデバイス）
図３５は、本明細書に説明された様々な機能性を実装するために適したプロセッサベースのデバイス３５０４を示す。必須とされないが、実装形態の一部の部分は、１つ又は複数のプロセッサによって実行されるプログラムアプリケーションモジュール、オブジェクト、又はマクロのようなプロセッサ実行可能命令又はロジックの一般的なコンテキストで説明される。説明された実装形態及び他の実装形態は、スマートフォンやタブレットコンピュータなどのハンドヘルドデバイス、ウェアラブルデバイス、マルチプロセッサシステム、マイクロプロセッサベースもしくはプログラマブル家電、パーソナルコンピュータ（「ＰＣ」）、ネットワークＰＣ、ミニコンピュータ、並びにメインフレームコンピュータなどを含む、様々なプロセッサベースのシステム構成で実施され得ることは、当業者には理解されよう。
図３５は、本明細書に説明された様々な機能性を実装するために適したプロセッサベースのデバイス３５０４を示す。必須とされないが、実装形態の一部の部分は、１つ又は複数のプロセッサによって実行されるプログラムアプリケーションモジュール、オブジェクト、又はマクロのようなプロセッサ実行可能命令又はロジックの一般的なコンテキストで説明される。説明された実装形態及び他の実装形態は、スマートフォンやタブレットコンピュータなどのハンドヘルドデバイス、ウェアラブルデバイス、マルチプロセッサシステム、マイクロプロセッサベースもしくはプログラマブル家電、パーソナルコンピュータ（「ＰＣ」）、ネットワークＰＣ、ミニコンピュータ、並びにメインフレームコンピュータなどを含む、様々なプロセッサベースのシステム構成で実施され得ることは、当業者には理解されよう。
【0179】
プロセッサベースのデバイス３５０４は、１つ又は複数のプロセッサ３５０６と、システムメモリ３５０８と、システムメモリ３５０８からプロセッサ３５０６を含む様々なシステムコンポーネントを結合するシステムバス３５１０とを含むことができる。プロセッサベースのデバイス３５０４は、本明細書では単数で参照されるときがあるが、いくつかの実装形態では関連する複数のシステム又は他のネットワーク化されたコンピューティングデバイスがあるので、これは実装形態を単一のシステムに限定するように意図されていない。市販のシステムの非限定的例は、様々な製造者によるＡＲＭプロセッサ、Ｉｎｔｅｌ Ｃｏｒｐｏｒａｔｉｏｎ、Ｕ．Ｓ．Ａ．のＣｏｒｅマイクロプロセッサ、ＩＢＭのＰｏｗｅｒＰＣマイクロプロセッサ、Ｓｕｎ Ｍｉｃｒｏｓｙｓｔｅｍｓ，Ｉｎｃ．のＳｐａｒｃマイクロプロセッサ、Ｈｅｗｌｅｔｔ－Ｐａｃｋａｒｄ ＣｏｍｐａｎｙのＰＡ－ＲＩＳＣシリーズマイクロプロセッサ、Ｍｏｔｏｒｏｌａ Ｃｏｒｐｏｒａｔｉｏｎの６８ｘｘｘシリーズマイクロプロセッサを含むが、これらに限定されない。
【0180】
プロセッサ３５０６は、任意の論理処理ユニット、例えば、１つ又は複数の中央処理装置（ＣＰＵ）、マイクロプロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などであり得る。別段に説明されない限り、図３５に示された様々なブロックの構成及び動作は従来の設計のものである。結果として、そのようなブロックは、それらが当業者に理解されるので、本明細書でさらに詳細に説明される必要はない。
【0181】
システムバス３５１０は、メモリコントローラを有するメモリバス、周辺バス、及びローカルバスを含む、任意の知られているバス構造又はアーキテクチャを利用することができる。システムメモリ３５０８は、読み出し専用メモリ（「ＲＯＭ」）１０１２及びランダムアクセスメモリ（「ＲＡＭ」）３５１４を含む。ＲＯＭ３５１２の一部を形成できる基本入出力システム（「ＢＩＯＳ」）３５１６は、起動中などに、プロセッサベースのデバイス３５０４内の要素間で情報を転送するのを助ける基本ルーチンを含む。いくつかの実装形態は、データ、命令、及び電力用に別個のバスを利用することがある。
【0182】
プロセッサベースのデバイス３５０４はまた、１つ又は複数のソリッドステートメモリ、例えば、フラッシュメモリ又はソリッドステートドライブ（ＳＳＤ）３５１８を含むことができ、それらは、プロセッサベースのデバイス３５０４のためのコンピュータ可読命令、データ構造、プログラムモジュール、及び他のデータの不揮発性ストレージを提供する。描かれていないが、プロセッサベースのデバイス３５０４は、他の非一時的コンピュータ又はプロセッサ可読媒体、例えば、ハードディスクドライブ、光ディスクドライブ、又はメモリカードメディアドライブを利用することができる。
【0183】
プログラムモジュール、例えば、オペレーティングシステム３５３０、１つ又は複数のアプリケーションプログラム３５３２、他のプログラム又はモジュール３５３４、ドライバ３５３６、及びプログラムデータ３５３８などが、システムメモリ３５０８に記憶され得る。
【0184】
アプリケーションプログラム３５３２は、例えば、パン／スクロール３５３２ａを含むことができる。そのようなパン／スクロールロジックは、中央部分及び少なくとも１つの縁を有する領域を含むユーザインターフェース要素にいつ及び／又はどこでポインタ（例えば、指、スタイラス、カーソル）が入力するかを決定するロジックを含むことができるが、これに限定されない。そのようなパン／スクロールロジックは、ユーザインターフェース要素の少なくとも１つの要素が移動するように見えるべき方向及び速度を決定し、ディスプレイの更新を引き起こして、少なくとも１つの要素が決定された速度で決定された方向に移動するように見えるようにするロジックを含むことができるが、これに限定されない。パン／スクロールロジック３５３２ａは、例えば、１つ又は複数の実行可能命令として記憶され得る。パン／スクロールロジック３５３２ａは、ポインタの移動を特徴付けるデータ、例えば、タッチセンシティブディスプレイ又はコンピュータマウスもしくはトラックボール又は他のユーザインターフェースデバイスからのデータを使用して、ユーザインターフェースオブジェクトを生成するための、プロセッサ及び／又はマシン実行可能ロジック又は命令を含むことができる。
【0185】
システムメモリ３５０８はまた、後述されるように、プロセッサベースのデバイス３５０４が、ユーザコンピューティングシステム、インターネット上のウェブサイト、企業イントラネット、又は他のネットワークのような他のシステムにアクセスしてデータを交換することを可能にするための、通信プログラム３５４０、例えば、サーバ及び／又はウェブクライアントもしくはブラウザを含むことができる。描かれた実装形態における通信プログラム３５４０は、ハイパーテキストマークアップ言語（ＨＴＭＬ）、拡張マークアップ言語（ＸＭＬ）、又はワイヤレスマークアップ言語（ＷＭＬ）などのマークアップ言語ベースであり、ドキュメントの構造を表すためにドキュメントのデータに追加された構文的に区切られた文字を使用するマークアップ言語で動作する。いくつかのサーバ及び／又はウェブクライアントもしくはブラウザ、例えば、ＣａｌｉｆｏｒｎｉａのＭｏｚｉｌｌａ Ｃｏｒｐｏｒａｔｉｏｎ及びＷａｓｈｉｎｇｔｏｎのＭｉｃｒｏｓｏｆｔからのものが市販されている。
【0186】
図３５ではシステムメモリ３５０８に記憶されるように示されているが、オペレーティングシステム３５３０、アプリケーションプログラム３５３２、他のプログラム／モジュール３５３４、ドライバ３５３６、プログラムデータ３５３８、並びにサーバ及び／又はブラウザ３５４０は、任意の他の多種多様な非一時的プロセッサ可読媒体（例えば、ハードディスクドライブ、光ディスクドライブ、ＳＳＤ、及び／又はフラッシュメモリ）に記憶され得る。
【0187】
ユーザは、ポインタを介して、例えば、指３５４４ａ、スタイラス３５４４ｂを介するタッチスクリーン３５４８のような入力装置によって、又はカーソルを制御するコンピュータマウスもしくはトラックボール３５４４ｃを介して、コマンド及び情報を入力することができる。他の入力デバイスは、マイクロホン、ジョイスティック、ゲームパッド、タブレット、スキャナ、バイオメトリック走査デバイスなどを含むことができる。これら及び他の入力デバイス（すなわち「Ｉ／Ｏデバイス」）が、ユーザ入力をシステムバス３５１０に結合するタッチスクリーンコントローラ及び／又はユニバーサルシリアルバス（「ＵＳＢ」）インターフェースなどのインターフェース３５４６を通して、プロセッサ３５０６に接続されるが、パラレルポート、ゲームポート、ワイヤレスインターフェース、又はシリアルポートなど他のインターフェースが使用されてもよい。タッチスクリーン３５４８は、タッチスクリーン３５４８を介して表示するための画像データ又は画像情報を受け取るためのビデオアダプタなどのビデオインターフェース３５５０を介して、システムバス３５１０に結合され得る。図示されていないが、プロセッサベースのデバイス３５０４は、スピーカ、バイブレータ、触覚アクチュエータなど他の出力デバイスを含むことができる。
【0188】
プロセッサベースのデバイス１０４は、１つ又は複数の通信チャンネル、例えば、１つ又は複数のネットワーク３５１４ａ、３５１４ｂを介して１つ又は複数のリモートコンピュータ、サーバ、及び／又はデバイスと通信するための論理接続のうちの１つ又は複数を使用して、ネットワーク化された環境で動作することができる。これらの論理接続は、１つ又は複数のＬＡＮ及び／もしくはＷＡＮ、インターネット、並びに／又はセルラ通信ネットワークなどを通して、コンピュータが通信することを可能にする任意の知られている方法を容易にすることができる。そのようなネットワーキング環境は、有線及びワイヤレス企業規模コンピュータネットワーク、イントラネット、エクストラネット、インターネット、並びに、電気通信ネットワーク、セルラネットワーク、ページングネットワーク、及び他のモバイルネットワークを含む他のタイプの通信ネットワークにおいてよく知られている。
【0189】
ネットワーキング環境で使用されるとき、プロセッサベースのデバイス３５０４は、ネットワーク、例えば、インターネット３５１４ａ又はセルラネットワークを介して通信を確立するための、１つ又は複数の有線又はワイヤレス通信インターフェース３５１４ａ、３５１４ｂ（例えば、セルラ無線、ＷＩ－ＦＩ無線、Ｂｌｕｅｔｏｏｔｈ無線）を含むことができる。
【0190】
ネットワーク化された環境において、プログラムモジュール、アプリケーションプログラム、又はデータ、又はそれらの部分が、サーバコンピューティングシステム（図示せず）に記憶され得る。図３５に示されたネットワーク接続は、コンピュータ間の通信を確立する方法のいくつかの例に過ぎず、ワイヤレスを含む他の接続が使用されてもよいことは、当業者には理解されよう。
【0191】
便宜のため、プロセッサ３５０６、システムメモリ３５０８、ネットワーク及び通信インターフェース３５１４ａ、３５４ｂは、システムバス３５１０を介して互いに通信可能に結合されて示されており、それにより、上記されたコンポーネントの間の接続性を提供する。プロセッサベースのデバイス３５０４の代替実装形態では、上記されたコンポーネントは、図３５に示されたのと異なる様式で通信可能に結合されてもよい。例えば、上記されたコンポーネントのうちの１つ又は複数は、他のコンポーネントに直接結合されてもよく、又は中間コンポーネント（図示せず）を介して互いに結合されてもよい。いくつかの実装形態では、システムバス３５１０が省略され、コンポーネントは適切な接続を使用して互いに直接結合される。
【0192】
上記の詳細な説明は、ブロック図、概略図、及び例を使用してデバイス及び／又はプロセスの様々な実装形態を提示した。そのようなブロック図、概略図、及び例が１つ又は複数の機能及び／又は操作を含む限りにおいて、そのようなブロック図、フローチャート、又は例における各機能及び／又は操作が、広範囲のハードウェア、ソフトウェア、ファームウェア、又は実質的にそれらの任意の組み合わせによって個別及び／又は集合的に実装され得ることは、当業者には理解されよう。一実装形態では、本主題は、特定用途向け集積回路（ＡＳＩＣ）を介して実装され得る。しかしながら、本明細書に開示された実装形態は、１つもしくは複数のコンピュータ上で実行している１つもしくは複数のコンピュータプログラミングとして（例えば、１つもしくは複数のコンピュータシステム上で実行している１つもしくは複数のプログラムとして）、１つもしくは複数のコントローラ（例えば、マイクロコントローラ）上で実行している１つもしくは複数のプログラムとして、１つもしくは複数のプロセッサ（例えば、マイクロプロセッサ）上で実行している１つもしくは複数のプログラムとして、ファームウェアとして、又は実質的にこれらの任意の組み合わせとして、全体的又は部分的に標準的集積回路で同等に実装され得ること、並びに、回路を設計及び／又はソフトウェア及び／もしくはファームウェア用のコードの書き込みが本開示に照らして十分に当業者の技術の範囲内であることは、当業者には理解されよう。
【0193】
本明細書に示された方法又はアルゴリズムの多くが、追加の行為を利用してもよく、いくつかの行為を省略してもよく、及び／又は指定された順序と異なる順序で行為を実行してもよいことは、当業者には理解されよう。
【0194】
加えて、本明細書で教示されたメカニズムは、様々な形態のプログラム製品として配布されることが可能であること、及び、例示的実装形態は、実際に配布を実行するために使用される信号担持媒体の特定のタイプにかかわらず、等しく適用することは、当業者には理解されよう。信号担持媒体の例は、フロッピーディスク、ハードディスクドライブ、ＣＤ ＲＯＭ、デジタルテープ、及びコンピュータメモリなどの記録可能型媒体を含むが、これらに限定されない。
【0195】
上記に説明された様々な実装形態は、さらなる実装形態を提供するために組み合わされ得る。それらが本明細書における特定の教示及び定義と矛盾しない限り、２０１１年７月７日に出願された「U.S. Provisional Patent Application No. 61/571,908」、２０１３年１１月２０日に出願された「U.S. Patent Application No. 14/118964」、２０１２年７月５日に出願された「PCT/US2012/045575」、２０１４年１月１７日に出願された「U.S. Provisional Patent Application No. 61/928702」、２０１６年７月１５日に出願された「U.S. Patent Application No. 15/112130」、２０１５年１月１６日に出願された「PCT/US2015/011851」、２０１５年１１月２９日に出願された「U.S. Provisional Patent Application No. 62/260565」、２０１６年１０月３１日に出願された「U.S. Provisional Patent Application No. 62/415203」、及び２０１６年１１月１日に出願された「U.S. Provisional Patent Application No. 62/415666」を含むがこれらに限定されない、本明細書で参照され及び／又は出願データシートに列挙される米国特許、米国特許出願公開、米国特許出願、外国特許、外国特許出願、及び非特許刊行物のすべては、それら全体が参照により本明細書に組み込まれる。実装形態の態様は、様々な特許、出願、及び刊行物のシステム、回路、及び概念を利用して、さらに別の実装形態を提供するために、必要に応じて修正され得る。
【0196】
これら及び他の変更は、上記の詳細な説明に照らして実装形態に対して行われてよい。一般に、続く特許請求の範囲において、使用された用語は、特許請求の範囲を、明細書及び特許請求の範囲で開示された特定の実装形態に限定すると解釈されるべきではなく、特許請求の範囲が権利を与えられるのと同等の完全な範囲に従うすべての可能な実装形態を含むと解釈されるべきである。従って、特許請求の範囲は本開示によって限定されない。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】