特表 2024-519764 動き補償ウェーブレット血管造影法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-05-21

(54)【発明の名称】動き補償ウェーブレット血管造影法

(51)【国際特許分類】

   A61B 6/00 20240101AFI20240514BHJP

   A61B 6/50 20240101ALI20240514BHJP

   G06T 1/00 20060101ALI20240514BHJP

【ＦＩ】

A61B6/00 530A

A61B6/50 500B

G06T1/00 500B

G06T1/00 290Z

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023569838

(86)(22)【出願日】2022-03-28

(85)【翻訳文提出日】2023-11-09

(86)【国際出願番号】 US2022022152

(87)【国際公開番号】W WO2022240489

(87)【国際公開日】2022-11-17

(31)【優先権主張番号】17/318,313

(32)【優先日】2021-05-12

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＰＹＴＨＯＮ

(71)【出願人】

【識別番号】523425094

【氏名又は名称】アンギオウェーブ イメージング インコーポレイテッド

【氏名又は名称原語表記】ＡＮＧＩＯＷＡＶＥ ＩＭＡＧＩＮＧ， ＩＮＣ．

【住所又は居所原語表記】８２ Ａｌｄｅｎ Ｒｏａｄ， Ｃｏｎｃｏｒｄ， ＭＡ ０１７４２ （ＵＳ）

(71)【出願人】

【識別番号】521313979

【氏名又は名称】バトラー， ウィリアム イー

【氏名又は名称原語表記】ＢＵＴＬＥＲ， ＷＩＬＬＩＡＭ， Ｅ．

【住所又は居所原語表記】Ｐ．Ｏ． Ｂｏｘ １４０３４０， Ｂｏｓｔｏｎ， ＭＡ ０２１１４－０３４０ （ＵＳ）

(74)【代理人】

【識別番号】110001966

【氏名又は名称】弁理士法人笠井中根国際特許事務所

(74)【代理人】

【識別番号】100147717

【弁理士】

【氏名又は名称】中根 美枝

(74)【代理人】

【識別番号】100103252

【弁理士】

【氏名又は名称】笠井 美孝

(72)【発明者】

【氏名】バトラー， ウィリアム イー

(72)【発明者】

【氏名】アンドラーデ－ロアルカ， エクトル

【テーマコード（参考）】

4C093

5B057

【Ｆターム（参考）】

4C093AA01

4C093AA13

4C093AA24

4C093CA35

4C093CA37

4C093DA02

4C093EC16

4C093FF15

4C093FF24

4C093FF28

4C093FF31

4C093FF50

4C093FG11

5B057AA08

5B057BA03

5B057CA02

5B057CA08

5B057CA12

5B057CA16

5B057CB02

5B057CB08

5B057CB12

5B057CB16

5B057CD11

5B057DC30

5B057DC40

(57)【要約】

拘束されていない血管物体の心臓周波数血管造影現象を血管造影検査から抽出するための方法およびシステムが提供される。一例では、コンピュータは心臓周波数よりも速い速度で得られた一連の血管造影画像フレームを取得してもよい。各画像フレームは複数のピクセルを含んでいてもよく、各ピクセルは対応する強度を有していてもよい。コンピュータは、血管造影画像フレームにオプティカルフロー技術を適用して、画像フレーム間のそれぞれのピクセルの変位に対応する複数の経路を生成してもよい。コンピュータはさらに、複数の経路と、経路のそれぞれのピクセルに関連付けられた対応する強度とに基づいて心臓周波数血管造影現象の時空間的再構成を生成し、心臓周波数血管造影現象の時空間的再構成を１つ以上の画像で表示するために出力してもよい。
【選択図】図１Ａ

【特許請求の範囲】

【請求項1】

拘束されていない血管物体の心臓周波数血管造影現象を血管造影検査から抽出するための方法であって、
コンピュータにおいて、心臓周波数よりも速い速度で得られた一連の血管造影画像フレームを取得し、各前記血管造影画像フレームが複数のピクセルを含み、各前記ピクセルが対応する強度を有しており、
前記コンピュータにおいて、前記血管造影画像フレームにオプティカルフロー技術を適用して、該血管造影画像フレーム間のそれぞれの前記ピクセルの変位に対応する複数の経路を生成し、
前記コンピュータにおいて、前記複数の経路と、該経路のそれぞれの前記ピクセルに関連付けられた前記対応する強度とに基づいて前記心臓周波数血管造影現象の時空間的再構成を生成し、
前記心臓周波数血管造影現象の前記時空間的再構成を１つ以上の画像で表示するために出力すること、
を含む方法。

【請求項2】

各前記血管造影画像フレームについて、所定の前記ピクセルの前記変位を順時間方向および逆時間方向に再帰的に積分して、前記所定の前記ピクセルのオプティカルフロー軌跡を生成することをさらに含む、請求項１に記載の方法。

【請求項3】

関心画像フレームを選択し、
前記関心画像フレームからいくつかの前記血管造影画像フレームの範囲内にある前記血管造影画像フレームに基づいて該関心画像フレームの所定の前記ピクセルの前記変位を決定すること、
をさらに含む請求項１に記載の方法。

【請求項4】

前記オプティカルフロー技術を適用することが、
前記血管造影画像フレーム間の前記複数のピクセルのオプティカルフローを測定する密なオプティカルフロー技術を適用することを含む、
請求項１に記載の方法。

【請求項5】

前記オプティカルフロー技術を適用することが、
疎なオプティカルフロー技術を適用することを含み、前記疎なオプティカルフロー技術が、
限られた数の物体位置を前記血管造影画像フレーム間で追跡し、
その間に介在する物体位置の移動を補間することを含む、
請求項１に記載の方法。

【請求項6】

前記オプティカルフロー技術を適用することが、
各前記経路をローカル座標系に基づいて決定することを含む、
請求項１に記載の方法。

【請求項7】

前記１つ以上の画像をシネビデオシーケンスとして提供することをさらに含む、請求項１に記載の方法。

【請求項8】

システムであって、
心臓の周波数よりも速い速度で得られた一連の血管造影画像フレームを取得するように構成された通信インターフェースであって、各前記血管造影画像フレームが複数のピクセルを含み、各前記ピクセルが対応する強度を有する、通信インターフェースと、
通信インターフェースに連結された１つ以上のプロセッサと、を含み、
前記１つ以上のプロセッサが、
前記血管造影画像フレームにオプティカルフロー技術を適用して、該血管造影画像フレーム間のそれぞれの前記ピクセルの変位に対応する複数の経路を生成し、
前記複数の経路と、該経路のそれぞれの前記ピクセルに関連付けられた前記対応する強度に基づいて前記心臓周波数血管造影現象の時空間的再構成を生成し、
前記心臓周波数血管造影現象の前記時空間的再構成を１つ以上の画像で表示するために出力する
ように構成されているシステム。

【請求項9】

前記１つ以上のプロセッサが、
各前記血管造影画像フレームについて、所定の前記ピクセルの前記変位を順時間方向および逆時間方向に再帰的に積分して、前記所定の前記ピクセルのオプティカルフロー軌跡を生成するようにさらに構成される、
請求項８に記載のシステム。

【請求項10】

前記１つ以上のプロセッサが、
関心画像フレームを選択し、
前記関心画像フレームからいくつかの前記血管造影画像フレームの範囲内にある前記血管造影画像フレームに基づいて該関心画像フレームの所定の前記ピクセルの前記変位を決定するようにさらに構成される、
請求項８に記載のシステム。

【請求項11】

前記１つ以上のプロセッサが、
前記血管造影画像フレーム間の前記複数のピクセルのオプティカルフローを測定する密なオプティカルフロー技術を適用するようにさらに構成される、
請求項８に記載のシステム。

【請求項12】

前記１つ以上のプロセッサが、
疎なオプティカルフロー技術を適用するようにさらに構成され、
前記疎なオプティカルフロー技術が、
限られた数の物体位置を前記血管造影画像フレーム間で追跡し、
その間に介在する物体位置の移動を補間することを含む、
請求項８に記載のシステム。

【請求項13】

前記１つ以上のプロセッサが、
各前記経路をローカル座標系に基づいて決定するようにさらに構成される、
請求項８に記載のシステム。

【請求項14】

前記１つ以上のプロセッサが、
前記１つ以上の画像をシネビデオシーケンスとして提供するようにさらに構成される、
請求項８に記載のシステム。

【請求項15】

命令で符号化された１つ以上の非一時的なコンピュータ可読記憶媒体であって、プロセッサによって前記命令が実行されると、該命令により、前記プロセッサが、
心臓周波数よりも速い速度で得られた一連の血管造影画像フレームを取得し、各前記血管造影画像フレームが複数のピクセルを含み、各前記ピクセルが対応する強度を有しており、
前記血管造影画像フレームにオプティカルフロー技術を適用して、該血管造影画像フレーム間のそれぞれの前記ピクセルの変位に対応する複数の経路を生成し、
前記複数の経路と、該経路のそれぞれの前記ピクセルに関連付けられた前記対応する強度とに基づいて前記心臓周波数血管造影現象の時空間的再構成を生成し、
前記心臓周波数血管造影現象の前記時空間的再構成を１つ以上の画像で表示するために出力すること、
を行う１つ以上の非一時的なコンピュータ可読記憶媒体。

【請求項16】

前記命令により、前記プロセッサが、
各前記血管造影画像フレームについて、所定の前記ピクセルの前記変位を順時間方向および逆時間方向に再帰的に積分して、前記所定の前記ピクセルのオプティカルフロー軌跡を生成すること、
をさらに行う請求項１５に記載の１つ以上の非一時的なコンピュータ可読記憶媒体。

【請求項17】

前記命令により、前記プロセッサが、
関心画像フレームを選択し、
前記関心画像フレームからいくつかの前記血管造影画像フレームの範囲内にある前記血管造影画像フレームに基づいて該関心画像フレームの所定の前記ピクセルの前記変位を決定すること、
をさらに行う請求項１５に記載の１つ以上の非一時的なコンピュータ可読記憶媒体。

【請求項18】

前記命令により、前記プロセッサが、
前記血管造影画像フレーム間の前記複数のピクセルのオプティカルフローを測定する密なオプティカルフロー技術を適用すること、
をさらに行う請求項１５に記載の１つ以上の非一時的なコンピュータ可読記憶媒体。

【請求項19】

前記命令により、前記プロセッサが、
疎なオプティカルフロー技術を適用することをさらに行い、
前記疎なオプティカルフロー技術が、
限られた数の物体位置を前記血管造影画像フレーム間で追跡し、
その間に介在する物体位置の移動を補間することを含む、
請求項１５に記載の１つ以上の非一時的なコンピュータ可読記憶媒体。

【請求項20】

前記命令により、前記プロセッサが、
前記１つ以上の画像をシネビデオシーケンスとして提供することをさらに行う、
請求項１５に記載の１つ以上の非一時的なコンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本分野は、一般に血管造影法に関し、特に、心臓周波数よりも高速で取得され、かつ、血管、組織、および／または器官の心臓周波数での大規模な動きを伴う一連の血管造影画像に適用される、移動する血管脈波の時空間的画像の再構成のための方法およびシステムに関する。

【背景技術】

【0002】

心臓は、一連の動脈の１回拍出量として血液を身体に送る。移動する動脈の１回拍出量が器官の血管系に到達すると、動脈の１回拍出量により、通過する動脈の１回拍出量を収容するために血管の直径の拡張とともに血管の協調運動が誘発される。心臓の心室は心臓周波数で収縮するので、動脈血管のこのような協調運動と拡張は全身にわたって心臓周波数で発生する。

【0003】

血管造影図では、化学造影剤の塊が血管系に注入される。この造影剤により体内の血管が可視化される。既存の技術は、心臓の拍動により大規模な動きをする血管のような、大規模な動きをする血管物体における移動する血管脈波の時空間的再構成には不向きである。血管物体の大規模な動きは、物体内での血行動態脈波の移動の計測を妨げる。このような大規模な動きは血管造影図において無視できないほど大きい。

【発明の概要】

【0004】

本発明の実施形態は、血管物体（例えば、組織、器官、血管など）が大規模な動きをする血管造影データにおいて心臓周波数現象を再構成するための方法、システム、およびコンピュータ可読媒体に関する。これらの技術は、拘束されていない血管物体における動きを追跡し、補償し、小規模な動きをする血管構造における既存のウェーブレット血管造影技術を改善する。

【0005】

本明細書では、拘束されていない血管物体における動きは、大規模な、広振幅の、または拘束されていない心臓周波数運動と呼ばれる。本明細書で説明する実施形態は、例えば、経路積分として調整された移動経路を使用して、血管物体の拘束されていない心臓周波数運動を追跡するために使用することができる。移動経路を決定する実施形態は、ウェーブレットまたは他の時間指標保存血管造影技術と組み合わせてもよく、それによって、任意の生理学的器官、組織、または血管系に対して時空間的再構成を実施することができる。これにより、例えば、大規模な動きをしている血管内の所定の点における脈波の時空間的再構成が可能になる場合がある。

【0006】

一形態では、拘束されていない血管物体の心臓周波数血管造影現象を血管造影検査から抽出する方法が提供される。本方法は、コンピュータにおいて、心臓周波数よりも速い速度で得られた一連の血管造影画像フレームを取得し、各前記血管造影画像フレームが複数のピクセルを含み、各前記ピクセルが対応する強度を有しており、前記コンピュータにおいて、前記血管造影画像フレームにオプティカルフロー技術を適用して、該血管造影画像フレーム間のそれぞれの前記ピクセルの変位に対応する複数の経路を生成し、前記コンピュータにおいて、前記複数の経路と、該経路のそれぞれの前記ピクセルに関連付けられた前記対応する強度とに基づいて前記心臓周波数血管造影現象の時空間的再構成を生成し、前記心臓周波数血管造影現象の前記時空間的再構成を１つ以上の画像で表示するために出力すること、を含む。この方法は、血管構造における動きを補償することにより血管造影撮像を改善し得る。

【0007】

一例では、本方法は、各前記血管造影画像フレームについて、所定の前記ピクセルの前記変位を順時間方向および逆時間方向に再帰的に積分して、前記所定の前記ピクセルのオプティカルフロー軌跡を生成することをさらに含む。再帰的積分は、血管構造における物体の動きの追跡を可能にし得る。

【0008】

一例では、本方法は、関心画像フレームを選択し、前記関心画像フレームからいくつかの前記血管造影画像フレームの範囲内にある前記血管造影画像フレームに基づいて該関心画像フレームの所定の前記ピクセルの前記変位を決定すること、をさらに含む。いくつかの画像フレームの範囲内で変位を決定することは、マザーウェーブレット関数の周波数分解能との整合性を維持することを可能にし得る。一例では、画像フレームの数は５つであってもよい。心臓が毎分６０拍の速度で拍動しており、血管造影画像が５ヘルツで取得される場合に、５という数が選択されることがある。この例では、５フレーム内の変位を決定することは、関心フレームの１心拍前および１心拍後の変位を決定することに相当する場合がある。任意の適切な数の画像フレームが、例えば、関心フレームの前後の対応する心拍数（例えば、前後２心拍、前後半心拍など）に基づいて選択されてもよい。

【0009】

一例では、前記オプティカルフロー技術を適用することが、前記血管造影画像フレーム間の前記複数のピクセルのオプティカルフローを測定する密なオプティカルフロー技術を適用することを含む。密なオプティカルフロー技術は、全てのピクセルの変位を計算することを可能にし得る。

【0010】

一例では、前記オプティカルフロー技術を適用することが、疎なオプティカルフロー技術を適用することを含み、前記疎なオプティカルフロー技術が、限られた数の物体位置を前記血管造影画像フレーム間で追跡し、その間に介在する物体位置の移動を補間することを含む。疎なオプティカルフロー技術は、キーピクセルの動きのみを計算することを可能にし得る。

【0011】

一例では、前記オプティカルフロー技術を適用することが、各前記経路をローカル座標系に基づいて決定することを含む。ローカル座標系は、ウェーブレット計算を単純化することによって計算処理上の要件を低減することができる。ローカル座標系は、例えば血管内の特定の位置によって定義されてもよい。血管が大規模な動きをしていても、座標系を定義する特定の位置の近傍は、その座標系によって依然として適切に表される場合がある。

【0012】

一例では、本方法は、前記１つ以上の画像をシネビデオシーケンスとして提供することをさらに含む。シネビデオシーケンスは、動き補償され、ウェーブレット変換された結果を提供し得る。

【0013】

別の形態では、システムが提供される。このシステムは、心臓の周波数よりも速い速度で得られた一連の血管造影画像フレームを取得するように構成された通信インターフェースであって、各前記血管造影画像フレームが複数のピクセルを含み、各前記ピクセルが対応する強度を有する、通信インターフェースと、通信インターフェースに連結された１つ以上のプロセッサと、を含み、前記１つ以上のプロセッサが、前記血管造影画像フレームにオプティカルフロー技術を適用して、該血管造影画像フレーム間のそれぞれの前記ピクセルの変位に対応する複数の経路を生成し、前記複数の経路と、該経路のそれぞれの前記ピクセルに関連付けられた前記対応する強度に基づいて前記心臓周波数血管造影現象の時空間的再構成を生成し、前記心臓周波数血管造影現象の前記時空間的再構成を１つ以上の画像で表示するために出力するように構成されている。このシステムは、血管構造における動きを補償することにより血管造影撮像を改善し得る。

【0014】

別の形態では、１つ以上の非一時的なコンピュータ可読記憶媒体が提供される。１つ以上の非一時的なコンピュータ可読記憶媒体は、命令で符号化されており、プロセッサによって前記命令が実行されると、該命令により、前記プロセッサが、心臓周波数よりも速い速度で得られた一連の血管造影画像フレームを取得し、各前記血管造影画像フレームが複数のピクセルを含み、各前記ピクセルが対応する強度を有しており、前記血管造影画像フレームにオプティカルフロー技術を適用して、該血管造影画像フレーム間のそれぞれの前記ピクセルの変位に対応する複数の経路を生成し、前記複数の経路と、該経路のそれぞれの前記ピクセルに関連付けられた前記対応する強度とに基づいて前記心臓周波数血管造影現象の時空間的再構成を生成し、前記心臓周波数血管造影現象の前記時空間的再構成を１つ以上の画像で表示するために出力すること、を行う。１つ以上の非一時的なコンピュータ可読記憶媒体は、血管構造における動きを補償することにより血管造影撮像を改善し得る。

【0015】

これらの技術のさらに他の目的および利点は、明細書および図面から明らかになるであろう。

【図面の簡単な説明】

【0016】

【図1A】血管造影データを取得するために本開示の実施形態と共に使用され得る回転Ｘ線システムの一例を示す側面図である。

【図1B】血管造影データを取得するために本開示の実施形態と共に使用され得る回転Ｘ線システムの一例を示す部分概略図である。

【0017】

【図2】本開示の実施形態と共に使用され得るコンピュータシステムまたは情報処理装置の概略図である。

【0018】

【図3】本開示の実施形態に従う、拘束されていない心臓運動を伴う時空間的再構成のための例示的なデータフロー経路を示すフローチャートである。

【0019】

【図4】ブタの冠動脈における、拘束されていない血管物体運動（例えば、血管の動き）の一例を示す血管造影画像フレームである。（ａ）および（ｂ）は、連続した血管造影画像フレームであって、本明細書で提供される技術を用いてピクセルの位置がフレーム間で追跡されている。（ｃ）は、拘束されていない血管物体運動（例えば、心臓の収縮性）によるピクセルの変位を示すための（ａ）と（ｂ）の重ね合わせである。

【0020】

【図5】本開示の実施形態に従う、所定の冠動脈に対する例示的な血管造影画像フレームに関連するオプティカルフロー経路の一例を示す。

【0021】

【図6】本開示の実施形態に従う、冠動脈の動きのような拘束されていない血管物体運動を考慮した後のウェーブレット血管造影表現を示す例示的な血管造影画像フレームである。（ａ）は時空間的再構成前の画像を示し、（ｂ）は時空間的再構成後の画像を示す。

【0022】

【図7】本開示の例示的な実施形態に従う、拘束されていない血管物体に対する血管造影データにおける心臓周波数現象を再構成するための技術を示すフローチャートである。

【発明を実施するための形態】

【0023】

本技術は、動きが拘束されていない血管、組織および／または器官の血管造影撮像のための既存の技術に対する改善を提供し得る。

【0024】

例えば、既存の血管造影技術は、血管の動きが拘束されていない物体を通って移動する血管脈波の時空間的再構成には不向きである。例えば、心臓は筋肉の器官であり、その右側と左側には心臓の動きを拘束する機能を持たない柔らかい器官である肺が配されている。したがって、心臓、関連する血管、および組織は、広振幅の心臓運動をする物体の例である。既存の血管造影技術は、広振幅の心臓運動をする血管、組織および／または器官に適用可能であるが、このような物体が大規模な動きをすることにより、物体内の血行動態脈波の移動を測定しようとする場合に課題が生じる。

【0025】

本開示の実施形態は、心臓周波数で動いている拘束されていない血管物体に対して動き追跡を利用することができる。一連の２次元画像内の物体の動きを追跡し、追跡された動きを使用してウェーブレット変換（または他の時間指標保存数学的変換）によって包含される（画像の）空間的範囲を方向付けることによって、拘束されていない心臓運動物体に時空間的再構成が適用され得る。

【0026】

血管造影画像シーケンスは、時間の関数として心臓周波数よりも高速で取得された２次元画像フレームのセットからなる。したがって、この３次元データセットは２つの空間次元と１つの時間次元を含む。血管造影画像フレームにおいて血管および／または他の関心構造の動きがある場合、所定の構造の所定の位置は、２つの隣接するまたは近くの時間的画像フレームにおいて必ずしも同じピクセル座標を占めるとは限らない。

【0027】

本発明の実施形態によれば、ピクセルを時間チャネルとして扱うことができ、この場合、ピクセル位置は一連の血管造影画像においてフレーム毎に変化することがある。

【0028】

動いている心臓血管、組織、または器官における血管脈拍の心臓周波数での測定を可能にするために、画像ピクセルに対して動き追跡が実行される。画像はグローバル座標系に基づいて処理される。グローバル座標系は血管造影画像では３次元グリッドで表されることがある。２次元は画像内のピクセルの水平および垂直の行／列によって定義することができ、３次元は画像フレーム番号（例えば、血管造影画像シーケンス内の所定の画像フレームの序数）によって定義することができる。

【0029】

動きは、ローカル座標系に関してさらに追跡されてもよく、例えば、動いている血管、器官、または組織は、ローカル座標系に関して追跡される。例えば、物体の各経路はローカル座標系に基づいて決定されてもよい。ローカル座標系は、血管造影シーケンスの各画像フレームにおける各物体または各キーピクセルに対して定義されてもよい。仮に、血管造影図がフレームｔ_１にキー血管分岐点‘ａ’を有するとする。物体‘ａ’の２次元画像フレームにおける空間座標はｘ_ｔ１ａとｙ_ｔ１ａである。フレームｔ_２において、物体‘ａ’は、その２次元座標がｘ_ｔ２ａとｙ_ｔ２ｂとなるように変位している。ローカル座標系では、画像フレームｔ_１の物体‘ａ’は、ｘ次元の位置０とｙ次元の位置０にある可能性がある。画像フレームｔ_２において、物体ａの位置がｘ次元で０、ｙ次元で０のままであるように、物体‘ａ’の変位が維持されてもよい。物体ａの近傍の血管の部分には、ある画像フレームから次の画像フレームまで一定のままである‘ａ’に対する相対的な座標位置が割り当てられてもよい。

【0030】

ローカル座標系は、物体の動きおよび変位に基づいてグローバル座標系を修正することによって決定されてもよい。例えば、血管の特定の曲がり目が、ある画像フレームと次の画像フレームとの間で右に５ピクセル移動することが測定された場合、そのピクセル内の流れる血液は、同じ方向に同じ５ピクセル移動したものとして扱われることがある。この意味において、血管はローカル座標系を方向付ける。特に、ローカル座標系は、グローバル座標系に対して右方向に５ピクセル平行移動される場合がある。したがって、グローバル座標系は、１つ以上のローカル座標系に対する基準座標系として機能することがある。

【0031】

このように、画像のピクセルはローカル座標系に変換され、変換されたピクセルについて、ピクセルの位置を経時的に追跡するための軌跡または経路が決定される。この軌跡または経路は、ウェーブレット変換または時間指標を保持する他の変換に供給される。ウェーブレット変換を実行する目的のために、血管造影画像シーケンスは、長さｔフレームのｘ×ｙピクセルのアレイ（例えば、長さｔの時間信号のｘ×ｙアレイ）として扱われ得る。ウェーブレット変換は、１次元の数列に作用してもよい。したがって、本明細書で説明する技術は、物体の動き（例えば、所定のピクセル内の動き）が選択されたマザーウェーブレットの時間／周波数分解能に対して大きい場合（例えば、動きが大きすぎて意に適さない場合）であっても、血管物体の動きの追跡を可能にすることができる。特に、全てのフレームの全てのピクセルの動きが推定されてもよく、動きが反転（例えば、補償）されてもよい。ウェーブレット変換は、動きが反転されたデータに対して作用してもよい。動きを調べて適用することによって、ウェーブレット変換されたデータにおいて動きが復元されてもよい。このように、ウェーブレット計算が完了した後、ローカル座標系は元の座標系に戻されてもよい。

【0032】

図１Ａ～図３には、本発明の実施形態を実施するために採用され得る例示的なシステムまたは装置が示されている。このようなシステムおよび装置は、代表的なシステムおよび装置の例示に過ぎず、他のハードウェアおよびソフトウェア構成が本発明の実施形態と共に適宜使用されることを理解されたい。したがって、実施形態は、本明細書に例示された特定のシステムおよび装置に限定されることを意図するものではなく、本明細書で提供される主題の精神および範囲から逸脱することなく、他の好適なシステムおよび装置が採用可能であることを認識されたい。

【0033】

まず、図１Ａおよび図１Ｂには、Ｘ線透視血管造影法などにより、心拍数よりも速い速度で血管造影図を得るために採用され得る回転Ｘ線システム２８が示されている。血管造影図を取得する際には、Ｘ線源と検出器との間に配置された患者に化学造影剤が注入されてもよく、Ｘ線検出器によってＸ線投影が２次元画像（すなわち、血管造影画像フレーム）として捕捉される。このような一連の画像フレームは、血管造影検査を構成する。本発明の実施形態に従って、血管造影画像フレームは、心臓周波数よりも高速で取得されてもよい。それにより、動き追跡および心臓周波数現象の心臓空間血管造影図への時空間的再構成が可能になる。

【0034】

図１Ａに示すように、血管造影図撮像システムの一例が、回転Ｘ線システム２８の形態で示されている。回転Ｘ線システム２８は土台を含み、土台は、Ｃアーム３０を有する。Ｃアーム３０は、その一端にＸ線源アセンブリ３２を担持し、他端にＸ線検出器アレイアセンブリ３４を担持する。土台は、Ｘ線源アセンブリ３２およびＸ線検出器アレイアセンブリ３４を、テーブル３６上に配置された患者の周囲で異なる位置および角度に向けることを可能にする一方、医師に患者へのアクセスを提供する。土台は台座３８を含み、台座３８は、テーブル３６の下で延びる水平脚部４０と、テーブル３６から離間配置された水平脚部４０の端部から上方に延びる垂直脚部４２とを有する。支持アーム４４は、水平旋回軸４６周りで回転するように、垂直脚部４２の上端に回転可能に固定されている。

【0035】

水平旋回軸４６はテーブル３６の中心線と一致しており、支持アーム４４は水平旋回軸４６から径方向外方に延び、その外端でＣアーム駆動アセンブリ４７を支持している。Ｃアーム３０は、Ｃアーム駆動アセンブリ４７に摺動可能に固定されているとともに、Ｃアーム３０を矢印５０で示すようにＣ軸４８周りで回転するように摺動させる、図示しない駆動モータに連結されている。水平旋回軸４６とＣ軸４８は、テーブル３６の上方に位置するシステムアイソセンター５６で互いに交差し、互いに垂直である。

【0036】

Ｘ線源アセンブリ３２はＣアーム３０の一端に取り付けられ、Ｘ線検出器アレイアセンブリ３４はその他端に取り付けられている。Ｘ線源アセンブリ３２はＸ線のビームを放射し、このビームはＸ線検出器アレイアセンブリ３４に向けられる。両アセンブリ３２，３４は、このビームの中心光線がシステムアイソセンター５６を通過するように、水平旋回軸４６へ向けて径方向内方に延びている。したがって、ビームの中心光線は、テーブル３６に配置された被験者からのＸ線減衰データ取得中に、水平旋回軸４６とＣ軸４８のいずれか、またはその両方を中心としてシステムアイソセンター周りに回転させることができる。

【0037】

Ｘ線源アセンブリ３２は、通電されるとＸ線のビームを放射するＸ線源を含む。中心光線は、システムアイソセンター５６を通過し、Ｘ線検出器アレイアセンブリ３４に収容された２次元フラットパネルデジタル検出器５８に衝突する。２次元フラットパネルデジタル検出器５８は、例えば、検出器エレメントが２０４８×２０４８エレメントの２次元アレイであってもよい。各エレメントは、衝突するＸ線の強度、したがってＸ線が患者を通過する際のＸ線の減衰を表す電気信号を生成する。走査中、Ｘ線源アセンブリ３２および検出器アレイアセンブリ３４は、システムアイソセンター５６周りに回転されて、異なる角度からＸ線減衰投影データを取得する。いくつかの態様では、検出器アレイは、毎秒５０の投影または画像フレームを取得可能であり、このことは、所定の走査経路および速度に対して取得できる画像フレームの数を決定する制限要因である。

【0038】

図１Ｂを参照すると、アセンブリ３２，３４の回転、およびＸ線源の操作は、Ｘ線システムの制御機構６０によって管理される。制御機構６０は、Ｘ線源アセンブリ３２に電力およびタイミング信号を提供するＸ線コントローラ６２を含む。制御機構６０内のデータ取得システム（ＤＡＳ）６４は、検出器エレメントからデータをサンプリングし、そのデータを画像再構成器６５に渡す。画像再構成器６５は、ＤＡＳ６４からデジタル化されたＸ線データを受け取り、本開示の方法に従って高速画像再構成を実行する。再構成された画像は、コンピュータ６６への入力として用いられ、コンピュータ６６は、画像を大容量記憶装置６９に記憶するか、または画像をさらに処理する。画像再構成器６５は、スタンドアロンコンピュータであってもよいし、コンピュータ６６と一体化されていてもよい。

【0039】

制御機構６０はまた、土台モータコントローラ６７およびＣ軸モータコントローラ６８を含む。コンピュータ６６からの動作コマンドに応答して、モータコントローラ６７，６８は、それぞれの水平旋回軸４６およびＣ軸４８周りの回転を生じさせるＸ線システム内のモータに電力を供給する。コンピュータ６６はまた、キーボードおよび他の手動で操作可能な制御装置を有するコンソール７０を介して、オペレータからコマンドおよび走査パラメータを受信する。関連ディスプレイ７２により、オペレータはコンピュータ６６からの再構成された画像フレームおよび他のデータを観察することができる。オペレータが供給したコマンドは、制御信号および情報をＤＡＳ６４、Ｘ線コントローラ６２、およびモータコントローラ６７，６８に提供するために、記憶されたプログラムの指示の下でコンピュータ６６によって使用される。さらに、コンピュータ６６は、電動テーブル３６を制御して、システムアイソセンター５６に対して患者を位置決めするテーブルモータコントローラ７４を操作する。

【0040】

次に図２を参照すると、本発明の実施形態に従って動きを追跡し、血管造影データから心臓周波数現象を抽出するために拡張機能を提供する、またはスタンドアロン装置として使用される、図１Ａおよび図１Ｂの回転Ｘ線システム２８のような、血管造影撮像システムに組み込み得るコンピュータシステムまたは情報処理装置８０（例えば、図１Ｂの画像再構成装置６５および／またはコンピュータ６６）のブロック図が示されている。情報処理装置８０は、回転Ｘ線システム２８に対してローカルであってもよいし、リモートであってもよい。一例では、情報処理装置８０によって実行される機能は、ＳａａＳ（Ｓｏｆｔｗａｒｅ－ａｓ－ａ－Ｓｅｒｖｉｃｅ）オプションとして提供されてもよい。ＳａａＳは、１つ以上のリモートサーバ（例えば、クラウド内）に記憶され、リモートユーザに１つ以上のサービス（例えば、血管造影画像処理）を提供するソフトウェアアプリケーションを指す。一実施形態では、コンピュータシステム８０は、モニタまたはディスプレイ８２、コンピュータシステム８４（プロセッサ８６、バスサブシステム８８、メモリサブシステム９０、およびディスクサブシステム９２を含む）、ユーザ出力装置９４、ユーザ入力装置９６、および通信インターフェース９８を含む。モニタ８２は、情報の視覚的表現または表示を生成するように構成されたハードウェアおよび／またはソフトウェアエレメントを含み得る。モニタ８２のいくつかの例は、テレビモニタ、ブラウン管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）のようなよく知られたディスプレイ装置を含み得る。いくつかの実施形態では、モニタ８２は、タッチスクリーン技術を組み込むなどの入力インターフェースを提供し得る。

【0041】

コンピュータシステム８４は、１つ以上の中央処理装置（ＣＰＵ）、メモリまたは記憶装置、グラフィックス処理装置（ＧＰＵ）、通信システム、インターフェースカードなどのよく知られたコンピュータコンポーネントを含み得る。図２に示すように、コンピュータシステム８４は、バスサブシステム８８を介して多数の周辺装置と通信する１つ以上のプロセッサ８６を含み得る。プロセッサ８６は、市販の中央処理装置などを含み得る。バスサブシステム８８は、コンピュータシステム８４の様々なコンポーネントおよびサブシステムを意図したように互いに通信させるためのメカニズムを含み得る。バスサブシステム８８は単一のバスとして概略的に示されているが、バスサブシステムの代替の実施形態では、複数のバスサブシステムを利用し得る。プロセッサ８６と通信する周辺装置には、メモリサブシステム９０、ディスクサブシステム９２、ユーザ出力装置９４、ユーザ入力装置９６、通信インターフェース９８などが含まれ得る。

【0042】

プロセッサ８６は、１つ以上のアナログおよび／またはデジタルの電気的または電子的コンポーネントを使用して実装されてもよく、マイクロプロセッサ、マイクロコントローラ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルロジック、および／または他のアナログおよび／またはデジタル回路エレメントであって、メモリサブシステム９０および／またはディスクサブシステム９２あるいは別のコンピュータプログラム製品に記憶された命令を実行することなどによって、本明細書に記載された様々な機能を実行するように構成されたエレメントを含んでもよい。

【0043】

メモリサブシステム９０およびディスクサブシステム９２は、データを記憶するように構成された物理記憶媒体の例である。メモリサブシステム９０は、プログラム実行中にプログラムコード、命令、およびデータを揮発的に記憶するランダムアクセスメモリ（ＲＡＭ）、および固定されたプログラムコード、命令、およびデータが記憶される読み取り専用メモリ（ＲＯＭ）を含む多数のメモリを含み得る。ディスクサブシステム９２は、プログラムおよびデータ用の永続的（不揮発性）ストレージを提供する多数のファイル記憶システムを含み得る。他のタイプの物理記憶媒体には、フロッピーディスク、リムーバブルハードディスク、コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタルビデオディスク（ＤＶＤ）、バーコードのような光学記憶媒体、フラッシュメモリなどの半導体メモリ、読み取り専用メモリ（ＲＯＭ）、バッテリバックアップ式揮発性メモリ、ネットワーク化された記憶装置などが含まれる。メモリサブシステム９０およびディスクサブシステム９２は、本明細書で述べる技術の機能または特徴、例えば、動き追跡システム１２０および時空間的再構成システム１３０（図３参照）を提供するプログラミングおよびデータ構成を記憶するように構成され得る。プロセッサ８６によって実行されると機能を実装または提供するソフトウェアコードモジュールおよび／またはプロセッサ命令は、メモリサブシステム９０およびディスクサブシステム９２に記憶され得る。メモリサブシステム９０は、非一時的なコンピュータ可読記憶媒体であってもよい。

【0044】

ユーザ入力装置９６は、コンピュータシステム８０のコンポーネントによる処理のためにユーザからの入力を受け取るように構成されたハードウェアおよび／またはソフトウェアエレメントを含み得る。ユーザ入力装置は、コンピュータシステム８４に情報を入力するための全ての可能なタイプの装置およびメカニズムを含み得る。これらには、キーボード、キーパッド、タッチスクリーン、ディスプレイに組み込まれたタッチインターフェース、マイクや音声認識システムのようなオーディオ入力装置、および／または他のタイプの入力装置が含まれ得る。様々な実施形態では、ユーザ入力装置９６には、コンピュータマウス、トラックボール、トラックパッド、ジョイスティック、ワイヤレスリモート、描画タブレット、音声コマンドシステム、視線追跡システムなどが含まれ得る。いくつかの実施形態では、ユーザ入力装置９６は、ユーザが、例えばボタンをクリックするなどのコマンド、動作、またはジェスチャを介してモニタ８２に表示され得る、オブジェクト、アイコン、テキストなどを選択できるか、またはそれらと対話できるように構成されている。

【0045】

ユーザ出力装置９４は、コンピュータシステム８０のコンポーネントからユーザに情報を出力するように構成されたハードウェアおよび／またはソフトウェアエレメントを含み得る。ユーザ出力装置は、コンピュータ８４から情報を出力するための全ての可能なタイプの装置およびメカニズムを含み得る。これらには、ディスプレイ（例えば、モニタ８２）、プリンタ、タッチまたはフォースフィードバック装置、オーディオ出力装置などが含まれ得る。

【0046】

通信インターフェース９８は、他の装置との一方向または双方向の通信を提供するように構成されたハードウェアおよび／またはソフトウェアエレメントを含み得る。例えば、通信インターフェース９８は、インターネット接続などを介して、コンピュータシステム８４と他の通信ネットワークおよび装置との間のインターフェースを提供してもよい。

【0047】

図３は、血管造影データ１１０が心拍数よりも速い速度で回転Ｘ線システム２８から得られるデータフロー図を示す。血管造影データは動き追跡システム１２０に提供され、動き追跡システム１２０は血管造影データを処理して、時空間的再構成システム１３０に提供されるオプティカルフロー経路を生成する。時空間的再構成システム１３０がオプティカルフロー経路を受け取ると、拘束されていない血管物体に対して時空間的再構成が実行される。これらの実施形態は、本願を通じてさらに詳細に説明される。

【0048】

本発明の例示的な実施形態によれば、血管造影データ（血管造影画像フレームを含む）を取得することができる。血管造影画像フレームの取得に加えて、本明細書で提供される技術に基づいて血管脈波の時空間的再構成を実行する目的で、相互相関ターゲットとして機能する追加の心臓信号／データを同時に取得してもよい。例えば、追加の心臓信号／データは、血管造影投影におけるピクセルの位相指標付けのための基準心臓信号として機能してもよい。このようなパルスオキシメトリシステムおよび／または心エコー図／心電図（ＥＫＧ）システムまたは装置の形態の装置／システムを用いて基準心臓信号を取得／提供するための例示的な装置がある。例示的な実施形態では、このような装置（例えば、ＥＫＧ装置）からの出力は、通信インターフェースを介してコンピュータシステム８４に通信され得る。

【0049】

［動き追跡］
本実施形態によれば、オプティカルフロー技術は、ウェーブレットおよび他の時間指標保存変換血管造影技術と関連して利用され、拘束されていない心臓周波数運動を考慮し、拘束された血管および組織（例えば、脳等）での性能を向上させる。

【0050】

オプティカルフロー技術は、画像フレームから次の画像フレームへの物体の動きに対処する。物体（ピクセルの集まり）はあるフレームから次のフレームへ移動し、物体の変位は、例えばデルタｘ（ｘ軸に対する変化）とデルタｙ（ｙ軸に対する変化）を測定することによって決定される。デルタｘ値およびデルタｙ値に基づいて、ローカル座標系はグローバル座標系に対してワープされてもよい。ローカル座標系は、経路に沿ったピクセルの動きを反映するために使用されてもよく、経路に沿ったピクセルの強度が取得され、ウェーブレットまたは他の変換に提供されてもよい。本発明の例示的な実施形態は、オプティカルフロー技術を利用して、変換に提供される単純な線（補間されてもよい）によって表される経路を、血管造影画像フレーム毎の血管および他の構造の位置からなる可変経路に変換してもよい。すなわち、オプティカルフロー技術は、あるフレームから次のフレームへの物体の動きを追跡するために使用されてもよい。

【0051】

オプティカルフロー技術を表現するために、以下の表記法を導入する。２つの空間次元はｘとｙとして表され、時間次元はｔとして表される。位置ｘ，ｙ，ｔにおける血管造影画像の強度はＡ（ｘ，ｙ，ｔ）として表される。血管造影画像フレームは離散的な時間位置ｔ_ｉで取得され，ｉは１．．．ｎであり，ｎは血管造影画像フレームの数である。血管内の特定の位置のような特定の物体について、フレームｔ_ｉにおける位置ｘ，ｙにおいて、次の血管造影フレームｔ_ｉ＋１における物体の変位は、Δ_ｘ，Δ_ｙとして表される。したがって、オプティカルフロー表記を用いて述べると、位置Ａ（ｘ，ｙ，ｔ_ｉ）における物体は、以下のように遷移する。

Ａ（ｘ，ｙ，ｔ_ｉ）→Ａ（ｘ＋Δ_{ｘ，ｉ＋１}，ｙ＋Δ_{ｙ，ｉ＋１}，ｔ_ｉ＋１）

その次のフレームｔ_ｉ＋２では、物体は以下のように位置が遷移する。

Ａ（ｘ＋Δ_{ｘ，ｉ＋１}，ｙ＋Δ_{ｙ，ｉ＋１}，ｔ_ｉ＋１）→Ａ（ｘ＋Δ_{ｘ，ｉ＋１}＋Δ_{ｘ，ｉ＋２}，ｙ＋Δ_{ｙ，ｉ＋１}＋Δ_{ｙ，ｉ＋２}，ｔ_ｉ＋２）

【0052】

各次のフレームは、位置の変化としてオプティカルフロー計算によって報告される。ｋフレーム離れた距離における正味の位置は、ｔ_ｉからｔ_ｉ＋ｋまでの位置変化の再帰的合計である。「再帰的」という用語は、遷移後の位置のオプティカルフロー変位が次の変位であるとして使用されることを指し、これらのフレーム単位の変位は、軌跡／経路を構成するために使用される。この軌跡／経路は、必ずしも直線に従うのではなく、区分的であってもよい。したがって、ｆ（ｔ）の複素連続ウェーブレット変換によって与えられる動き調整された軌跡は、経路に沿ったオプティカルフロー計算の積分から得られる。ガボール（Ｇａｂｏｒ）ウェーブレット方程式ψ（ｔ）は、正の時間方向と負の時間方向に等方的に広がる。したがって、経路積分の軌跡は、正のｔ方向と負のｔ方向の両方におけるオプティカルフロー積分の順序付き連結として計算される。

【0053】

フレームｔ_１とｔ_２の間で、物体がｘ次元でｄｘ_１だけ、ｙ次元でｄｙ_１だけ変位し、また、フレームｔ_２とｔ_３の間で、物体がｘ次元でｄｘ_２だけ、ｙ次元でｄｙ_２だけ変位する例を考える。フレームｔ_１とフレームｔ_３との間の変位は、フレームｔ_１とｔ_２との間の変位およびフレームｔ_２とｔ_３との間の変位を積分することによって得ることができる。特に、ｘ次元における積分された変位はｄｘ_１＋ｄｘ_２であり、ｙ次元における積分された変位はｄｙ_１＋ｄｙ_２である。この処理は、全ての画像フレームについて繰り返すことができる。

【0054】

このように、各画像フレームについて、所定のピクセルの変位を順時間方向および逆時間方向に再帰的に積分して、所定のピクセルのオプティカルフロー軌跡を生成することができる。ウェーブレット経路積分のような経路積分を使用することにより、拘束されていない血管物体における動きの補償が可能になり得る。例えば、本明細書で説明する技術は、心臓の拡張および収縮に起因する動きのエイリアスを補償し、処理された血管造影画像において鼓動している心臓が静止している／動いていないように見えるようにすることができる。

【0055】

画像フレームが関心の中心から離れると、動き追跡がドリフトして正確でなくなる傾向がある。これは、動きの軌跡がフレーム間の変位の積分に基づいているためである。本当にランダムな誤差は、多数のフレームにわたる動き追跡で補正される場合があるが、追跡の軽微なバイアスは、推定されたフレーム単位の変位を経路軌跡に統合することで拡大されるおそれがある。したがって、正方向または負方向の動き追跡を実行する際、フレームのサブセットが、指定物体または中心物体を含む指定フレームに関して考慮され得る。指定物体または中心物体はピクセルであってもよい。例えば、指定フレームに対して、３～５フレームが、指定されたピクセルを基準として正方向および負方向に処理されてもよい（例えば、遠くのフレームが考慮されるにつれて、計算がより不正確になる可能性がある）。一例では、関心画像フレームが選択され、関心画像フレームの所定のピクセルに対する変位が、関心画像フレームからいくつか（例えば、５つ）の画像フレーム範囲内にある画像フレームに基づいて決定されてもよい。指定フレームについて動きが決定されると、次のフレームが指定フレームとして選択され、処理が繰り返されてもよい。このようにして、動きの決定は、血管造影図の時系列に沿って、例えば、「ウィンドウ」アプローチで行われてもよい。

【0056】

ある画像フレームから次の画像フレームへの物体の動きを測定するために、任意の適切なオプティカルフロー技術を使用してもよい。様々な技術には、比較すると利点と欠点があり得る。所定のシナリオのための適切な技術は、物体の動きを利用して、ウェーブレット血管造影法による心臓周波数活動を識別するのに役立つ場合がある。

【0057】

物体の動きを測定するために、疎なオプティカルフロー技術が使用されてもよい。疎なオプティカルフロー技術は、キーピクセルの動きのみを計算することを可能にする。キーピクセル間のピクセルの動きは、近くのキーピクセルの動きから補間される。キーピクセルは、対応するキーピクセルが隣接する画像フレーム上の同じ物体の同じ部分を表すような基準に従って選択されてもよい。キーピクセルの基準の例としては、エッジやエッジの交点が考えられる。疎なオプティカルフロー技術には、LucasおよびKanade、“An Iterative Image Registration Techniques with an Application to Stereo Vision”、Proceedings DARPA Image Understanding Workshop、1981年4月、p.121-130（参照により本明細書に組み込まれる）に記載された方法、HarrisおよびStephens、“A Combined Corner and Edge Detector”、Alvey Vision Conference、1988年（参照により本明細書に組み込まれる）に記載されたハリスコーナー適応、および／またはこれらの方法の派生物が含まれるが、必ずしもこれらに限定されない。

【0058】

疎なオプティカルフロー技術では、限られた数の物体位置が画像フレーム間で追跡され、その間に介在する物体位置の移動が補間される。これは、２つの画像間のアフィン変換または分数線形変換の仮定を含む場合がある。これらの技術には、各画像上の共通の物体位置を使用することによる幾何学的変換の連続画像への適用が含まれる。

【0059】

疎なオプティカルフロー技術の一例は、２つの画像フレームにおける一貫性のある特徴の識別に依存し、ある画像フレームにおける特徴の次のフレームへのマッピングを可能にするワーピングを計算することを含む。これは例えば、Shi and Tomasi、“Good Features to Track”、IEEE Conference on Computer Vision and Pattern Recognition、1994年6月（参照により本明細書に組み込まれる）に記載されている。一貫性のある特徴の例は、コーナーおよびエッジであり、任意の適切な数学的手法によって識別され得る。ワーピングは、線形または三次スプライン補間などの補間方法によって実行されてもよい。

【0060】

他の態様では、画像フレーム間の全ピクセルのオプティカルフローを測定する密なオプティカルフロー技術を使用してもよい。その例としては、Horn and Schunck、“Determining Optical Flow”、Artificial Intelligence 17、1981年、185-203に記載されているような、ラグランジュ方程式の使用から派生した変分法が挙げられるが、必ずしもこれに限定されるものではない。ＨｏｒｎとＳｃｈｕｎｃｋは、ある画像フレームから次の画像フレームまでのピクセルの明るさが一定であると仮定し、ある画像フレームと次の画像フレームとの間のピクセルの空間分布を決定する方法を記述している。ピクセルの空間分布の変化は、物体の動きを表すと解釈することができる。他のアプローチには、画像フレーム間の空間変換を記述するのに便利なローカル座標多項式の生成に基づく、Farnebaeck（aeはアー・ウムラウト）、“Very High Accuracy Velocity Estimation using Orientation Tensors, Parametric Motion, and Simultaneous Segmentation of the Motion Field”、Proceedings Eighth IEEE International Conference on Computer Vision、2001年7月（参照により本明細書に組み込まれる）に記載された密なオプティカルフロー技術が含まれる。さらに他のアプローチは、モノジェニック信号を生成するヒルベルト変換のような局所変換に基づくものであり、これを２次元に一般化してリース変換を形成してもよい。リース変換と周波数領域で発生する関連変換は、組織の局所構造テンソルを推定するために採用されてもよい。これは、ある血管造影画像フレームから次のフレームへの生物学的物体のオプティカルフローを推定するために使用されてもよい。さらに、オプティカルフロー情報のために利用され得るシアーレット、リングレット、カーブレットなどの方向積分変換がある。これらのアプローチのいずれもが、本明細書で提供される技術と共に使用するのに適している可能性がある。

【0061】

さらに別のアプローチは、オプティカルフローを推定し、特に、ある画像フレームから次のフレームへの物体の動きを計算するために採用され得る畳み込みネットワークおよび他の深層学習／機械学習／人工知能手法の使用などの変形可能位置合わせを含む技術を含み得る。数学的な変形可能位置合わせの好適な例としては、位相幾何学の分野から派生した微分同相写像を挙げることができる。微分同相写像のための好適なオープンソースソフトウェアパッケージの例としては、Ｐｙｔｈｏｎ ＤｉＰｙライブラリが挙げられる。この情報は、物体の明るさと共に、あるフレームから次のフレームへの物体の動きを推定するために組み合わされてもよい。微分同相写像の実装には、追跡される物体が各関心画像フレームにおいてセグメント化されていると仮定するものがある。そして、その微分同相写像は、ある画像フレームから次の画像フレームまでのセグメント化されたオプションの間で計算されてもよい。血管構造および血管造影画像をセグメント化するのに好適な数学的方法の一例は、Frangi et al.、“Multiscale vessel enhancement filtering”、Medical Image Computing and Computer-Assisted Intervention、1998年（参照により本明細書に組み込まれる）に記載されたフランジ（Ｆｒａｎｇｉ）フィルタである。

【0062】

深層学習フレームワークの好適な一例は、Balakrishnan et al.、“VoxelMorph: A Learning Framework for Deformable Medical Image Registration”、arXiv:1809.05231 [cs.CV]、2019年9月1日（参照により本明細書に組み込まれる）に記載された、ＶｏｘｅｌＭｏｒｐｈオープンソースソフトウェアパッケージであり得る。ＶｏｘｅｌＭｏｒｐｈは、深層学習ニューラルネットワークを採用して、各画像フレームにおける物体間の微分同相写像を計算する。深層学習フレームワークの別の好適な例では、ニューラルネットワークを採用して、より低いレートで捕捉された心臓血管造影図からより高いビデオフレームレートの心臓血管造影図を補間してもよい。Bao et al.、“Depth-Aware Video Frame Interpolation”、IEEE Conference on Computer Vision and Pattern Recognition、2019年（参照により本明細書に組み込まれる）に記載されたＤｅｐｔｈ－Ａｗａｒｅ ｖｉｄｅｏ ｆｒａｍｅ ＩＮｔｅｒｐｏｌａｔｉｏｎ（ＤＡＩＮ）ネットワークモデルなどのソフトウェアパッケージは、ビデオフレーム補間のために多様な畳み込みニューラルネットワークを使用する場合がある。

【0063】

他の実施形態では、画像における局所的な向きを検出するために、ステアラブルフィルタが採用されてもよい。このアプローチは、動きの軌跡を推定するために使用され得る。ステアラブルフィルタは畳み込みカーネルを含み、画像強調や特徴抽出に使用される場合がある。例えば、異なる物体が別々の方向に動いている場合、所定の画像フレームは、画像内のその異なる物体に対応するステアラブルフィルタのセットを持つことができる。それぞれの動きの方向は、特定の動きの方向を符号化しフィルタリングするステアラブルフィルタによって表現してもよい。さらに他の例では、任意の適切な教師ありまたは教師なしの機械学習モデルが使用されてもよい（例えば、数学的／統計的モデル、分類器、フィードフォワード、リカレントまたは他のニューラルネットワークなど）。

【0064】

上記のリストは、動き補償ウェーブレットまたは時間指標保存血管造影の目的のために適合され得るオプティカルフロー技術の例を含む。本願における実施形態は、必ずしも上記のオプティカルフロー技術に限定されるものではなく、任意の好適なオプティカルフロー技術を含み得る。例えば、Wolfram Research、“ImageDisplacements”、Wolfram Language function、https://reference.wolfram.com/language/ref/ImageDisplacements.html、2016年（参照により本明細書に組み込まれる）に記載されている、Ｍａｔｈｅｍａｔｉｃａ（登録商標）環境によって提供される画像変位関数（ＩｍａｇｅＤｉｓｐｌａｃｅｍｅｎｔｓ［］）が、オプティカルフロー技術による動き補償を伴うウェーブレット血管造影法を実行するために採用されてもよい。

【0065】

さらに、複数の物体について、各々がそれぞれのローカル座標系を用いて追跡されてもよい。全ての物体の動きは、ウェーブレット計算のために（簿記上の意味で）反転されてもよい。一例では、全てのピクセルの動きが推定されてもよい。疎なオプティカルフロー技術では、追跡するのに計算処理上、効率的であり得るキーピクセルの動きが測定されてもよく、キーピクセル間のピクセルの動きが補間されてもよい。密なオプティカルフロー技術では、全てのピクセルの動きが測定されてもよい。ＡＩ物体認識に基づく深層学習システムは、疎なオプティカルフロー技術と同様のアプローチを使用することができる。いくつかの深層学習方法は、物体認識および／またはピクセル単位の動きに対するトレーニングに基づくものであってもよい。これは、密なオプティカルフロー技術に類似している場合がある。

【0066】

［ウェーブレット血管造影法／時空間的再構成］
ウェーブレット血管造影法は、心臓周波数よりも高速で得られる血管造影図における心臓周波数現象の時空間的再構成を生成するために、複素値ウェーブレット変換を用いる。ウェーブレット変換は線積分に基づいている。

【0067】

信号ｆ（ｔ）とマザーウェーブレットψに対して、ｆ（ｔ）の複素連続ウェーブレット変換は以下の方程式で与えられる。

【数1】

ここで、ｓは上記のようにウェーブレットスケールであり、ｕはウェーブレット変換パラメータであり、上付文字＊は複素共役を表す。ウェーブレット血管造影法では，特定のウェーブレットψとしてガボールウェーブレットが選択される場合がある。ψのガボール（モルレー（Ｍｏｒｌｅｔ）と呼ばれることもある）ファミリーは，周波数分解能と時間分解能の明確なバランスを提供する。このファミリーは以下の方程式に基づいている。

【数2】

【0068】

上述のように、血管造影図における心臓周波数の信号は、動脈解剖学的構造および静脈解剖学的構造に対する血管造影撮像の感度を高めるために利用される。これにより、血管閉塞および他の血流状態のような循環の変化および病理学的パターンをより低いＸ線線量で、および／またはより低い血管内造影剤量で識別することが可能になる。さらに、遠位動脈樹にカテーテルを操作して挿入することなく、動脈と静脈の解剖学的構造を分離できる場合がある。循環サブシステム間の心臓周波数におけるコヒーレンスを利用して、より低いＸ線線量およびより低い血管内造影剤量で動脈解剖学的構造および静脈解剖学的構造の解剖学的識別が可能になる場合がある。

【0069】

本明細書に記載の方法を実施する際、血管造影データは、フィリップス（Ｐｈｉｌｉｐｓ）やシーメンス（Ｓｉｅｍｅｎｓ）などの製造業者から入手可能な走査装置の一部として市販されているようなデジタル検出装置を用いて記録してもよい。次いで、デジタルデータはコンピュータメモリにインポートされる。血管造影図のコンピュータメモリへのインポート後（動きのエイリアスがない場合）、心臓周波数血管造影現象の時空間的再構成を得ることができる。一例では、時空間的再構成は、２０１８年１１月１３日に登録された米国特許第１０，１２３，７６１号明細書、２０２０年２月６日に出願された米国特許出願第１６／７８４，１２５号明細書、２０２０年２月６日に出願された米国特許出願第１６／７８４，０７３号明細書、２０２０年３月９日に出願された米国特許出願第１６／８１３，５１３号明細書、２０２０年３月２７日に出願された米国特許出願第１６／８３２，６９５号明細書、および／または２０２０年４月６日に出願された米国特許出願第１６／８４１，２４７号明細書に記載された技術に従って実行されてもよい。これらの文献は、参照により本明細書に組み込まれる。

【0070】

血管造影データは、コンピュータメモリにインポートされ、メモリ内のプロセッサで再フォーマットされて、時間信号のアレイを与えてもよい。複素値ウェーブレット変換がプロセッサによって各ピクセル単位の時間信号に適用され、ウェーブレット変換のアレイが得られる。ピクセル単位のウェーブレット変換は、プロセッサによって心臓周波数に対してフィルタリングされる。これは、心臓ウェーブレットスケール（ウェーブレットの分野では、この用語は心臓周波数の概念に相当する）に対応しない全てのウェーブレット係数をゼロに設定することによって行われる。ピクセル単位のウェーブレット変換データは、プロセッサによって時間領域に逆ウェーブレット変換され、コンピュータメモリ内でピクセルに再フォーマットされる。この３次元グリッドの各データエレメント（ボクセル）は複素数値である。

【0071】

各フレームは、プロセッサによって、各ピクセル内の複素データを表現するための輝度色相カラーモデルを有する画像としてレンダリングすることができる。心臓周波数の大きさは輝度として表され、位相は色相として表される。ｑ個の画像は、プロセッサによってモーションシネとしてレンダリングされてもよいし、プロセッサによってビデオファイル形式として保存されてもよい。例えば、１つ以上の画像がシネビデオシーケンス（ｃｉｎｅ ｖｉｄｅｏ ｓｅｑｕｅｎｃｅ）として提供されてもよい。一例では、物体の動きは、全ての画像の全てのピクセルに逆に適用され、全ての物体が静止しているように見える新しいビデオシーケンスを作成することができる。このビデオは、心臓周波数現象を識別するためにウェーブレット計算で処理されてもよい。その後、物体の動きをウェーブレット変換された結果に復元するために、物体の動きを順方向に適用してもよい。

【0072】

ウェーブレット変換が、例えば１０画像フレームの周波数分解能を有する場合、動きは、１０画像フレームの近傍について計算されるだけでもよい。これを画像フレーム毎に繰り返してもよい。動きの推定に誤差ドリフトがある場合、ドリフトによる誤差は、血管造影シーケンスの何百ものフレームからの総計ドリフトとは対照的に、それらの１０フレームで発生し得るドリフトに限定され得る。

【0073】

周波数領域への変換後に時間指標を保持する複素数上で動作可能で、心臓周波数血管造影現象の時空間的再構成を抽出することができる任意の適切な変換が、本技術と共に使用されることが企図される。

【0074】

図４（ａ）および図４（ｂ）は、２つの連続する血管造影画像フレーム４００Ａおよび４００Ｂ（１フレーム離れている）を示し、血管造影画像フレーム４００Ａおよび血管造影画像フレーム４００Ｂは、（心臓周波数より速い）３０Ｈｚで得られたブタの冠動脈血管造影図から選択されている。冠動脈位置２および冠動脈位置４とラベル付けされた同じ冠動脈（左前下行動脈と呼ばれる）上の同じ位置が、それぞれ血管造影画像フレーム４００Ａおよび４００Ｂ上に示されている。血管造影画像フレーム４００Ａと４００Ｂとの間の同じ冠動脈位置の空間的変位は動きの大きさを示している。図４（ｃ）は血管造影画像フレーム４００Ａと４００Ｂの重ね合わせ４００Ｃを示す。重ね合わせ４００Ｃのピクセル６はオフセットされており、血管造影画像フレーム４００Ａから血管造影画像フレーム４００Ｂに生じた動きを示している。

【0075】

図５は、光血管造影図の特定の画像フレーム５００に関して選択されたピクセル９のオプティカルフロー経路の一例を示す。この例では、画像フレーム５００は、血管内に特定の関心ピクセルを有し、これをオプティカルフローピクセル９と呼ぶ。オプティカルフローピクセル９から両方の時間方向に延びるオプティカルフロー軌跡８が示されている。オプティカルフロー軌跡８は、心臓が鼓動しているときの同じピクセル９の経路を表している。この軌跡は、ウェーブレット変換（例えば、ガボールウェーブレット変換）の積分経路を表している。これは、造影剤の塊が注入され、その後消散するときの血管造影シーケンス全体にわたる動きの軌跡を示す。オプティカルフローピクセル９は心臓周波数で移動するが、心筋収縮のばらつきや動き追跡による誤差が存在する可能性があるため、このピクセルはある心拍から次の心拍まで全く同じ軌跡をたどることはない。オプティカルフロー経路は、時空間的再構成を生成するためにウェーブレット変換および逆変換が実行される経路である。

【0076】

この処理は、例えば、一連の動き調整されたガボールウェーブレット変換を生成するために、各血管造影画像フレームについて繰り返される。ガボールウェーブレット変換は心臓周波数でフィルタリングされ、逆変換されてもよい。逆ウェーブレット変換では、心臓周波数に対応するウェーブレットスケールのみが保持される。

【0077】

各ピクセルグリッド位置ｘ、ｙ、ｔは、複素値データとして返され、これは、任意の適切なスキーム、例えば、輝度－色相モデル（例えば、複素値の大きさが輝度としてレンダリングされ、心臓周波数位相が色相としてレンダリングされる）等を使用して画像としてレンダリングされてもよい。一例では、米国特許第１０，１２３，７６１号明細書に記載されている１つ以上の技術を画像のレンダリングに利用することができる。

【0078】

血管造影画像は、水平ｘ方向および垂直ｙ方向のピクセル数に応じた離散グリッド上の画像強度番号である。しかしながら、オプティカルフロー軌跡は、物体の位置変化を分数ピクセル値として返す場合がある。したがって、一実施形態では、離散血管造影画像グリッドは、補間によって分数ピクセル値へのアクセスを可能にするスプライン補間データ量に変換されてもよい。

【0079】

動き補償されたウェーブレット血管造影図変換の例を図６（ａ）～図６（ｂ）に示す。生の血管造影画像フレーム６００Ａ（図６（ａ））が左側に示され、動き処理および時空間的再構成後の結果が右側のウェーブレット血管造影画像フレーム６００Ｂ（図６（ｂ））に示されている。マッチングピクセル１２は、ラベル付けされているように、同じ血管上の同じ位置を表している。

【0080】

図７は、本明細書に記載の技術の一実施形態による、大規模な心臓の動きを伴うデータを取得し処理するための動作のフローチャートである。動作７１０において、一連の血管造影画像フレームが心臓周波数よりも速い速度で血管造影検査から得られる。例えば、血管造影データ画像フレームは、図１Ａおよび図１Ｂに示すような回転Ｘ線血管造影システムを用いて得られ、血管造影システム内のコンピュータによって、またはスタンドアロンコンピュータによって取得または受信され得る。血管造影画像フレームは時系列の血管造影画像フレームを含んでもよい。各画像フレームは特定の時間ｔに関連付けられてもよく、複数のピクセルを含んでもよい。各ピクセルは画像フレーム内のｘ－ｙ位置に配置され、対応する輝度や強度を有してもよい。

【0081】

動作７２０において、血管造影画像フレームにオプティカルフロー技術が適用され、画像フレーム間の各ピクセルの変位に対応する複数の経路を生成する。例えば、動いている心臓血管、組織、または器官における血管脈拍の心臓周波数での測定を可能にするために、コンピュータによって画像ピクセルに対して動き追跡が実行されてもよい。画像はグローバル座標系を表してもよく、動きはローカル座標系に関して追跡されてもよい。例えば、動いている血管、器官、または組織はローカル座標系に関して追跡されてもよい。したがって、画像のピクセルがローカル座標系に変換されてもよく、変換されたピクセルについて、経時的にピクセルの位置を追跡するための軌跡または経路が決定されてもよい。

【0082】

動作７３０において、心臓周波数血管造影現象の時空間的再構成が、複数の経路と、経路のそれぞれのピクセルに関連付けられた対応する強度とに基づいてコンピュータによって生成される。例えば、動作７２０においてコンピュータによって生成された複数の軌跡または経路は、ウェーブレット変換または時間指標を保存する他の変換に供給されてもよい。次いで、ピクセル単位の変換は、コンピュータによって心臓周波数に対してフィルタリングされてもよい。これは、心臓ウェーブレットスケール（ウェーブレットの分野では、この用語は心臓周波数の概念に相当する）に対応しない全ての変換係数をゼロに設定することによって行われてもよい。その後、ピクセル単位の変換データは、コンピュータによって時間領域に逆変換され、コンピュータメモリ内でピクセルに再フォーマットされてもよい。この３次元グリッドの各データエレメント（ボクセル）は複素数値であってもよい。

【0083】

動作７４０において、心臓周波数血管造影現象の時空間的再構成は、１つ以上の画像で表示するために出力される。例えば、各フレームは、コンピュータによって、各ピクセル内の複素データを表現するための輝度色相カラーモデルを有する画像としてレンダリングされてもよい。心臓周波数の大きさは輝度として表され、位相は色相として表されてもよい。画像は、画面上に表示されてもよいし、画像ファイルとして保存されてもよいし、および／または印刷されてもよい。ｑ個の画像は、コンピュータによってモーションシネとしてレンダリングされてもよいし、プロセッサによってビデオファイル形式として保存されてもよい。

【0084】

本明細書で説明する技術は、必ずしも心臓用途に限定されるものではない。他の用途としては、光学的血管造影法を挙げることができる。例えば、覚醒している患者における網膜の光学的血管造影法は、眼球のサッカード運動を捕捉し得る。本明細書で説明する技術は、この種の動きを補償するために使用してもよい。この技術によって補償され得る他の運動源としては、呼吸運動、自発的な随意運動または不随意運動が挙げられるが、必ずしもこれらに限定されるものではない。これらの技術は、大規模な動きまたは拘束されていない動きをする任意の適切な対象物／身体部分（例えば、血管、器官など）に適用することができる。

【0085】

本明細書に記載の技術は、物体を視覚化するために有効量の造影剤の投与と併せて実施してもよい。オプティカルフロー経路を介した動き判定が順方向と逆方向の両方で動く場合、これらの技術は、中間画像フレーム（例えば、画像シーケンス内の他の画像フレームに囲まれた画像フレーム）における物体の動きを測定するのに適している場合がある。しかしながら、本明細書で説明する技術は、画像シーケンスの開始時および終了時における物体の動きの測定にも適している場合があり、造影剤の有無にかかわらず使用できることが理解されよう。

【0086】

本発明は、統合の可能なあらゆる技術的詳細レベルでの方法、システム、装置、および／またはコンピュータプログラム製品を含んでもよい。コンピュータプログラム製品は、本発明の態様をプロセッサに実行させるためのコンピュータ可読プログラム命令を有するコンピュータ可読記憶媒体を含んでもよい。

【0087】

本明細書で説明するコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれの演算／処理装置に、またはネットワーク、例えばインターネット、ローカルエリアネットワーク、ワイドエリアネットワークおよび／またはワイヤレスネットワークを介して外部コンピュータまたは外部記憶装置に、ダウンロードすることができる。ネットワークは、導電性伝送ケーブル、光伝送ファイバー、無線伝送、ルーター、ファイアウォール、スイッチ、ゲートウェイコンピュータおよび／またはエッジサーバーを含んでもよい。各演算／処理装置内のネットワークアダプタカードまたはネットワークインターフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、各演算／処理装置内のコンピュータ可読記憶媒体に記憶するために、コンピュータ可読プログラム命令を転送してもよい。

【0088】

本発明の態様は、本発明の実施形態に従う方法、装置（システム）、およびコンピュータプログラム製品のフローチャート図および／またはブロック図を参照して本明細書で説明されている。フローチャート図および／またはブロック図の各ブロック、ならびにフローチャート図および／またはブロック図のブロックの組み合わせは、コンピュータ可読プログラム命令によって実装できることが理解されよう。

【0089】

これらのコンピュータ可読プログラム命令を、汎用コンピュータ、特殊用途コンピュータ、または他のプログラム可能なデータ処理装置のプロセッサに提供して機械を製造してもよい。これにより、コンピュータまたは他のプログラム可能なデータ処理装置のプロセッサを介して実行される命令が、フローチャートおよび／またはブロック図のブロックで指定された機能／動作を実施するための手段を作成する。これらのコンピュータ可読プログラム命令は、コンピュータ、プログラム可能なデータ処理装置、および／または他の装置に特定の様式で機能するように指示することができるコンピュータ可読記憶媒体に記憶されてもよい。これにより、命令が記憶されたコンピュータ可読記憶媒体は、フローチャートおよび／またはブロック図のブロックで指定された機能／動作の態様を実施する命令を含む製造品で構成される。

【0090】

コンピュータ可読プログラム命令は、コンピュータ、他のプログラム可能なデータ処理装置、または他の装置にロードされて、一連の動作工程を当該コンピュータ、他のプログラム可能な装置、または他の装置上で実行してコンピュータ実装プロセスを生成してもよい。これにより、コンピュータ、他のプログラム可能な装置、または他の装置上で実行される命令が、フローチャートおよび／またはブロック図のブロックで指定された機能／動作を実施する。

【0091】

図中のフローチャートおよびブロック図は、本発明の様々な実施形態に従うシステム、方法、およびコンピュータプログラム製品の可能な実装のアーキテクチャ、機能、および動作を説明している。これに関して、フローチャートまたはブロック図の各ブロックは、命令のモジュール、セグメント、または部分を表していてもよく、これらは指定された論理機能を実装するための１つ以上の実行可能命令を含んでいてもよい。いくつかの代替実装では、ブロックに記載された機能は、図に記載された順序から外れて発生する場合がある。例えば、連続して示されている２つのブロックは、実際には、実質的に同時に実行されてもよいし、ブロックは、関係する機能に応じて、逆の順序で実行される場合があってもよい。また、ブロック図および／またはフローチャート図の各ブロック、ならびにブロック図および／またはフローチャート図のブロックの組み合わせは、指定された機能または動作を実行する、または特別な目的のハードウェアおよびコンピュータ命令の組み合わせを実行する、特別な目的のハードウェアベースのシステムによって実装され得ることにも留意されたい。

【0092】

上記の説明は、本出願の主題をどのように実施するかを当業者に教示するためのものであり、説明を読めば当業者に明らかになるような明白な修正および変形を全て詳述することを意図したものではない。しかしながら、そのような明白な修正および変形は全て、特許請求の範囲によって定義される本発明の範囲内に含まれることが意図されている。特許請求の範囲は、文脈が特に反対のことを示さない限り、そこに意図された目的を満たすのに有効な任意の順序で、構成要素および工程を包含することを意図している。

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【手続補正書】

【提出日】2023-11-09

【手続補正1】

【補正対象書類名】図面

【補正対象項目名】図１Ｂ

【補正方法】変更

【補正の内容】

【図1B】

【国際調査報告】