特表 2024-502622 術中画像内の異物の検出

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-01-22

(54)【発明の名称】術中画像内の異物の検出

(51)【国際特許分類】

   A61B 6/12 20060101AFI20240115BHJP

   A61B 34/10 20160101ALI20240115BHJP

   A61B 6/00 20240101ALI20240115BHJP

【ＦＩ】

A61B6/12

A61B34/10

A61B6/00 370

A61B6/00 350D

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023541947

(86)(22)【出願日】2021-01-12

(85)【翻訳文提出日】2023-09-07

(86)【国際出願番号】 EP2021050488

(87)【国際公開番号】W WO2022152365

(87)【国際公開日】2022-07-21

(81)【指定国・地域】

(71)【出願人】

【識別番号】514130426

【氏名又は名称】ブレインラボ アーゲー

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】シュトルヒ，フェルディナント

(72)【発明者】

【氏名】アダムスキ，マルティン

【テーマコード（参考）】

4C093

【Ｆターム（参考）】

4C093AA25

4C093CA18

4C093CA22

4C093FB12

4C093FD03

4C093FD09

4C093FF09

4C093FF16

4C093FF35

4C093FF37

4C093FF42

(57)【要約】

１つまたは複数の術中画像内の少なくとも１つの異物を検出する開示されたコンピュータ実装方法は、予想画像内容と比較される１つまたは複数の術中画像の提供および使用を含む。これはまた、本明細書で定義されるコンピュータ実装方法において取得され使用されるライブ術中ビデオデータの使用を特に含む。本方法は、いくつかの異なる入力に基づく予想画像内容の作成、すなわち計算および／または提供をさらに含む。予想画像内容のそのような作成は、例えば、医療処置を受けている患者の身体に関連するデータ、前記医療処置を示すパラメータ、および／または前記１つまたは複数の術中画像を生成するために使用される個々のイメージングデバイスのイメージングパラメータに基づくことができる。さらなるステップにおいて、好ましくは、少なくとも１つの取得された術中画像を解析し、術中画像内の少なくとも１つの異物を自動的に検出するための画像および／またはビデオ解析アルゴリズムを使用して、予想画像内容と１つまたは複数の取得された術中画像との間の比較が行われる。

【特許請求の範囲】

【請求項1】

１つまたは複数の術中画像内の少なくとも１つの異物を検出するコンピュータ実装方法であって、前記方法は、
医療処置を受けている患者の身体の少なくとも一部の少なくとも１つの術中画像を取得するステップ（ステップＳ１）と、
前記患者および／または前記医療処置を特徴付けるデータに基づいて、前記取得された術中画像の予想画像内容を計算または提供するステップ（ステップＳ２）と、
前記取得された術中画像を前記計算／提供された予想画像内容と計算的に比較すること（ステップＳ３）によって、前記術中画像内の前記少なくとも１つの異物を自動的に検出するステップ（ステップＳ４）と
を含む、コンピュータ実装方法。

【請求項2】

前記少なくとも１つの術中画像は、ライブ蛍光透視ビデオストリームである、請求項１に記載のコンピュータ実装方法。

【請求項3】

前記患者および／または前記医療処置を特徴付ける前記データは、
前記取得された術中画像を生成するために用いられたイメージングデバイスのイメージングデバイスパラメータと、
患者情報、好ましくは年齢、身長、性別、ＢＭＩ、既知の解剖学的異常、および／またはインプラントと、
前記少なくとも１つの術中画像が取得されたときに前記患者が受けていた前記医療処置の性質および／または用途を記述する医療処置情報と、
前記患者の１つまたは複数の以前の、好ましくは術前の画像と
のうちの少なくとも１つとして具現化される、請求項１または２に記載のコンピュータ実装方法。

【請求項4】

前記術中画像は、第１のイメージングモダリティのイメージングデバイスを用いて生成され、
予想画像内容を計算する前記ステップ（ステップＳ２）は、前記第１のイメージングモダリティの合成画像を作成することであって、前記合成画像は、前記予想画像内容を表す、作成すること（ステップＳ５）を含む、先行する請求項のいずれかに記載のコンピュータ実装方法。

【請求項5】

前記合成画像を作成する前記ステップ（ステップＳ５）は、
合成患者モデルを作成または取得すること（ステップＳ５ａ）と、
患者情報、好ましくは年齢、身長、性別、ＢＭＩ、既知の解剖学的異常、および／またはインプラントに基づいて、および／または術中画像データに基づいて、前記合成患者モデルを調整すること（ステップＳ５ｂ）と、
前記合成画像の前記作成において前記調整された合成患者モデルを使用すること（ステップＳ５ｃ）と
をさらに含む、請求項４に記載のコンピュータ実装方法。

【請求項6】

前記少なくとも１つの術中画像は、２Ｄ画像、好ましくは２Ｄ蛍光透視画像であり、
前記合成画像の前記作成において前記調整された合成患者モデルを使用する前記ステップ（ステップＳ５ｃ）は、
前記合成患者モデルから３Ｄ画像を導出することと、
デジタル再構成Ｘ線写真（ＤＲＲ）を計算することによって前記３Ｄ画像から前記合成画像を導出することによって、前記２Ｄ画像を生成した前記イメージングデバイスのイメージングデバイスパラメータを使用することと
をさらに含む、請求項５に記載のコンピュータ実装方法。

【請求項7】

前記合成画像を作成する前記ステップ（ステップＳ５）は、
医療処置情報に基づいて、前記第１のイメージングモダリティの前記イメージングデバイスに対して前記調整された合成患者モデルを仮想的に配置および／または配向することをさらに含む、請求項５または６に記載のコンピュータ実装方法。

【請求項8】

前記方法は、
前記合成画像内の解剖学的構造をセグメント化するステップと、
前記取得された術中画像内の解剖学的構造をセグメント化するステップと、
前記少なくとも１つの異物を検出するために前記セグメント化された画像を比較するステップと
をさらに含む、請求項４～７のいずれかに記載のコンピュータ実装方法。

【請求項9】

前記方法は、前記第１のイメージングモダリティの前記イメージングデバイスの位置情報、前記第１のイメージングモダリティの前記イメージングデバイスの視野、および／または医療処置情報に基づいて前記合成画像をクロッピングするステップをさらに含む、請求項４～８のいずれかに記載のコンピュータ実装方法。

【請求項10】

前記取得された術中画像の前記予想画像内容を提供する前記ステップ（ステップＳ２）は、
ルックアップテーブルを提供するステップであって、オブジェクトが、前記医療処置の画像内に存在すると予想される、および／または予想されないエントリとして記憶される、提供することと、
前記術中画像の前記自動的に検出された少なくとも１つの異物を前記ルックアップテーブル内の前記エントリと比較することと
を含む、先行する請求項のいずれかに記載のコンピュータ実装方法。

【請求項11】

前記取得された術中画像を前記計算／提供された予想画像内容と計算的に比較する前記ステップ（ステップＳ３）は、
例えばＣアーム設定、Ｘ線管設定、および／または角度などの前記取得された術中画像を生成するために使用されるイメージングデバイスのパラメータを好ましくは考慮して、前記少なくとも１つの取得された術中画像を解析するための画像解析アルゴリズムおよび／またはビデオ解析アルゴリズムを使用することを含む、先行する請求項のいずれかに記載のコンピュータ実装方法。

【請求項12】

前記ビデオ解析アルゴリズムは、機械学習、好ましくはニューラルネットワークを使用する、請求項１１に記載のコンピュータ実装方法。

【請求項13】

前記ビデオ解析アルゴリズムは、ヒストグラム解析を使用する、請求項１１または１２に記載のコンピュータ実装方法。

【請求項14】

前記方法は、ステップＳ４の検出結果に基づいて、制御信号を自動的に生成することをさらに含み、前記制御信号は、
ユーザに警告を発すること、
前記取得された術中画像を生成するために用いられるイメージングデバイスのコリメーションを調整／示唆すること、
前記取得された術中画像を生成するために用いられるイメージングデバイスの位置および／または取得方向を調整／示唆すること、
例えば、曝露時間、電圧、アンペア、および画像取得周波数などのＸ線取得パラメータを調整／示唆すること、
術中画像の前記取得を停止すること、
ステップＳ４の前記検出の検出結果の文書化を開始すること、および／または
前記術中イメージング中に使用されるロボットアームの１つまたは複数のパラメータを調整／示唆すること
を行うように構成される、先行する請求項のいずれかに記載のコンピュータ実装方法。

【請求項15】

医療施術者の身体部分がステップＳ３において前記術中画像内の前記少なくとも１つの異物として自動的に検出される場合、前記方法は、
前記医療施術者の前記検出された身体部分が前記医療処置中に受けるＸ線線量を自動的に計算するステップを含む、先行する請求項のいずれかに記載のコンピュータ実装方法。

【請求項16】

前記Ｘ線線量の前記自動計算は、前記Ｘ線デバイスの出力、前記医療施術者の前記検出された身体部分の表面積、および前記医療施術者の前記検出された身体部分の曝露時間を使用する、請求項１５に記載のコンピュータ実装方法。

【請求項17】

コンピュータ上で実行されると、またはコンピュータ上にロードされると、先行する請求項のいずれか１項に記載の方法の方法ステップを前記コンピュータに実行させる、プログラム。

【請求項18】

請求項１７に記載のプログラムが記憶されたコンピュータ可読媒体。

【請求項19】

医療処置を受けている患者の身体の少なくとも一部の少なくとも１つの術中画像を取得するように構成された画像取得ユニット（３０６）と、
前記患者および／または前記医療処置を特徴付けるデータに基づいて、前記取得された術中画像の予想画像内容を計算または提供し、
前記取得された術中画像を前記計算／提供された予想画像内容と計算的に比較すること（ステップＳ３）によって、前記術中画像内の前記少なくとも１つの異物を自動的に検出する（ステップＳ４）
ように構成された処理ユニット（３０３）と
を備える、医用画像解析システム（３０２）。

【請求項20】

前記医用画像解析システムおよび前記処理ユニットは、請求項２～１６のいずれかに記載のコンピュータ実装方法を実行するように構成される、請求項１９に記載の医用画像解析システム。

【発明の詳細な説明】

【技術分野】

【0001】

発明の分野
本発明は、１つまたは複数の術中画像内の少なくとも１つの異物を検出するコンピュータ実装方法、対応するコンピュータプログラム、コンピュータプログラムを記憶するコンピュータ可読媒体、ならびに医用画像解析システムに関する。

【背景技術】

【0002】

技術的背景
ライブ蛍光透視法は、血管内手術のための主な術中イメージングモダリティである。介入当たりの累積蛍光透視時間は１時間を超える可能性がある。これは、患者および医師に対する著しい放射線量を引き起こす。ビーム経路内に意図せずに配置されたオブジェクトは、追加の散乱放射ならびにアーチファクトを引き起こす可能性があり、回避されるべきである。さらに、外科医の手が意図的または意図せずにビーム経路に入ることは珍しくない。

【0003】

現在、イメージングデバイスのオペレータは、意図しないオブジェクトがビーム経路内に配置されないこと、不要な画像が作成されないこと、およびコリメーションが可能な限り小さいことを手動で保証しなければならない。

【0004】

このような最先端のシナリオの欠点は、例えば医療施術者による不必要な放射線の回避の成功が、操作者の経験および注意力に依存し、ヒューマンエラーを起こしやすいことである。さらに、インシデントは必ずしも文書化されておらず、インシデントが検出された場合には限られた対策しか講じることができない。これはすべて、医師にさらなる認知的負荷を加える。

【発明の概要】

【発明が解決しようとする課題】

【0005】

したがって、本発明の発明者らは、本発明を実施する文脈において、インシデントをより迅速に検出すること、対策をより迅速に適用すること、調整を自動的に適用すること、警告を確実に発すること、およびインシデントを自動的に文書化することの必要性を特定した。

【0006】

したがって、本発明は、術中画像内の異物および／または不測の内容の改善された検出を提供する目的を有する。

【課題を解決するための手段】

【0007】

本発明の態様、実施例および例示的なステップならびにそれらの実施形態を以下に開示する。本発明の様々な例示的な特徴は、技術的に適切かつ実行可能であれば、本発明に従って組み合わせることができる。

【0008】

発明の例示的な簡単な説明
以下では、本発明の特定の特徴の簡単な説明が与えられるが、これは、本発明をこのセクションに記載された特徴または特徴の組合せのみに限定すると理解されるべきではない。

【0009】

技術用語は、それらの一般的な意味によって使用される。特定の意味が特定の用語に伝えられる場合、用語の定義は、その用語が使用される文脈において以下に与えられる。

【0010】

１つまたは複数の術中画像内の少なくとも１つの異物を検出する開示されたコンピュータ実装方法は、予想画像内容と比較される１つまたは複数の術中画像の提供および使用を含む。これはまた、本明細書で定義されるコンピュータ実装方法において取得され使用されるライブ術中ビデオデータの使用を特に含む。さらに、前記画像は、以下で詳細に説明するように、多くの異なるイメージングモダリティ、すなわちイメージング方法によって生成することができる。

【0011】

本方法は、いくつかの異なる入力に基づく予想画像内容の作成、すなわち計算および／または提供をさらに含む。予想画像内容のそのような作成は、例えば、医療処置を受けている患者の身体に関連するデータ、前記医療処置を示すパラメータ、および／または前記１つまたは複数の術中画像を生成するために使用される個々のイメージングデバイスのイメージングパラメータに基づくことができる。一般に、前記予想画像内容を生成するために使用されるそのような入力は、患者および／または医療処置を特徴付けるデータである。前記データは、一実施形態において、例えば、取得された術中画像を生成するために用いられたイメージングデバイスのイメージングデバイスパラメータと、例えば、患者の年齢、身長、性別、ＢＭＩ、既知の解剖学的異常、および／またはインプラントなどの患者情報とよって提供されてもよい。予想画像内容の作成に使用される前記データは、一実施形態では、少なくとも１つの術中画像が取得されたときに患者が受けていた医療処置の性質および／または用途を記述する医療処置情報であってもよい。さらに、患者の１つまたは複数の以前の好ましくは術前画像を使用して、前記予想画像内容を作成することができる。

【0012】

さらなるステップにおいて、好ましくは、少なくとも１つの取得された術中画像を解析し、術中画像内の少なくとも１つの異物を自動的に検出するための画像および／またはビデオ解析アルゴリズムを使用して、予想画像内容と１つまたは複数の取得された術中画像との間の比較が行われる。

【0013】

有利には、提示される方法は、続いて、すなわち方法が異物を検出した後に、前記検出された異物の存在が将来回避され得るように反応をトリガすることを可能にする。例えば、ユーザに警告を引き起こすことは、提示される方法がトリガすることができる反応である。この反応は、本明細書に記載のシステムによって生成および／または実行することができる。対応する制御信号は、生成されてもよく、提示される方法を例えばユーザインターフェースに対して実行するコンピュータ／処理ユニット／計算ユニットから送信されてもよい。さらに、提示される方法によってトリガされ得る反応の他の非限定的な例は、取得された術中画像を生成するために使用されるイメージングデバイスのコリメーションを調整および／または提案すること、取得された術中画像を生成するために使用されるイメージングデバイスの位置および／または取得方向を調整／提案すること、例えば曝露時間、電圧、アンペアおよび画像取得周波数などのＸ線取得パラメータを調整／提案すること、術中画像の取得を停止すること、検出の検出結果の文書化を開始すること、ならびに／あるいは術中イメージング中に使用されるロボットアームの１つまたは複数のパラメータを調整／提案することである。これについても以下で詳細に説明する。

【0014】

特定の実施形態では、予想画像内容の計算中に、取得された術中画像が生成されたイメージングモダリティの合成画像が計算される。次いで、そのような合成画像は、本明細書の上記および下記に詳細に記載されるように、予想画像内容として使用することができる。

【0015】

その特定の実施形態では、合成画像の作成は、以下で詳細に説明するように、例えばＢｒａｉｎｌａｂのＡｔｌａｓなどの合成患者モデルの使用、作成および／または取得を含む。一般に、本発明の文脈で使用される合成患者モデルは、患者の解剖学的構造の少なくとも一部の仮想表現として理解されるべきである。そのような合成患者モデルは、当業者には理解されるように、多かれ少なかれ詳細であり得る。

【0016】

発明の一般的な説明
このセクションでは、本発明の一般的な特徴の説明が、例えば、本発明の可能な実施形態を参照することによって与えられる。

【0017】

本発明の第１の態様によれば、１つまたは複数の術中画像内の少なくとも１つの異物を検出するコンピュータ実装方法が提示される。本方法は、医療処置を受けている患者の身体の少なくとも一部の少なくとも１つの術中画像を取得するステップ（ステップＳ１）と、患者および／または医療処置を特徴付けるデータに基づいて、取得された術中画像の予想画像内容を計算または提供するステップ（ステップＳ２）と、取得された術中画像を計算／提供された予想画像内容と計算的に比較すること（ステップＳ３）によって、術中画像内の少なくとも１つの異物を自動的に検出するステップ（ステップＳ４）とを含む。

【0018】

提示される方法を実行するコンピュータ／処理ユニットによって自動的に検出される「異物」は、例えば、取得された画像に示される医療器具、医療処置を実行する医師の手および／または指の骨であってもよい。しかし、例えば骨、インプラント、および／または組織などの患者の解剖学的構造の部分は、取得された術中画像内にあると単純に予想されないシナリオでは「異物」であり得る。したがって、「異物」という用語はまた、本発明の文脈において、取得された術中画像の患者が受けているまたは受けていた現在の医療処置および／またはイメージング処置を考慮すると、術中画像において予想されない患者の解剖学的構造の一部を明示的に包含する。これはまた、取得された術中画像に患者部分が全く含まれないことも含むが、これは「不測の画像内容」でもあり、「異物」として検出されるためである。

【0019】

したがって、提示される方法は、画像、好ましくは蛍光透視画像、より好ましくは１つまたは複数の蛍光透視ライブビデオにおける異常を検出することを可能にする。そのような異常は、例えば、外科医の手、ビーム経路内のロボット／器具、予想外の身体領域、介入のために予想されたものではない患者の位置、例えば仰臥位ではなく側臥位、患者が全く存在しないこと、および／または患者が、例えば以前のスキャン／画像と比較して動いたことであり得る。これらの有利な自動検出はすべて、本発明の方法、プログラム、すなわちソフトウェア、および医用画像解析システムの各々によって行うことができる。

【0020】

そのような異物および／または予想外の内容が検出された場合、本発明の方法、プログラム、および医用画像解析システムは、実施形態の文脈で詳細に説明するように、例えば、患者および職員の不必要なＸ線被曝を低減すること、潜在的に患者の造影剤を低減すること、例えば、より良い向きに変更することによって取得される画像の品質を改善すること、閉塞を低減することなどを可能にする方法で反応することができる。これは、例えば、光学的または音響的な警告を与えることによって達成することができ、警告の強度は、「異物／予想外の内容」の異常として発見された重大度に依存することができる。例示的な代替形態は、コリメーションを調整すること、または使用されるイメージングデバイスのコリメーションを提案すること、例えば外科医の手を除外すること、またはイメージングデバイスの位置を調整することである。さらに、本発明の方法、プログラム、および医用画像解析システムはまた、画像取得方向を調整してもよく、および／または、例えば、曝露時間、電圧、アンペア、および画像取得周波数などのＸ線取得パラメータを調整してもよい。代替的にまたは組み合わせて、Ｘ線画像の取得および／または入射の文書化を完全に停止することは、本発明が含むことができる手段である。

【0021】

そのような反応を引き起こすために、本発明の方法、プログラム、および医用画像解析システムは、例えばＸ線イメージングデバイスに送信することができる対応する制御信号を生成／発生させることができ、例えば曝露時間、電圧、アンペア、および画像取得周波数などのＸ線取得パラメータは、それに応じて適合される。

【0022】

有利には、本発明によれば、術中画像における異物の検出は、より信頼性が高く、より正確であり、もはや術者の経験および注意力に依存しない。また、ヒューマンエラーが発生しにくく、インシデントを安全に文書化することができる。さらに、医療施術者は、異物検出がソフトウェア／デバイスによって引き継がれるため、追加の認知的負荷を有さない。したがって、本発明により、インシデントをより迅速に検出することができ、対策および／または反応をより迅速に適用することができ、調整を自動的に適用することができ、警告を確実に発行することができ、インシデントを自動的に文書化することができる。

【0023】

当業者には理解されるように、ステップＳ２において、提供される方法は、「予想画像内容を計算すること」だけでなく、その提供も含む。この代替形態は、例えば、ルックアップテーブルが使用される実施形態をカバーする。そのようなルックアップテーブルでは、オブジェクトは、前記医療処置の画像内に存在すると予想される、および／または予想されないエントリとして記憶することができる。この特定の実施形態では、方法はまた、以下により詳細に説明するように、術中画像の自動的に検出された少なくとも１つの異物をルックアップテーブル内の前記エントリと比較するステップを含む。

【0024】

本発明は、侵襲的ステップを伴わない、特に含まない、または包含しないことに留意されるべきであり、侵襲的ステップは、職業的な医療専門技術が実行されることを必要とする身体との実質的な物理的干渉を表し、必要な専門的ケアおよび専門知識を用いて実行された場合であっても実質的な健康リスクを伴う。例えば、本発明は、医療用インプラントを解剖学的構造に固定するために医療用インプラントを位置決めするステップ、または医療用インプラントを解剖学的構造に固定するステップ、または医療用インプラントをそれに固定するための解剖学的構造を準備するステップを含まない。より具体的には、本発明は、いかなる外科的または治療的活動も含まない。本発明は、代わりに、コンピュータ実装計算、特に自動化された画像解析、好ましくは、前に詳細に概説され、以下でさらに説明されるように、「異物」の検出の結果に応じて反応を引き起こす信号の生成に関する。この理由だけで、外科的または治療的活性はなく、特に、外科的または治療的ステップは、本発明を実施することによって必要とされず、または暗示されない。

【0025】

さらに、前記術中画像は、以下で詳細に説明するように、多くの異なるイメージングモダリティ、すなわちイメージング方法のものとすることができる。

【0026】

本発明の一実施形態によれば、少なくとも１つの術中画像は、ライブ蛍光透視ビデオストリームに由来するか、またはライブ蛍光透視ビデオストリームである。

【0027】

ライブ蛍光透視法は、血管内手術のための主な術中イメージングモダリティである。したがって、このコンピュータ実装方法を実行する処理ユニットは、患者の体内のリアルタイム動画を取得したＸ線デバイスから画像データを受信して使用することができる。蛍光透視装置を用いたこの種の医療イメージングは、医師が患者の内部構造および機能を見ることを可能にし、その結果、例えば心臓の圧送動作または嚥下の動きを見ることができる。最も単純な形態では、蛍光透視装置は、Ｘ線源と蛍光スクリーンとからなり、その間に患者が配置される。しかしながら、ほとんどの蛍光透視装置は、画像の視認性を改善し、遠隔表示画面で利用可能にするために、Ｘ線イメージインテンシファイアおよびカメラも含んでいる。

【0028】

したがって、以下により詳細に説明するように、本発明の一態様では、蛍光透視装置が、前記蛍光透視装置の蛍光透視画像内の異物および／または予想外の内容を検出する方法を実行する医用画像解析システムとともに提供される。

【0029】

本発明の一実施形態によれば、少なくとも１つの術中画像は、準ライブ蛍光透視ビデオストリームであり、ビデオに示される実際の医療処置に対して後に解析／遅延される。さらに別の実施形態では、術中画像は、記録されたビデオであり、医療処置が終了した後にビデオ内の異物および／または予想外の内容を検出するために、本明細書に提示される方法で解析される。これは、異物および／または予想外の内容を文書化するために有益に使用することができる。

【0030】

本発明の一実施形態によれば、患者および／または医療処置を特徴付けるデータは、
取得された術中画像を生成するために用いられたイメージングデバイスのイメージングデバイスパラメータと、
患者情報、好ましくは年齢、身長、性別、ＢＭＩ、既知の解剖学的異常、および／またはインプラントと、
少なくとも１つの術中画像が取得されたときに患者が受けていた医療処置の性質および／または用途を記述する医療処置情報と、
患者の１つまたは複数の以前の、好ましくは術前の画像と
のうちの少なくとも１つとして具現化される。

【0031】

この実施形態は、提示される方法のステップＳ２で使用される「患者および／または医療処置を特徴付けるデータ」の例を詳述する。

【0032】

医療処置に関する知識を用いて、本方法は、どの身体部分、対象の解剖学的構造、および／または例えば側臥位、仰臥位、腹臥位などの患者体位が予想されるかを推定することができることに留意されたい。医療処置情報の他の例は、以下の通りである。どの医療処置が実行されるかを知っている場合、本方法は、例えば、本方法を適用するデバイスに記憶された比較データに基づいて、または外部データにアクセスすることによって、画像内でどの解剖学的領域が予想されるかを決定することができ、例えば、股関節手術では、寛骨が予想され、指の骨は予想されない。デバイスの使用が前記医療処置情報として提供される場合、例えば、それが血管内処置である場合、ガイドワイヤまたはバルーンを見るべきであるが、大きな金属器具を見るべきではないと予想される。医療処置情報としての患者体位の例は、医療処置が例えば仰臥位で実行されることである。さらに、イメージングモダリティである（粗い）イメージング角度（例えば、Ａ－Ｐ－投影における蛍光透視法）は、医療処置情報の例である。

【0033】

本方法はまた、医療処置のどのステップであるかを検出することができるという意味で動的認識を提供することができる。したがって、本方法は、順序、デバイス使用のタイミング、およびイメージング使用に関する知識の形態で「予想画像内容」を計算するために情報を使用することができる。例えば、最終制御画像において患者の身体内でハサミが検出されるべきではなく、シースが適所に配置される前にイメージングが開始されるべきではない。

【0034】

本発明の一実施形態によれば、術中画像は、第１のイメージングモダリティのイメージングデバイスを用いて生成され、予想画像内容を計算するステップ（ステップＳ２）は、第１のイメージングモダリティの合成画像を作成するステップであって、合成画像は、予想画像内容を表す、作成するステップ（ステップＳ５）を含む。

【0035】

言い換えれば、人工画像が、この方法を実行するデバイスによって計算され、それはその後、デバイスが受信した実際の、好ましくはライブの術中画像との比較に使用することができる。

【0036】

この合成画像は、例えば、取得された術中画像を生成したイメージングデバイスの１つまたは複数のイメージングデバイスパラメータ、以前の画像、直前に概説した医療処置情報に基づいて、および／または例えば、年齢、身長、性別、ＢＭＩ、既知の解剖学的異常、および／またはインプラントなどの患者情報に基づいて計算することができる。

【0037】

本発明の一実施形態によれば、合成画像を作成するステップ（ステップＳ５）は、合成患者モデルを作成または取得するステップ（ステップＳ５ａ）と、患者情報、好ましくは年齢、身長、性別、ＢＭＩ、既知の解剖学的異常、および／またはインプラントに基づいて、および／または術中画像データに基づいて、合成患者モデルを調整するステップ（ステップＳ５ｂ）と、合成画像の作成において調整された合成患者モデルを使用するステップ（ステップＳ５ｃ）とをさらに含む。

【0038】

合成患者モデルを調整するための術中画像データの使用は、特に有利であり得る。例えば、既に１つの蛍光透視画像が生成されている場合、モデルの輪郭が前記蛍光透視画像の輪郭に適合して一致するように、合成患者モデルを適合させることができる。

【0039】

一般に、この実施形態の文脈で使用される合成患者モデルは、患者の解剖学的構造の少なくとも一部の仮想表現として理解されるべきである。そのような合成患者モデルは、当業者には理解されるように、多かれ少なかれ詳細であり得る。そのような合成患者モデルの１つの非限定的な例は、ＢｒａｉｎｌａｂのＡｔｌａｓである。この実施形態の文脈で使用されるそのような合成患者モデルは、次にＡｔｌａｓの文脈で説明されるが、この実施形態は明示的に限定されない。

【0040】

好ましくは、解剖学的身体部分の一般的な３次元形状を記述する（例えば、を定義し、より具体的には、を表し、および／または、である）アトラスデータが取得される。したがって、アトラスデータは、解剖学的身体部分のアトラスを表す。アトラスは、典型的には、オブジェクトの複数の一般モデルからなり、オブジェクトの一般モデルはともに複雑な構造を形成する。例えば、アトラスは、複数の人体から収集された解剖学的情報、例えばそのような人体の画像を含む医用画像データから生成された患者の身体（例えば、身体の一部）の統計モデルを構成する。したがって、原則として、アトラスデータは、複数の人体についてのそのような医用画像データの統計解析の結果を表す。この結果は画像として出力することができ、したがってアトラスデータは医用画像データを含むか、または医用画像データに匹敵する。そのような比較は、例えば、アトラスデータと医用画像データとの間の画像融合を実行する画像融合アルゴリズムを適用することによって実行することができる。比較の結果は、アトラスデータと医用画像データとの間の類似性の尺度とすることができる。アトラスデータは、例えばアトラスデータを医用画像データと比較して、アトラスデータによって定義された解剖学的構造に対応する医用画像データ内の解剖学的構造の位置を決定するために、例えば医用画像データに含まれる画像情報（例えば、位置画像情報）に（例えば、弾性または剛性画像融合アルゴリズムを適用することによって）一致させることができる画像情報（例えば、位置画像情報）を含む。

【0041】

その解剖学的構造がアトラスデータを生成するための入力として機能する人体は、有利には、性別、年齢、民族性、身体測定値（例えば、サイズおよび／または質量）、および病的状態のうちの少なくとも１つなどの共通の特徴を共有する。解剖学的情報は、例えば人体の解剖学的構造を記述し、例えば人体に関する医用画像情報から抽出される。例えば、大腿骨のアトラスは、頭部、頸部、身体、大転子、小転子および下肢をオブジェクトとして含むことができ、これらは一緒に完全な構造を構成する。脳のアトラスは、例えば、終脳、小脳、間脳、橋、中脳および延髄をオブジェクトとして含むことができ、これらは一緒に複雑な構造を構成する。そのようなアトラスの１つの用途は、医用画像のセグメント化であり、アトラスは医用画像データと照合され、画像データは、照合されたアトラスのオブジェクトに画像データの点（ピクセルまたはボクセル）を割り当てるために、照合されたアトラスと比較され、それによって画像データをオブジェクトにセグメント化する。

【0042】

本発明の一実施形態によれば、少なくとも１つの術中画像は、２Ｄ画像、好ましくは２Ｄ蛍光透視画像である。さらに、合成画像の作成において調整された合成患者モデルを使用するステップ（ステップＳ５ｃ）は、合成患者モデルから３Ｄ画像を導出するステップと、デジタル再構成Ｘ線写真（ＤＲＲ）を計算することによって３Ｄ画像から合成画像を導出することによって、２Ｄ蛍光透視画像を生成したイメージングデバイスのイメージングデバイスパラメータを使用するステップとをさらに含む。

【0043】

個々の患者に適合された合成画像が３ＤのＣＴであり、実際の術中画像が２Ｄ蛍光透視画像である場合、直接的な比較は不可能である。したがって、２Ｄ蛍光透視画像は、３Ｄ ＣＴから導出されなければならず、これは、デジタル再構成Ｘ線写真を用いて行うことができる。３Ｄ ＣＴを通る仮想Ｘ線源からのＸ線の投影がシミュレートされ、Ｃアームの角度が使用される。したがって、この実施形態では、方法は、ＣアームからＣアーム角度データを読み出し、それらをＤＲＲの計算に使用するステップまたはステップを伴う。

【0044】

本発明の一実施形態によれば、合成画像を作成するステップ（ステップＳ５）は、医療処置情報に基づいて、第１のイメージングモダリティのイメージングデバイスに対して調整された合成患者モデルを仮想的に配置および／または配向するステップをさらに含む。

【0045】

本発明の一実施形態によれば、本方法は、合成画像内の解剖学的構造をセグメント化するステップと、取得された術中画像内の解剖学的構造をセグメント化するステップと、少なくとも１つの異物を検出するためにセグメント化された画像を比較するステップとをさらに含む。

【0046】

この実施形態では、両方の画像、すなわち合成画像および実画像におけるオブジェクトのセグメント化が導入される。デジタル画像処理では、画像セグメント化は、デジタル画像を複数のセグメント（画像オブジェクトとしても知られる画素のセット）に分割するプロセスである。セグメント化の目的は、画像の表現をより意味があり、より解析しやすいものに単純化および／または変更することである。画像セグメント化は、通常、画像内のオブジェクトおよび境界（線、曲線など）を特定するために使用される。より正確には、画像セグメント化は、同じラベルを有する画素が特定の特性を共有するように、画像内のすべての画素にラベルを割り当てるプロセスである。画像セグメント化の結果は、画像全体を集合的にカバーするセグメントのセット、または画像から抽出された輪郭のセットである。領域内の画素の各々は、色、強度、またはテクスチャなどのいくつかの特性または計算された特性に関して類似している。隣接する領域は、同じ特性に関して著しく異なる。

【0047】

本発明の一実施形態によれば、本方法は、第１のイメージングモダリティのイメージングデバイスの位置情報、第１のイメージングモダリティのイメージングデバイスの視野、および／または医療処置情報に基づいて合成画像をクロッピングするステップをさらに含む。

【0048】

この実施形態は、画像をクロッピングするステップを規定する。クロッピングは、写真または図示の画像から不要な外側領域を除去することとして理解される。プロセスは、通常、画像から無関係なコンテンツを除去し、フレーミングを改善し、アスペクト比を変更し、または主題をその背景から強調または分離するために、画像の周辺領域のいくつかを除去することからなる。

【0049】

例えば、本明細書で前述した実施形態の結果として得られるＤＲＲは、Ｃアーム位置および／または視野および／または処置情報、例えば、病変が左膝に位置することが知られている、に基づいてクロッピングされる。

【0050】

本発明の一実施形態によれば、取得された術中画像の予想画像内容を提供するステップ（ステップＳ２）は、ルックアップテーブルを提供するステップであって、オブジェクトが、前記医療処置の画像内に存在すると予想される、および／または予想されないエントリとして記憶される、提供するステップと、術中画像の自動的に検出された少なくとも１つの異物をルックアップテーブル内の前記エントリと比較するステップとを含む。

【0051】

この実施形態では、実際の画像内のオブジェクトと一般的なルックアップテーブル内のオブジェクトとの比較が含まれ、例えば既知のインプラント、デバイスなどのようなエントリが記憶される。したがって、この実施形態では、合成画像は必要とされない。

【0052】

本発明の一実施形態によれば、取得された術中画像を計算的に、計算／提供された予想画像内容と比較するステップ（ステップＳ３）は、好ましくは、例えばＣアーム設定、Ｘ線管設定、および／または角度などの取得された術中画像を生成するために使用されるイメージングデバイスのパラメータを考慮して、少なくとも１つの取得された術中画像を解析するための画像および／またはビデオ解析アルゴリズムを使用することを含む。

【0053】

画像および／またはビデオ解析アルゴリズムは、例えば、エッジ検出、オブジェクト認識、および／または動き検出（例えば、指が動いているかどうか）を含むことができる。本方法はまた、比較される画像間の相互情報または相関のような類似性測度を使用することもできる。別の実施形態では、ヒストグラム解析を使用して、取得された術中画像を計算／提供された予想画像内容と計算的に比較する。

【0054】

本発明の一実施形態によれば、ビデオ解析アルゴリズムは、機械学習、好ましくはニューラルネットワークを使用する。

【0055】

言い換えれば、機械学習は、コンピュータおよび／または処理ユニットおよび／または医用画像解析システムに設けられ、提示される方法のこの実施形態を実行する人工知能モジュールによって促進される。

【0056】

当業者によって理解されるように、人工知能モジュールは、典型的には自由パラメータのセットを有する内部処理チェーンによって１つまたは複数の入力を１つまたは複数の出力へと処理するエンティティである。内部処理チェーンは、入力から出力に進むときに連続的に横断される相互接続された層に編成されてもよい。

【0057】

多くの人工知能モジュールは、高い次元を有する入力をはるかに低い次元の出力に処理するように編成される。例えば、１９２０×１０８０画素のＨＤ解像度の画像は、１９２０×１０８０＝２，０７３，６００次元の空間に存在する。人工知能モジュールの一般的な仕事は、例えば、それらが特定のオブジェクトを含むかどうかに基づいて、画像を１つまたは複数のカテゴリに分類することである。次いで、出力は、例えば、検出対象オブジェクトの各々について、オブジェクトが入力画像内に存在する確率を与えることができる。この出力は、検出対象オブジェクトと同じ次元を有する空間に存在する。典型的には、数百または数千のオーダーの検出対象オブジェクトがある。

【0058】

そのようなモジュールは、「訓練される」ことができるため、「インテリジェント」と呼ばれる。モジュールは、訓練データのレコードを使用して訓練されてもよい。訓練データのレコードは、訓練入力データおよび対応する訓練出力データを含む。訓練データのレコードの訓練出力データは、入力として訓練データの同じレコードの訓練入力データが与えられたときにモジュールによって生成されると予想される結果である。この予想結果とモジュールによって生成された実際の結果との間の偏差は、「損失関数」によって観察および評価される。この損失関数は、モジュールの内部処理チェーンのパラメータを調整するためのフィードバックとして使用される。例えば、パラメータは、すべての訓練入力データがモジュールに供給され、結果が対応する訓練出力データと比較されるときに生じる損失関数の値を最小化する最適化目標で調整されてもよい。

【0059】

この訓練の結果、比較的少数の訓練データのレコードが「グラウンドトゥルース」である場合、モジュールは、その仕事、例えば、何桁も高い入力データの多数のレコードについて、それらがどのオブジェクトを含むかに関する画像の分類を実行することが可能になる。例えば、各画像にどのオブジェクトが存在するかのグラウンドトゥルースで「ラベル付け」された約１０万個の訓練画像のセットは、モジュールがすべての可能な入力画像内のこれらのオブジェクトを認識できるようにモジュールを訓練するのに十分であることができ、これは、例えば、１９２０×１０８０ピクセルの解像度および８ビットの色深度で５億３０００万個を超える画像であり得る。

【0060】

さらに、ニューラルネットワークは、人工知能モジュールの内部処理チェーンの主要な例である。それは複数の層からなり、各層は１つまたは複数のニューロンを含む。隣接する層の間のニューロンは、第１の層のニューロンの出力が隣接する第２の層の１つまたは複数のニューロンの入力であるという点でリンクされている。そのような各リンクには「重み」が与えられ、それによって対応する入力が、その入力の関数としてニューロンの出力を与える「活性化関数」に入る。活性化関数は、典型的には、その入力の非線形関数である。例えば、活性化関数は、その入力の重み付き和または他の線形関数である「事前活性化関数」と、事前活性化関数の値からニューロンの最終出力を生成する閾値化関数または他の非線形関数とを含むことができる。

【0061】

畳み込みニューラルネットワークは、「畳み込み層」を含むニューラルネットワークである。「畳み込み層」では、ニューロンの出力は、これらのニューロンの入力に畳み込みカーネルを適用することによって得られる。これにより、データの次元が大幅に減少する。畳み込みニューラルネットワークは、画像処理において頻繁に使用される。

【0062】

敵対的生成ネットワークは、「生成器」および「識別器」と呼ばれる２つのニューラルネットワークの組合せである。そのようなネットワークは、データの訓練レコードの所与のセットから得られたレコードと区別できないデータのレコードを人工的に生成するために使用される。生成器ネットワークは、ランダムデータを有する入力レコードから、訓練レコードのセット内のレコードと区別できない出力レコードを作成する目的で訓練される。すなわち、出力レコードのみを考えると、それが生成器によって生成されたかどうか、またはそれが訓練レコードのセットに含まれているかどうかを区別することはできない。次に、識別器は、生成器によって生成された「実際の」訓練レコードまたは「偽の」レコードである可能性が高いかどうかに関してデータの所与のレコードを分類するように特に訓練される。したがって、生成器と識別器とは互いに競合する。

【0063】

例えば、生成的敵対ネットワークを使用して、訓練画像のセットと区別できない写実的画像を作成することができる。例えば医療イメージングによって取得された限られた数の訓練画像から、そのような医用画像を通過することができるほぼ無限数の偽の画像を生成することができる。これの主な用途は、他の人工知能モジュール、例えば、特定の特徴またはオブジェクトが医用画像に存在するかどうかを分類するために訓練されるべきモジュールのための訓練データの生成である。

【0064】

本発明の一実施形態によれば、本方法は、ステップＳ４の検出結果に基づいて、制御信号を自動的に生成することをさらに含み、制御信号は、
ユーザに警告を発すること、
取得された術中画像を生成するために用いられるイメージングデバイスのコリメーションを調整／示唆すること、
取得された術中画像を生成するために用いられるイメージングデバイスの位置および／または取得方向を調整／示唆すること、
例えば、曝露時間、電圧、アンペア、および画像取得周波数などのＸ線取得パラメータを調整／示唆すること、
術中画像の取得を停止すること、
ステップＳ４の検出の検出結果の文書化を開始すること、および／または
術中イメージング中に使用されるロボットアームの１つまたは複数のパラメータを調整／示唆すること
を行うように構成される。

【0065】

この実施形態では、異物が自動的に検出された後にこの方法またはこの方法を実行するデバイスによって引き起こされる反応の可能性が詳述されている。前記「制御信号」は、本発明の方法を実行する装置から、例えば２Ｄ蛍光透視画像を生成するＸ線デバイスなどの他のデバイスに、またはユーザもしくは医療施術者に警告するためのディスプレイに送信することができる。

【0066】

本発明の一実施形態によれば、医療施術者の身体部分が術中画像内の少なくとも１つの異物としてステップＳ３において自動的に検出される場合、本方法は、医療施術者の検出された身体部分が医療処置中に受けるＸ線線量を自動的に計算するステップを含む。

【0067】

この実施形態は、医療施術者が意図しないＸ線線量を受けることを自動的に回避する。例えば、蛍光透視法は、血管内手術のための主な術中イメージングモダリティであり、介入当たりの累積蛍光透視時間は１時間を超える可能性がある。したがって、これは、患者および医師に対する著しい放射線量を引き起こす。ビーム経路内に意図せずに配置されたオブジェクトは、本発明によって自動的に検出され、その結果、本発明の提示された実施形態では、外科医の手が意図的にまたは意図せずにビーム経路に入るときに即座に検出される。そのようなシナリオでは、この実施形態の方法は、医療施術者の検出された身体部分が医療処置中に受けるＸ線線量を自動的に決定する。以下に説明されるように、異なる値／パラメータを使用して前記線量を計算することができる。

【0068】

本発明の一実施形態によれば、Ｘ線線量の自動計算は、Ｘ線デバイスの出力、医療施術者の検出された身体部分の表面積、および医療施術者の検出された身体部分の曝露時間を使用する。

【0069】

本発明の他の態様によれば、コンピュータ上で実行されると、またはコンピュータ上にロードされると、先行する請求項のいずれか１項に記載の方法の方法ステップをコンピュータに実行させるプログラムが提示される。

【0070】

このプログラムは、コンピュータプログラム要素と見なすことができ、既存のコンピュータプログラムの一部であってもよいが、それ自体がプログラム全体であってもよい。例えば、プログラムは、本発明に到達するために既存のコンピュータプログラムを更新するために使用されてもよい。

【0071】

この態様では、本発明は、少なくとも１つのコンピュータ（例えば、１つのコンピュータ）の少なくとも１つのプロセッサ（例えば、１つのプロセッサ）上で実行されるとき、または少なくとも１つのコンピュータ（例えば、１つのコンピュータ）の少なくとも１つのメモリ（例えば、１つのメモリ）にロードされるとき、少なくとも１つのコンピュータに、第１の態様による上述の方法を実行させるコンピュータプログラムに関する。本発明は、代替的または追加的に、例えば第１の態様による方法のステップのいずれかまたはすべてを実行するように適合されたコード手段を含む、プログラム、例えば前述のプログラムを表す情報を搬送する（物理的、例えば電気的、例えば技術的に生成される）信号波、例えばデジタル信号波に関することができる。ディスクに記憶されたコンピュータプログラムはデータファイルであり、ファイルが読み出されて伝送されると、例えば（物理的、例えば電気的、例えば技術的に生成される）信号の形態のデータストリームとなる。信号は、本明細書に記載の信号波として実装することができる。例えば、信号、例えば信号波は、コンピュータネットワーク、例えばＬＡＮ、ＷＬＡＮ、ＷＡＮ、例えばインターネットを介して送信されるように構成される。したがって、この態様による発明は、代替的または追加的に、前述のプログラムを表すデータストリームに関することができる。

【0072】

本発明の他の態様によれば、前記プログラムが記憶されたコンピュータ可読媒体が提示される。

【0073】

したがって、本発明のこの態様は、前の態様によるプログラムが記憶される非一時的コンピュータ可読プログラム記憶媒体に関する。コンピュータ可読媒体は、例えば、ＵＳＢスティック、ＣＤ、ＤＶＤ、データ記憶デバイス、ハードディスク、または上述のようなプログラム要素を記憶することができる任意の他の媒体などの記憶媒体として見ることができる。

【0074】

本発明の他の態様によれば、医療処置を受けている患者の身体の少なくとも一部の少なくとも１つの術中画像を取得するように構成された画像取得ユニットを備える医用画像解析システムが提示される。さらに、患者および／または医療処置を特徴付けるデータに基づいて、取得された術中画像の予想画像内容を計算または提供するように構成された処理ユニットが含まれる。さらに、処理ユニットは、取得された術中画像を計算／提供された予想画像内容と計算的に比較することによって、術中画像内の少なくとも１つの異物を自動的に検出するように構成される。

【0075】

本発明の一実施形態によれば、医用画像解析システムおよび処理ユニットは、本明細書で前述および後述する方法のいずれかを実行するように構成される。

【0076】

本発明の他の態様によれば、蛍光透視装置が医用画像解析システムとともに提供される。蛍光透視装置は、少なくともＸ線源および蛍光スクリーンを備える。医用画像解析システムが取得する術中画像は、蛍光透視装置によって生成された蛍光透視ビデオ画像である。

【0077】

定義
このセクションでは、本開示で使用される特定の用語の定義が提供され、これも本開示の一部を形成する。

【0078】

コンピュータ実装方法
本発明による方法は、例えば、コンピュータ実装方法である。例えば、本発明による方法のすべてのステップ、または単にステップの一部（すなわち、ステップの総数未満）がコンピュータ（例えば、少なくとも１つのコンピュータ）によって実行され得ることを含む。コンピュータ実装方法の一実施形態は、データ処理方法を実行するためのコンピュータの使用である。コンピュータ実装方法の一実施形態は、コンピュータが方法の１つ、複数、またはすべてのステップを実行するように動作するような、コンピュータの動作に関する方法である。

【0079】

コンピュータは、例えば電子的および／または光学的にデータを（技術的に）処理するために、例えば少なくとも１つのプロセッサと、例えば少なくとも１つのメモリとを備える。プロセッサは、例えば、半導体、例えば、少なくとも部分的にｎ型および／またはｐ型ドープ半導体、例えば、ＩＩ型、ＩＩＩ型、ＩＶ型、Ｖ型、ＶＩ型半導体材料、例えば（ドープされた）シリコンおよび／またはガリウムヒ素のうちの少なくとも１つである物質または組成物で作られる。記載された計算または決定ステップは、例えば、コンピュータによって実行される。決定するステップまたは計算するステップは、例えば、技術的方法のフレームワーク内、例えばプログラムのフレームワーク内でデータを決定するステップである。コンピュータは、例えば、任意の種類のデータ処理デバイス、例えば電子データ処理デバイスである。コンピュータは、一般にそのように考えられているデバイス、例えば、デスクトップＰＣ、ノートブック、ネットブックなどとすることができるが、例えば、携帯電話または組み込みプロセッサなどの任意のプログラム可能な装置とすることもできる。コンピュータは、例えば、「サブコンピュータ」のシステム（ネットワーク）を含むことができ、各サブコンピュータはそれ自体コンピュータを表す。「コンピュータ」という用語は、クラウドコンピュータ、例えばクラウドサーバを含む。「クラウドコンピュータ」という用語は、例えば少なくとも１つのクラウドコンピュータのシステムと、例えばサーバファームなどの複数の動作可能に相互接続されたクラウドコンピュータとを含むクラウドコンピュータシステムを含む。そのようなクラウドコンピュータは、好ましくは、ワールドワイドウェブ（ＷＷＷ）などの広域ネットワークに接続され、すべてがワールドワイドウェブに接続されたいわゆるコンピュータのクラウド内に配置される。そのようなインフラストラクチャは、特定のサービスを配信するコンピュータの物理的な位置および／または構成をエンドユーザが知る必要のない計算、ソフトウェア、データアクセスおよびストレージサービスを記述する「クラウドコンピューティング」に使用される。例えば、「クラウド」という用語は、この点において、インターネット（ワールドワイドウェブ）のメタファとして使用される。例えば、クラウドは、サービスとしてのコンピューティングインフラストラクチャ（ＩａａＳ）を提供する。クラウドコンピュータは、本発明の方法を実行するために使用されるオペレーティングシステムおよび／またはデータ処理アプリケーションの仮想ホストとして機能することができる。クラウドコンピュータは、例えば、Ａｍａｚｏｎ Ｗｅｂ Ｓｅｒｖｉｃｅｓ（商標）によって提供されるｅｌａｓｔｉｃ ｃｏｍｐｕｔｅ ｃｌｏｕｄ（ＥＣ２）である。コンピュータは、例えば、データを受信または出力し、および／またはアナログ－デジタル変換を実行するためのインターフェースを備える。データは、例えば、物理的特性を表すデータおよび／または技術的信号から生成されるデータである。技術信号は、例えば、（技術的）検出デバイス（例えば、マーカデバイスを検出するためのデバイスなど）および／または（技術的）解析デバイス（例えば、（医用）イメージング方法を実行するためのデバイスなど）によって生成され、技術信号は、例えば、電気信号または光学信号である。技術信号は、例えば、コンピュータによって受信または出力されたデータを表す。コンピュータは、好ましくは、コンピュータによって出力された情報を例えばユーザに表示することを可能にする表示デバイスに動作可能に結合される。表示デバイスの一例は、ナビゲートのための「ゴーグル」として使用することができる仮想現実デバイスまたは拡張現実デバイス（仮想現実メガネまたは拡張現実メガネとも呼ばれる）である。そのような拡張現実メガネの具体例は、Ｇｏｏｇｌｅ Ｇｌａｓｓ（Ｇｏｏｇｌｅ，Ｉｎｃ．の商標）である。拡張現実デバイスまたは仮想現実デバイスは、ユーザ対話によってコンピュータに情報を入力するためにも、コンピュータによって出力された情報を表示するためにも使用することができる。表示デバイスの別の例は、例えば、表示デバイスに画像情報コンテンツを表示するために使用される信号を生成するためにコンピュータから表示制御データを受信するためにコンピュータに動作可能に結合された液晶ディスプレイを含む標準的なコンピュータモニタである。そのようなコンピュータモニタの特定の実施形態は、デジタルライトボックスである。そのようなデジタルライトボックスの例は、Ｂｒａｉｎｌａｂ ＡＧの製品であるＢｕｚｚ（登録商標）である。モニタはまた、スマートフォンまたは携帯情報端末またはデジタルメディアプレーヤなどの携帯型、例えば手持ち型のデバイスのモニタであってもよい。

【0080】

本発明はまた、コンピュータ上で実行されると、コンピュータに、本明細書に記載の方法ステップの１つまたは複数またはすべてを実行させるプログラム、および／またはプログラムが記憶されているプログラム記憶媒体（特に非一時的形態）、および／または前記プログラム記憶媒体を備えるコンピュータ、および／またはプログラムを表す情報を搬送する（物理的、例えば電気的、例えば技術的に生成される）信号波、例えばデジタル信号波、例えば前述のプログラム、例えば本明細書に記載の方法ステップのいずれかまたはすべてを実行するように適合されたコード手段を備える。

【0081】

本発明のフレームワーク内で、コンピュータプログラム要素は、ハードウェアおよび／またはソフトウェア（これには、ファームウェア、常駐ソフトウェア、マイクロコードなどが含まれる）によって具現化することができる。本発明のフレームワーク内で、コンピュータプログラム要素は、コンピュータ使用可能な、例えばコンピュータ可読プログラム命令を含むコンピュータ可読データ記憶媒体などのコンピュータ使用可能な、例えばコンピュータ可読データ記憶媒体によって具現化され得るコンピュータプログラム製品の形態をとることができ、例えば「コード」または「コンピュータプログラム」は、命令実行システム上で、またはそれに関連して使用するために前記データ記憶媒体内に具現化される。そのようなシステムは、コンピュータであってもよく、コンピュータは、本発明によるコンピュータプログラム要素および／またはプログラムを実行するための手段を備えるデータ処理デバイス、例えば、コンピュータプログラム要素を実行するデジタルプロセッサ（中央処理装置またはＣＰＵ）と、任意選択的に、コンピュータプログラム要素の実行に使用されるおよび／またはコンピュータプログラム要素の実行によって生成されるデータを格納するための揮発性メモリ（例えば、ランダムアクセスメモリまたはＲＡＭ）とを備えるデータ処理デバイスとすることができる。本発明のフレームワーク内で、コンピュータ使用可能な、例えばコンピュータ可読データ記憶媒体は、命令実行システム、装置、またはデバイス上で、またはそれに関連して使用するためのプログラムを含む、記憶する、通信する、伝播する、または輸送することができる任意のデータ記憶媒体とすることができる。コンピュータ使用可能な、例えばコンピュータ可読データ記憶媒体は、例えば、これらに限定されないが、電子、磁気、光学、電磁気、赤外線または半導体システム、装置またはデバイス、または例えばインターネットなどの伝搬媒体であってもよい。コンピュータ使用可能またはコンピュータ可読データ記憶媒体は、例えば、紙または他の適切な媒体を光学的に走査することによってプログラムを電子的に取り込むことができ、次いで適切な方法でコンパイル、解釈、または他の方法で処理することができるため、例えば、プログラムが印刷される紙または他の適切な媒体であってもよい。データ記憶媒体は、好ましくは不揮発性データ記憶媒体である。本明細書で説明されるコンピュータプログラム製品ならびに任意のソフトウェアおよび／またはハードウェアは、例示的な実施形態における本発明の機能を実行するための様々な手段を形成する。コンピュータおよび／またはデータ処理デバイスは、例えば、案内情報を出力する手段を含む案内情報デバイスを含むことができる。案内情報は、例えば、視覚的指示手段（例えば、モニタおよび／またはランプ）によって視覚的に、および／または音響的指示手段（例えば、スピーカおよび／またはデジタル音声出力デバイス）によって音響的に、および／または触覚的指示手段（例えば、機器に組み込まれた振動素子または振動素子）によって触覚的に、ユーザに出力することができる。この文書の目的のために、コンピュータは、例えば、技術的、例えば有形の構成要素、例えば機械的および／または電子的構成要素を含む技術的コンピュータである。本明細書でそのように言及される任意のデバイスは、技術的な、例えば有形のデバイスである。

【0082】

データ／画像の取得
「データを取得する」および／または「画像を取得する」という表現（本明細書では同義的に使用される）は、例えば、データ／画像データがコンピュータ実装方法またはプログラムによって決定されるシナリオを（コンピュータ実装方法のフレームワーク内で）包含する。データを決定することは、例えば、物理量を測定し、測定値をデータ、例えばデジタルデータに変換すること、および／またはコンピュータによって、例えば本発明による方法のフレームワーク内でデータを計算する（および、例えば、出力する）ことを含む。「データを取得する」／「画像を取得する」の意味はまた、例えば、別のプログラム、以前の方法ステップ、または例えばコンピュータ実装方法もしくはプログラムによるさらなる処理のためのデータ記憶媒体から、コンピュータ実装方法もしくはプログラムによって（例えば、コンピュータ実装方法もしくはプログラムへの入力によって）データが受信または取得されるシナリオも包含する。取得されるべきデータの生成は、本発明による方法の一部であってもよいが、そうである必要はない。したがって、「データ取得」という表現は、例えば、データの受信を待つこと、および／またはデータの受信を意味することもできる。受信データは、例えば、インターフェースを介して入力することができる。「データ取得」という表現はまた、コンピュータ実装方法またはプログラムが、データソース、例えばデータ記憶媒体（例えば、ＲＯＭ、ＲＡＭ、データベース、ハードドライブなど）から、またはインターフェース（例えば、別のコンピュータまたはネットワークから）を介してデータを（能動的に）受信または検索するためにステップを実行することを意味することができる。開示された方法または装置によってそれぞれ取得されたデータは、データベースとコンピュータとの間のデータ転送のためにコンピュータに動作可能なデータ記憶デバイスに配置されたデータベースから、例えばデータベースからコンピュータに取得することができる。コンピュータは、データを取得して、データを決定するステップの入力として使用する。決定されたデータは、後で使用するために記憶される同じまたは別のデータベースに再び出力することができる。データベースまたは開示された方法を実施するために使用されるデータベースは、ネットワークデータ記憶デバイスまたはネットワークサーバ（例えば、クラウドデータストレージデバイスまたはクラウドサーバ）またはローカルデータ記憶デバイス（開示された方法を実行する少なくとも１つのコンピュータに動作可能に接続された大容量記憶デバイスなど）上に配置することができる。データは、取得ステップの前に追加のステップを実行することによって「使用準備ができている」ようにすることができる。この追加のステップに従って、データが取得されるために生成される。データは、（例えば、解析デバイスによって）例えば検出または捕捉される。代替的または追加的に、データは、追加のステップに従って、例えばインターフェースを介して入力される。生成されたデータは、（例えば、コンピュータに）例えば入力することができる。（取得ステップに先行する）追加のステップによれば、データをデータ記憶媒体（例えばＲＯＭ、ＲＡＭ、ＣＤおよび／またはハードドライブなど）に記憶する追加のステップを実行することによってデータを提供することもでき、それによって、本発明による方法またはプログラムのフレームワーク内で使用する準備が整う。したがって、「データを取得する」ステップはまた、取得されるべきデータを取得および／または提供するようにデバイスに命令することを含むことができる。特に、取得ステップは、職業的な医療専門技術が実行されることを必要とする身体との実質的な物理的干渉を表し、必要な専門的ケアおよび専門知識を用いて実行された場合であっても実質的な健康リスクを伴う侵襲的ステップを伴わない。特に、データを取得するステップ、例えばデータを決定するステップは、外科的ステップを含まず、特に、外科手術または治療を使用して人体または動物の体を治療するステップを含まない。本方法によって使用される異なるデータを区別するために、データは「ＸＹデータ」などとして示され（すなわち、言及され）、それらが説明する情報に関して定義され、それはその後、好ましくは「ＸＹ情報」などと呼ばれる。

【0083】

イメージング方法
医学の分野では、イメージング方法（イメージングモダリティおよび／または医療イメージングモダリティとも呼ばれる）を使用して、人体の解剖学的構造（例えば、軟組織、骨、器官など）の画像データ（例えば、２次元または３次元の画像データ）を生成する。「医療イメージング方法」という用語は、例えばコンピュータ断層撮影法（ＣＴ）およびコーンビームコンピュータ断層撮影法（ＣＢＣＴ、例えば体積ＣＢＣＴ）、Ｘ線断層撮影法、磁気共鳴断層撮影法（ＭＲＴまたはＭＲＩ）、従来のＸ線検査、音波検査および／または超音波検査、ならびに陽電子放射断層撮影法などの（有利には装置ベースの）イメージング方法（例えば、いわゆる医療イメージングモダリティおよび／または放射線イメージング方法）を意味すると理解される。例えば、医療イメージング方法は、解析デバイスによって実行される。医療イメージング方法によって適用される医療イメージングモダリティの例は、Ｗｉｋｉｐｅｄｉａによって言及されているように、Ｘ線ラジオグラフィ、磁気共鳴イメージング、医療超音波検査または超音波、内視鏡検査、エラストグラフィ、触覚イメージング、サーモグラフィ、医療写真法、および陽電子放射断層撮影法（ＰＥＴ）および単一光子放射型コンピュータ断層撮影法（ＳＰＥＣＴ）としての核医学機能的撮像技術である。

【0084】

このようにして生成された画像データを「医療イメージングデータ」とも称する。解析デバイスは、例えば、装置ベースのイメージング方法において画像データを生成するために使用される。イメージング方法は、例えば、画像データによって記述される画像を生成するために解剖学的身体を分析するために医療診断に使用される。イメージング方法は、例えば、人体の病理学的変化を検出するためにも使用される。しかしながら、構造（組織）の病理学的変化などの解剖学的構造の変化のいくつかは、検出できない可能性があり、例えば、イメージング方法によって生成された画像では見えない可能性がある。腫瘍は、解剖学的構造の変化の一例を表す。腫瘍が成長する場合、それは拡張された解剖学的構造を表すと言える。この拡張された解剖学的構造は検出できない可能性があり、例えば、拡張された解剖学的構造の一部のみが検出可能であってもよい。原発性／高悪性度脳腫瘍は、例えば、造影剤が腫瘍に浸潤するために使用される場合、ＭＲＩスキャンで通常視認可能である。ＭＲＩスキャンは、イメージング方法の一例を表す。そのような脳腫瘍のＭＲＩスキャンの場合、ＭＲＩ画像における信号増強（腫瘍に浸潤する造影剤による）は、固形腫瘍塊を表すと考えられる。したがって、腫瘍は検出可能であり、例えば、イメージング方法によって生成された画像において識別可能である。「増強」腫瘍と呼ばれるこれらの腫瘍に加えて、脳腫瘍の約１０％は、スキャンでは識別できず、例えば、イメージング方法によって生成された画像を見ているユーザには見えないと考えられる。

【0085】

図面の簡単な説明
以下では、背景説明を与え、本発明の特定の実施形態を表す添付の図面を参照して、本発明を説明する。しかしながら、本発明の範囲は、図の文脈で開示された特定の特徴に限定されない。

【図面の簡単な説明】

【0086】

【図1】本発明によるコンピュータ実装方法のフロー図である。

【図2】本発明の一実施形態によるコンピュータ実装方法のフロー図である。

【図3】本発明の例示的な実施形態による医用画像解析システムを備えた蛍光透視装置の概略図である。

【図4】本発明の例示的な実施形態によるいくつかの異なる入力に基づく予想画像内容の作成の概略図である。

【発明を実施するための形態】

【0087】

実施形態の説明
図１は、１つまたは複数の術中画像内の少なくとも１つの異物を検出するコンピュータ実装方法を概略的に示し、ステップＳ１～Ｓ４を含む。詳細には、本方法は、医療処置を受けている患者の身体の少なくとも一部の少なくとも１つの術中画像を取得するステップ（ステップＳ１）と、患者および／または医療処置を特徴付けるデータに基づいて、取得された術中画像の予想画像内容を計算または提供するステップ（ステップＳ２）とを含む。さらに、取得された術中画像を計算／提供された予想画像内容と計算的に比較すること（ステップＳ３）は、この方法の一部であり、それによって、本方法は、術中画像内の少なくとも１つの異物を自動的に検出する（ステップＳ４）。

【0088】

有利には、提示される方法は、続いて、方法が異物を検出した後に、前記検出された異物の存在が将来回避され得るように反応をトリガすることを可能にする。例えば、ユーザに警告を引き起こすことは、提示される方法がトリガすることができる反応である。対応する制御信号は、生成されてもよく、提示される方法を例えばユーザインターフェースに対して実行するコンピュータ／処理ユニット／計算ユニットから送信されてもよい。さらに、提示される方法によってトリガされ得る反応の他の非限定的な例は、取得された術中画像を生成するために使用されるイメージングデバイスのコリメーションを調整および／または提案すること、取得された術中画像を生成するために使用されるイメージングデバイスの位置および／または取得方向を調整および／または提案すること、例えば曝露時間、電圧、アンペアおよび画像取得周波数などのＸ線取得パラメータを調整および／または提案すること、術中画像の取得を停止すること、検出の検出結果の文書化を開始すること、ならびに術中イメージング中に使用されるロボットアームの１つまたは複数のパラメータを調整および／または提案することである。

【0089】

有利には、図１のこの方法では、術中画像における異物の検出は、より信頼性が高く、より正確であり、もはや術者の経験および注意力に依存しない。また、ヒューマンエラーが発生しにくく、インシデントを安全に文書化することができる。さらに、医療施術者は、異物検出がソフトウェア／デバイスによって引き継がれるため、追加の認知的負荷を有さない。したがって、本発明により、インシデントをより迅速に検出することができ、対策および／または反応をより迅速に適用することができ、調整を自動的に適用することができ、警告を確実に発行することができ、インシデントを自動的に文書化することができる。図１の方法を実行するコンピュータ／処理ユニットによって自動的に検出される「異物」は、例えば、取得された画像に示される、医療処置を実行する医師の医療器具、手および／または指の骨であってもよい。しかし、例えば骨、インプラント、および／または組織などの患者の解剖学的構造の部分は、取得された術中画像内にあると単純に予想されないシナリオでは「異物」であり得る。したがって、「異物」という用語はまた、取得された術中画像の患者が受けているまたは受けていた現在の医療処置および／またはイメージング処置を考慮すると、術中画像において予想されない患者の解剖学的構造の一部を明示的に包含する。これはまた、取得された術中画像に患者部分が全く含まれないことも含むが、これは「不測の画像内容」でもあり、「異物」として検出されるためである。

【0090】

図２は、本発明のコンピュータ実装検出方法の一実施形態のフロー図を概略的に示す。ステップＳ１、Ｓ２、Ｓ３およびＳ４に関しては、図１の方法の前述の説明を参照されたい。図２の方法では、術中画像は、第１のイメージングモダリティのイメージングデバイスを用いて生成された。予想画像内容を計算するステップ（すなわち、ステップＳ２）には、予想画像内容を表す第１のイメージングモダリティの合成画像を作成するステップ、すなわちステップＳ５、が含まれる。さらに、合成画像を作成するステップ、すなわちステップＳ５は、ステップＳ５ａにおいて合成患者モデルを作成または取得するステップをさらに含む。一般に、この実施形態の文脈で使用される合成患者モデルは、患者の解剖学的構造の少なくとも一部の仮想表現として理解されるべきである。そのような合成患者モデルは、当業者には理解されるように、多かれ少なかれ詳細であり得る。そのような合成患者モデルの１つの非限定的な例は、ＢｒａｉｎｌａｂのＡｔｌａｓである。このような合成患者モデルは、この実施形態の文脈で使用することができる。前記Ａｔｌａｓモデルは、本明細書で前に詳細に説明された。

【0091】

さらに、合成画像を作成するステップ、すなわちステップＳ５は、患者情報に基づいて合成患者モデルを調整するステップ、すなわちステップＳ５ｂをさらに含む。この実施形態では、方法は、患者モデルを調整するために、年齢、身長、性別、ＢＭＩ、既知の解剖学的異常、および／またはインプラントの任意のパラメータを使用する、すなわちステップＳ５ｂ、ように構成される。これに加えて、または代替的に、Ｓ５ｂの合成患者モデルの調整ステップに術中画像データを使用することができる。ステップＳ５ｂにおける合成患者モデルを調整するための術中画像データの使用は、特に有利であり得る。例えば、既に１つの蛍光透視画像が生成されている場合、モデルの輪郭が前記蛍光透視画像の輪郭に適合して一致するように、合成患者モデルを適合させることができる。合成画像を作成するステップ、すなわちステップＳ５は、合成画像を作成するために、調整された合成患者モデルを使用するステップＳ５ｃをさらに含む。

【0092】

以下では、図２に記載された方法のさらにより詳細な実施形態が、以下の方法ステップによって説明される。

【0093】

１）予想画像内容を反映する合成画像を作成する。以下のステップは例示であり、ビデオストリームは蛍光透視ビデオストリームであると仮定する。

【0094】

ａ．ビデオストリームのモダリティに対応する合成患者モデルを作成／取得する（この例では合成ＣＴである）。

【0095】

ｂ．患者情報（例えば、身長、年齢、性別、ＢＭＩ、既知の解剖学的異常、インプラント、術前イメージング）に基づいて合成患者モデルを調整する。

【0096】

ｃ．医療処置情報に従ってイメージングデバイスに対して合成患者モデルを仮想的に配置および配向する（例えば、ＰＡＤ処置が行われる場合：仰臥位）
ｄ．合成ＣＴから合成ＤＲＲを導出する。投影角度は、ステップｃから決定された実際のＣアームの角度から導出される。

【0097】

ｅ．結果として得られるＤＲＲは、Ｃアーム位置および／またはＦＯＶおよび／または処置情報（例えば、病変が左膝に位置することが知られている）に基づいてクロッピングされる。

【0098】

ｆ．得られた画像を保存する
ｇ．オプション：画像内の解剖学的構造がセグメント化され、記憶される
２）合成画像と実際の画像／ビデオストリームとを比較する
・オプション１：実際の画像と「ｆ．」で作成された画像との直接比較
・オプション２：ステップ「ｇ．」でセグメント化された構造と、実際の画像内のセグメント化された構造との比較
図３は、本発明の例示的な実施形態による医用画像解析システム３０２を備えた蛍光透視装置３００を概略的に示す。医用画像解析システム３０２は、ディスプレイ３０４と、Ｃアーム３０１によって生成され、医療処置を受けている患者の身体の少なくとも一部を描写する少なくとも１つの術中画像を取得するように構成された画像取得ユニット３０６とを備える。医用画像解析システム３０２は、患者および／または医療処置を特徴付けるデータに基づいて、取得された術中画像の予想画像内容を計算または提供するように構成された処理ユニット３０３を有するコンピュータ３０５をさらに備える。処理ユニット３０３はまた、取得された術中画像を計算／提供された予想画像内容と計算的に比較することによって、術中画像内の少なくとも１つの異物を自動的に検出するように構成される。図３に示すシステム３０２は、原則として、本明細書で言及されるコンピュータ実装方法のいずれかを実行するように構成することができることに留意されたい。

【0099】

図４は、本発明の例示的な実施形態によるいくつかの異なる入力に基づく予想画像内容の作成を概略的に示す。図４から判断することができるように、予想画像内容のそのような作成は、例えば、医療処置を受けている患者の身体に関連するデータ、前記医療処置を示すパラメータ、および／または前記１つまたは複数の術中画像を生成するために使用される個々のイメージングデバイスのイメージングパラメータに基づくことができる。一般に、前記予想画像内容を生成するために使用されるそのような入力は、患者および／または医療処置を特徴付けるデータである。前記データは、一実施形態において、例えば、取得された術中画像を生成するために用いられたイメージングデバイスのイメージングデバイスパラメータと、例えば、患者の年齢、身長、性別、ＢＭＩ、既知の解剖学的異常、および／またはインプラントなどの患者情報とよって提供されてもよい。予想画像内容の作成に使用される前記データは、一実施形態では、少なくとも１つの術中画像が取得されたときに患者が受けていた医療処置の性質および／または用途を記述する医療処置情報であってもよい。また、患者の１つまたは複数の以前の好ましくは術前画像を使用して、前記予想画像内容を作成することができる。

【0100】

有利には、図４に示す術中画像における異物の検出は、より信頼性が高く、より正確であり、もはや術者の経験および注意力に依存しない。また、ヒューマンエラーが発生しにくく、インシデントを安全に文書化することができる。さらに、医療施術者は、異物検出がソフトウェア／デバイスによって引き継がれるため、追加の認知的負荷を有さない。したがって、本発明により、インシデントをより迅速に検出することができ、対策および／または反応をより迅速に適用することができ、調整を自動的に適用することができ、警告を確実に発行することができ、インシデントを自動的に文書化することができる。

【0101】

開示された実施形態の他の変形は、図面、開示、および従属請求項の研究から、特許請求された発明を実施する際に当業者によって理解および達成され得る。特許請求の範囲において、「含む（ｃｏｍｐｒｉｓｉｎｇ）」という語は他の要素またはステップを排除せず、不定冠詞「ａ」または「ａｎ」は複数を排除しない。単一のプロセッサまたは他のユニットは、特許請求の範囲に記載された、いくつかの項目またはステップの機能を果たすことができる。特定の手段が相互に異なる従属請求項に記載されるという単なる事実は、これらの手段の組合せを有利に使用することができないことを示すものではない。コンピュータプログラムは、他のハードウェアと共に、または他のハードウェアの一部として供給される光記憶媒体または固体媒体などの適切な媒体に記憶／配布されてもよいが、インターネットまたは他の有線もしくは無線電気通信システムを介してなど、他の形態で配布されてもよい。特許請求の範囲におけるいかなる参照符号も、請求項の範囲を限定するものとして解釈されるべきではない。

【図1】

【図2】

【図3】

【図4】

【手続補正書】

【提出日】2024-01-11

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

１つまたは複数の術中画像内の少なくとも１つの異物を検出するコンピュータ実装方法であって、前記方法は、
医療処置を受けている患者の身体の少なくとも一部の少なくとも１つの術中画像を取得するステップ（ステップＳ１）と、
前記患者および／または前記医療処置を特徴付けるデータに基づいて、前記取得された術中画像の予想画像内容を計算または提供するステップ（ステップＳ２）と、
前記取得された術中画像を前記計算／提供された予想画像内容と計算的に比較すること（ステップＳ３）によって、前記術中画像内の前記少なくとも１つの異物を自動的に検出するステップ（ステップＳ４）と
を含む、コンピュータ実装方法。

【請求項2】

前記少なくとも１つの術中画像は、ライブ蛍光透視ビデオストリームである、請求項１に記載のコンピュータ実装方法。

【請求項3】

前記患者および／または前記医療処置を特徴付ける前記データは、
前記取得された術中画像を生成するために用いられたイメージングデバイスのイメージングデバイスパラメータと、
患者情報、好ましくは年齢、身長、性別、ＢＭＩ、既知の解剖学的異常、および／またはインプラントと、
前記少なくとも１つの術中画像が取得されたときに前記患者が受けていた前記医療処置の性質および／または用途を記述する医療処置情報と、
前記患者の１つまたは複数の以前の、好ましくは術前の画像と
のうちの少なくとも１つとして具現化される、請求項１または２に記載のコンピュータ実装方法。

【請求項4】

前記術中画像は、第１のイメージングモダリティのイメージングデバイスを用いて生成され、
予想画像内容を計算する前記ステップ（ステップＳ２）は、前記第１のイメージングモダリティの合成画像を作成することであって、前記合成画像は、前記予想画像内容を表す、作成すること（ステップＳ５）を含む、請求項１～３のいずれかに記載のコンピュータ実装方法。

【請求項5】

前記合成画像を作成する前記ステップ（ステップＳ５）は、
合成患者モデルを作成または取得すること（ステップＳ５ａ）と、
患者情報、好ましくは年齢、身長、性別、ＢＭＩ、既知の解剖学的異常、および／またはインプラントに基づいて、および／または術中画像データに基づいて、前記合成患者モデルを調整すること（ステップＳ５ｂ）と、
前記合成画像の前記作成において前記調整された合成患者モデルを使用すること（ステップＳ５ｃ）と
をさらに含む、請求項４に記載のコンピュータ実装方法。

【請求項6】

前記少なくとも１つの術中画像は、２Ｄ画像、好ましくは２Ｄ蛍光透視画像であり、
前記合成画像の前記作成において前記調整された合成患者モデルを使用する前記ステップ（ステップＳ５ｃ）は、
前記合成患者モデルから３Ｄ画像を導出することと、
デジタル再構成Ｘ線写真（ＤＲＲ）を計算することによって前記３Ｄ画像から前記合成画像を導出することによって、前記２Ｄ画像を生成した前記イメージングデバイスのイメージングデバイスパラメータを使用することと
をさらに含む、請求項５に記載のコンピュータ実装方法。

【請求項7】

前記合成画像を作成する前記ステップ（ステップＳ５）は、
医療処置情報に基づいて、前記第１のイメージングモダリティの前記イメージングデバイスに対して前記調整された合成患者モデルを仮想的に配置および／または配向することをさらに含む、請求項５または６に記載のコンピュータ実装方法。

【請求項8】

前記方法は、
前記合成画像内の解剖学的構造をセグメント化するステップと、
前記取得された術中画像内の解剖学的構造をセグメント化するステップと、
前記少なくとも１つの異物を検出するために前記セグメント化された画像を比較するステップと
をさらに含む、請求項４～７のいずれかに記載のコンピュータ実装方法。

【請求項9】

前記方法は、前記第１のイメージングモダリティの前記イメージングデバイスの位置情報、前記第１のイメージングモダリティの前記イメージングデバイスの視野、および／または医療処置情報に基づいて前記合成画像をクロッピングするステップをさらに含む、請求項４～８のいずれかに記載のコンピュータ実装方法。

【請求項10】

前記取得された術中画像の前記予想画像内容を提供する前記ステップ（ステップＳ２）は、
ルックアップテーブルを提供するステップであって、オブジェクトが、前記医療処置の画像内に存在すると予想される、および／または予想されないエントリとして記憶される、提供することと、
前記術中画像の前記自動的に検出された少なくとも１つの異物を前記ルックアップテーブル内の前記エントリと比較することと
を含む、請求項１～９のいずれかに記載のコンピュータ実装方法。

【請求項11】

前記取得された術中画像を前記計算／提供された予想画像内容と計算的に比較する前記ステップ（ステップＳ３）は、
例えばＣアーム設定、Ｘ線管設定、および／または角度などの前記取得された術中画像を生成するために使用されるイメージングデバイスのパラメータを好ましくは考慮して、前記少なくとも１つの取得された術中画像を解析するための画像解析アルゴリズムおよび／またはビデオ解析アルゴリズムを使用することを含む、請求項１～１０のいずれかに記載のコンピュータ実装方法。

【請求項12】

前記ビデオ解析アルゴリズムは、機械学習、好ましくはニューラルネットワークを使用する、請求項１１に記載のコンピュータ実装方法。

【請求項13】

前記ビデオ解析アルゴリズムは、ヒストグラム解析を使用する、請求項１１または１２に記載のコンピュータ実装方法。

【請求項14】

前記方法は、ステップＳ４の検出結果に基づいて、制御信号を自動的に生成することをさらに含み、前記制御信号は、
ユーザに警告を発すること、
前記取得された術中画像を生成するために用いられるイメージングデバイスのコリメーションを調整／示唆すること、
前記取得された術中画像を生成するために用いられるイメージングデバイスの位置および／または取得方向を調整／示唆すること、
例えば、曝露時間、電圧、アンペア、および画像取得周波数などのＸ線取得パラメータを調整／示唆すること、
術中画像の前記取得を停止すること、
ステップＳ４の前記検出の検出結果の文書化を開始すること、および／または
前記術中イメージング中に使用されるロボットアームの１つまたは複数のパラメータを調整／示唆すること
を行うように構成される、請求項１～１３のいずれかに記載のコンピュータ実装方法。

【請求項15】

医療施術者の身体部分がステップＳ３において前記術中画像内の前記少なくとも１つの異物として自動的に検出される場合、前記方法は、
前記医療施術者の前記検出された身体部分が前記医療処置中に受けるＸ線線量を自動的に計算するステップを含む、請求項１～１４のいずれかに記載のコンピュータ実装方法。

【請求項16】

前記Ｘ線線量の前記自動計算は、前記Ｘ線デバイスの出力、前記医療施術者の前記検出された身体部分の表面積、および前記医療施術者の前記検出された身体部分の曝露時間を使用する、請求項１５に記載のコンピュータ実装方法。

【請求項17】

コンピュータ上で実行されると、またはコンピュータ上にロードされると、請求項１～１６のいずれか１項に記載の方法の方法ステップを前記コンピュータに実行させる、プログラム。

【請求項18】

請求項１７に記載のプログラムが記憶されたコンピュータ可読媒体。

【請求項19】

医療処置を受けている患者の身体の少なくとも一部の少なくとも１つの術中画像を取得するように構成された画像取得ユニット（３０６）と、
前記患者および／または前記医療処置を特徴付けるデータに基づいて、前記取得された術中画像の予想画像内容を計算または提供し、
前記取得された術中画像を前記計算／提供された予想画像内容と計算的に比較すること（ステップＳ３）によって、前記術中画像内の前記少なくとも１つの異物を自動的に検出する（ステップＳ４）
ように構成された処理ユニット（３０３）と
を備える、医用画像解析システム（３０２）。

【請求項20】

前記医用画像解析システムおよび前記処理ユニットは、請求項２～１６のいずれかに記載のコンピュータ実装方法を実行するように構成される、請求項１９に記載の医用画像解析システム。

【国際調査報告】