特表2022-517132手術部位のメディエイテッドリアリティビューに対するリアルタイム手術画像への術前スキャン画像のアライメント
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-03-04
(54)【発明の名称】手術部位のメディエイテッドリアリティビューに対するリアルタイム手術画像への術前スキャン画像のアライメント
(51)【国際特許分類】
A61B 34/20 20160101AFI20220225BHJP
G06T 3/00 20060101ALI20220225BHJP
G06T 1/00 20060101ALI20220225BHJP
【ＦＩ】
A61B34/20
G06T3/00 750
G06T1/00 290
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2021542469
(86)(22)【出願日】2020-01-22
(85)【翻訳文提出日】2021-09-21
(86)【国際出願番号】 US2020014674
(87)【国際公開番号】W WO2020154448
(87)【国際公開日】2020-07-30
(31)【優先権主張番号】62/796,065
(32)【優先日】2019-01-23
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】521002305
【氏名又は名称】プロプリオ インコーポレイテッド
(74)【代理人】
【識別番号】110001243
【氏名又は名称】特許業務法人 谷・阿部特許事務所
(72)【発明者】
【氏名】サムエル アール．ブラウド
(72)【発明者】
【氏名】ジェームズ アンドリュー ヤングクイスト
(72)【発明者】
【氏名】アダム ガブリエル ジョーンズ
【テーマコード（参考）】
5B057
【Ｆターム（参考）】
5B057AA07
5B057BA02
5B057CA08
5B057CA13
5B057CA16
5B057CB08
5B057CB13
5B057CB16
5B057CC01
5B057CD02
5B057CD03
5B057CD11
5B057CE08
(57)【要約】
外科用の適用に対するメディエイテッドリアリティシステムは、術前画像と手術部位のリアルタイムにてキャプチャされる画像とを、外科の処置の間、外科医によって身につけられるヘッドマウントディスプレイに映されるビジュアライゼーションへ組み入れる。メディエイテッドリアリティシステムは、外科医の頭の位置をトラッキングし、外科医の頭の位置に対応するバーチャルカメラの視点から手術部位のリアルタイム画像を生成して、外科医に自然に見える地点を模倣する。その上さらに、メディエイテッドリアリティシステムは、バーチャルカメラの視点からのリアルタイム画像により術前画像をアライメントし、バーチャルカメラの視点を表すリアルタイム画像にオーバーレイされたアライメントされた術前３次元画像または選択された部分を有する手術部位のメディエイテッドリアリティビジュアライゼーションを与える。
【特許請求の範囲】
【請求項1】
手術部位のメディエイテッドリアリティビューを生成するための方法であって、第１の位置における患者の３次元アナトミーを表す術前画像を受信することと、
前記術前画像に基づいて、前記患者に適用されたパッチに与えられた基準マーカーのロケーションに対応する３次元術前画像空間における座標を特定することと、
前記患者が第２の位置に手術のために置かれた後にカメラアレイからリアルタイム画像を受信することと、
前記リアルタイム画像に基づいて、前記患者に適用された前記パッチに与えられた前記基準マーカーのロケーションに対応する３次元リアルタイム画像空間における座標を特定することと、
前記術前画像に変換を適用して、前記リアルタイム画像における前記基準マーカーの前記ロケーションに、前記術前画像における前記基準マーカーの前記ロケーションを実質的にアライメントすることと、
前記変換された術前画像を前記リアルタイム画像にオーバーレイして、前記メディエイテッドリアリティビューを生成ことと、
表示のためにディスプレイデバイスに前記メディエイテッドリアリティビューを提供することと
を備えることを特徴とする方法。
【請求項2】
前記変換を適用することは、最適化アルゴリズムを行って、前記術前画像おける前記基準マーカーのパターンの変換された座標の間の距離を、前記リアルタイム画像における前記パターンの前記座標により最小化する前記変換を特定すること
を含むことを特徴とする請求項１に記載の方法。
【請求項3】
前記パッチは、関心のある解剖学的構造に最も近く置かれるしなやかな粘着性パッチを含むことを特徴とする請求項１に記載の方法。
【請求項4】
前記基準マーカーは、１つまたは複数のふくらんだ表面を含む３次元構造を含み、前記基準マーカーの各々は、前記パッチにおける他の基準マーカーに関して一意的なジオメトリを有することを特徴とする請求項１に記載の方法。
【請求項5】
前記基準マーカーは、前記パッチにおけるグリッドに配列されることを特徴とする請求項１に記載の方法。
【請求項6】
前記基準マーカーは、前記リアルタイム画像において区別できる異なる密度の材料を含むことを特徴とする請求項１に記載の方法。
【請求項7】
前記パッチは、前記パッチを断片に裂くための穴をあけられた境界を含むことを特徴とする請求項１に記載の方法。
【請求項8】
手術部位のメディエイテッドリアリティビューを生成するための方法であって、第１の位置における患者の３次元アナトミーを表す術前画像を受信することと、
前記患者が第２の位置に手術のために置かれた後にキャプチャされたポジショニング後画像を受信することと、
前記術前画像および前記ポジショニング後画像に基づいて、前記術前画像および前記ポジショニング後画像に見られる対応する特徴のセットを特定することと、
前記術前画像における前記対応する特徴のロケーションを前記ポジショニング後画像におけるそれぞれのロケーションに実質的にアライメントするために第１の変換を前記術前画像に適用して、最初の変換された術前画像を生成することと、
カメラアレイによって、前記患者のリアルタイム画像をキャプチャすることと、
前記最初の変換された術前画像を前記リアルタイム画像にオーバーレイして、最初のメディエイテッドリアリティビューを生成することと、
表示のためにディスプレイデバイスに前記最初のメディエイテッドリアリティビューを提供することと
を備えることを特徴とする方法。
【請求項9】
前記特徴は、前記患者の身体の解剖学的特徴を含むことを特徴とする請求項８に記載の方法。
【請求項10】
前記特徴は、前記患者の身体に適用されるパッチにおける基準マーカーを含むことを特徴とする請求項８に記載の方法。
【請求項11】
前記パッチは、関心のある解剖学的構造に最も近く置かれるしなやかな粘着性パッチを含むことを特徴とする請求項１０に記載の方法。
【請求項12】
前記基準マーカーは、１つまたは複数のふくらんだ表面を含む３次元構造を含み、前記基準マーカーの各々は、前記パッチにおける他の基準マーカーに関して一意的なジオメトリを有することを特徴とする請求項１０に記載の方法。
【請求項13】
前記基準マーカーは、前記パッチにおけるグリッドに配列されることを特徴とする請求項１０に記載の方法。
【請求項14】
前記基準マーカーは、前記リアルタイム画像において区別できる異なる密度の材料を含むことを特徴とする請求項１０に記載の方法。
【請求項15】
前記パッチは、前記パッチを断片に裂くための穴をあけられた境界を含むことを特徴とする請求項１０に記載の方法。
【請求項16】
前記術前画像に基づいて、前記患者に適用されたパッチに与えられた基準マーカーのロケーションに対応する３次元術前画像空間における座標を特定することと、前記リアルタイム画像に基づいて、前記患者に適用された前記パッチに与えられた前記基準マーカーのロケーションに対応する３次元リアルタイム画像空間における座標を特定することと、
生成されるリファインされる術前画像のための、前記リアルタイム画像における前記基準マーカーの前記ロケーションへの前記術前画像における前記基準マーカーの前記ロケーションのアライメントをリファインする第２の変換を適用することと、
前記リファインされた術前画像を前記リアルタイム画像にオーバーレイして、リファインされたメディエイテッドリアリティビューを生成することと、
表示のために前記ディスプレイデバイスに前記リファインされたメディエイテッドリアリティビューを提供することと
をさらに備えることを特徴とする請求項８に記載の方法。
【請求項17】
手術部位のメディエイテッドリアリティビューを生成するための命令を格納する非一時的なコンピューター読み取り可能記録媒体であって、前記命令は、プロセッサーによって実行されると、前記プロセッサーに、第１の位置における患者の３次元アナトミーを表す術前画像を受信することと、
前記術前画像に基づいて、前記患者に適用されたパッチに与えられた基準マーカーのロケーションに対応する３次元術前画像空間における座標を特定することと、
前記患者が第２の位置に手術のために置かれた後にカメラアレイからリアルタイム画像を受信することと、
前記リアルタイム画像に基づいて、前記患者に適用された前記パッチに与えられた前記基準マーカーのロケーションに対応する３次元リアルタイム画像空間における座標を特定することと、
前記術前画像に変換を適用して、前記リアルタイム画像における前記基準マーカーの前記ロケーションに、前記術前画像における前記基準マーカーの前記ロケーションを実質的にアライメントすることと、
前記変換された術前画像を前記リアルタイム画像にオーバーレイして、前記メディエイテッドリアリティビューを生成ことと、
表示のためにディスプレイデバイスに前記メディエイテッドリアリティビューを提供することと
含むステップを行わせることを特徴とする非一時的なコンピューター読み取り可能記録媒体。
【請求項18】
前記変換を適用することは、最適化アルゴリズムを行って、前記術前画像おける前記基準マーカーのパターンの変換された座標の間の距離を、前記リアルタイム画像における前記パターンの前記座標により最小化する前記変換を特定すること
を含む命令を格納することを特徴とする請求項１７に記載の非一時的なコンピューター読み取り可能記録媒体。
【請求項19】
手術部位のメディエイテッドリアリティビューを生成するための命令を格納する非一時的なコンピューター読み取り可能記録媒体であって、前記命令は、実行されるとプロセッサーに、第１の位置における患者の３次元アナトミーを表す術前画像を受信することと、
前記患者が第２の位置に手術のために置かれた後にキャプチャされたポジショニング後画像を受信することと、
前記術前画像および前記ポジショニング後画像に基づいて、前記術前画像および前記ポジショニング後画像に見られる対応する特徴のセットを特定することと、
前記術前画像における前記対応する特徴のロケーションを前記ポジショニング後画像におけるそれぞれのロケーションに実質的にアライメントするために第１の変換を前記術前画像に適用して、最初の変換された術前画像を生成することと、
カメラアレイによって、前記患者のリアルタイム画像をキャプチャすることと、
前記最初の変換された術前画像を前記リアルタイム画像にオーバーレイして、最初のメディエイテッドリアリティビューを生成することと、
表示のためにディスプレイデバイスに前記最初のメディエイテッドリアリティビューを提供することと
含むステップを行わせることを特徴とする非一時的なコンピューター読み取り可能記録媒体。
【請求項20】
前記命令は、実行されると前記プロセッサーに、前記術前画像に基づいて、前記患者に適用されたパッチに与えられた基準マーカーのロケーションに対応する３次元術前画像空間における座標を特定することと、
前記リアルタイム画像に基づいて、前記患者に適用された前記パッチに与えられた前記基準マーカーのロケーションに対応する３次元リアルタイム画像空間における座標を特定することと、
生成されるリファインされる術前画像のための、前記リアルタイム画像における前記基準マーカーの前記ロケーションへの前記術前画像における前記基準マーカーの前記ロケーションのアライメントをリファインする第２の変換を適用することと、
前記リファインされた術前画像を前記リアルタイム画像にオーバーレイして、リファインされたメディエイテッドリアリティビューを生成することと、
表示のために前記ディスプレイデバイスに前記リファインされたメディエイテッドリアリティビューを提供することと
含むステップをさらに行わせることを特徴とする請求項１９に記載の非一時的なコンピューター読み取り可能記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像のアライメントに関し、より詳細には、手術部位のメディエイテッドリアリティビューに対するリアルタイム手術画像への術前スキャン画像のアライメントに関する
【背景技術】
【0002】
手術を行うとき、多くの場合、外科医は、ＣＴ（computed tomography：コンピューター断層撮影）スキャン画像のような患者のアナトミーの術前３次元画像を当てにする。しかしながら、上記の術前画像の有用性は、画像を手術行為に容易に統合することができないので制限される。たとえば、画像が術前のセッションにおいてキャプチャされるので、術前画像にキャプチャされる相対的な解剖学的な位置は、手術行為の間、実際の位置と一致しないことがある。その上さらに、手術の間に術前画像を利用するのに、外科医は、注意を手術野と術前画像の表示とに割りふらなければならない。その上さらに、術前画像の異なる層の間を注意しながら進むことは、手術における外科医の焦点から奪い取る重要な注意を必要とすることがある。
【図面の簡単な説明】
【0003】
【図1】イメージングシステムの例示的な態様である。
【図2】メディエイテッドリアリティ（mediated-reality）アシスト手術のためのイメージングシステムを使う手術環境の例である。
【図3A】術前スキャン画像にリアルタイム手術画像をアライメントするための基準マーカー付きの身体パッチの態様の上面図である。
【図3B】術前スキャン画像にリアルタイム手術画像をアライメントするための基準マーカー付きの身体パッチの態様の断面図である。
【図4】術前画像に基づいて手術部位のメディエイテッドリアリティビュー（mediated-reality view）を生成するための処理の態様を例示するフローチャートである。
【図5】患者が手術のために置かれた後にキャプチャされるポジショニング後の画像に、患者が手術のために置かれる前にキャプチャされる術前画像をアライメントするための処理の態様を例示する。
【発明を実施するための形態】
【0004】
図面および次の説明は、例示のみとして、好ましい態様に関する。後に続く議論から、本明細書に開示される構造および方法の代替えの態様が、主張されるものの原理から逸脱することなく使われ得る実行可能な代替のものとして直ちに認められるだろうということは、特筆されるべきである。
【0005】
今、詳細にいくつかの態様に言及され、例が添付の図面に例示される。実行可能な場合はいつでも、類似のまたは同一の参照符号化が、図面において使用されることがあり、類似のまたは同一の機能性を示し得ることが特筆される。図面は、例示のみの目的のために、開示されるシステム（または方法）の態様を描いている。当業者は、次の説明から、本明細書に例示される構造および方法の代替の態様が、本明細書に説明される原則から逸脱することなく、使われることがあることを直ちに認めるだろう。
【0006】
外科用の適用に対するメディエイテッドリアリティシステム（mediated-reality system）は、術前画像と手術部位のリアルタイムにてキャプチャされる画像とを、外科の処置の間、外科医によって身につけられるヘッドマウントディスプレイに映されるビジュアライゼーションへ組み入れる。メディエイテッドリアリティシステムは、外科医の頭の位置をトラッキングし、外科医の頭の位置に対応するバーチャルカメラの視点から手術部位のリアルタイム画像を生成して、外科医に自然に見える地点を模倣する。その上さらに、メディエイテッドリアリティシステムは、バーチャルカメラの視点からのリアルタイム画像により術前画像をアライメントし、バーチャルカメラの視点を表すリアルタイム画像にオーバーレイされたアライメントされた術前３次元画像またはそれの選択された部分を有する手術部位のメディエイテッドリアリティビジュアライゼーション（mediated-reality visualization）を与える。ゆえに、メディエイテッドリアリティシステムは、解剖学的特徴がリアルタイム画像において外科医の視界から遮られ得るときでさえ、外科医に、切開をする前におよび処置の間じゅう、患者の基礎をなす３次元アナトミーを視覚化できるようにする。その上さらに、技術は、外科医の視界を手術部位から逸らさないやり方にてビジュアライゼーションを有益に提供し、ゆえに、高い能率および精度の手術を行う外科医の能力を高める。
【0007】
態様にて、基準マーカー（fiducial marker）を含むパッチは、患者の身体に配置され、術前のイメージングの間、および患者が手術のために置かれた後に、所々に留まる。基準マーカーは、術前画像と、患者が手術のために置かれた後にキャプチャされるリアルタイム画像との両方において、メディエイテッドリアリティシステムによって認識されることが可能であるパターンを含む。メディエイテッドリアリティシステムは、両方の画像セットに見られる基準マーカーの検出された位置に基づいて、リアルタイム画像により術前画像をアライメントする。例えば、メディエイテッドリアリティシステムは、１つまたは複数の変換を術前画像に適用し、術前画像において検出される基準マーカーに、リアルタイム画像において検出される対応する基準マーカーによりアライメントさせ得る。
【0008】
別の態様にて、超音波画像または透視画像のような３次元画像は、患者が手術のために置かれた後にキャプチャされることがあり、術前画像スキャンと手術のための患者のポジショニングとの間に起こる解剖学的特徴の３次元位置の変化を予測するのに利用され得る。次に、術前画像は、術前画像スキャンにおける解剖学的特徴のポジショニングを、患者が手術のために置かれた後にキャプチャされる３次元画像に見られる解剖学的特徴の検出される位置にアライメントするために曲げられて、起こることがある変化を補い得る。
【0009】
その上さらに別の態様にて、基準マーカーとポジショニング後（post-positioning）の画像との組み合わせは、術前画像を、メディエイテッドリアリティビジュアライゼーションにおけるリアルタイム画像にアライメントするのに使用され得る。例えば、術前画像とポジショニング後の画像とが、比較されて、基準マーカーの位置が画像間の３次元空間においてどのように変化するのかを決定し、変換が、導出され、術前画像を変換して、ポジショニング後の画像におけるそれぞれのロケーションにより基準マーカーをアライメントし得る。
【0010】
特定の例示的な態様にて、方法は、手術部位のメディエイテッドリアリティビュー（mediated reality view）を生成する。術前画像が、受信され、第１の位置における患者の３次元アナトミーを表す。術前画像に基づいて、座標が、患者に適用されたパッチに与えられた基準マーカーのロケーションに対応する３次元術前画像空間において特定される。カメラアレイからのリアルタイム画像は、患者が第２の位置に手術のために置かれた後に、受信される。リアルタイム画像に基づいて、３次元リアルタイム画像空間における座標が、特定され、患者に適用されたパッチに与えられた基準マーカーのロケーションに対応する。変換が、術前画像に適用されて、術前画像における基準マーカーのロケーションを、リアルタイム画像における基準マーカーのロケーションに実質的にアライメントする。変換された術前画像は、リアルタイム画像上にオーバーレイされて、メディエイテッドリアリティビュー（mediated reality view）を生成し、メディエイテッドリアリティビューは、表示のためにディスプレイデバイスに提供される。
【0011】
別の特定の態様にて、方法は、パッチ上の基準マーカーを必ずしも当てにすることなく、手術部位のメディエイテッドリアリティビューを生成する。本態様にて、術前画像が、受信され、第１の位置における患者の３次元アナトミーを表す。患者が第２の位置に手術のために置かれた後にキャプチャされたポジショニング後の画像が受信される。術前画像とポジショニング後の画像とに基づいて、術前画像とポジショニング後の画像とに見られる対応する特徴のセットが特定される。第１の変換が術前画像に適用されて、術前画像において対応する特徴のロケーションを、ポジショニング後の画像のそれぞれのロケーションに実質的にアライメントして、最初の変換された術前画像を生成する。カメラアレイは、患者のリアルタイム画像をキャプチャし、最初の変換された術前画像をリアルタイム画像にオーバーレイして、表示のためにディスプレイデバイスに提供される最初のメディエイテッドリアリティビューを生成する。上に説明された態様に関するさらなる詳細および追加の態様の説明が、以下に提供される。
【0012】
図１は、画像処理デバイス１１０、カメラアレイ１２０、ディスプレイデバイス１４０、および入力コントローラー１５０を含むメディエイテッドリアリティシステム１００の例示的な態様を例示する。代替えの態様にて、メディエイテッドリアリティシステム１００は、追加のまたは異なる構成要素を含み得る。
【0013】
カメラアレイ１２０は、各々がシーン１３０のそれぞれのリアルタイム画像１９０をキャプチャする複数のカメラ１２２（例えば、カメラ１２２－１、カメラ１２２－２、・・・、カメラ１２２－Ｎ）を含む。カメラ１２２は、それらの物理的なロケーションおよび向きが互いに関して固定されるように、特定の構成において物理的に配列され得る。例えば、カメラ１２２は、カメラ１２２を予め定義された固定されたロケーションおよび向きに搭載される取り付け構造によって構造的にしっかり固定され得る。カメラアレイ１２０のカメラ１２２は、隣接するカメラがシーン１３０の重なり合うビューを共有し得るように置かれ得る。その上さらに、カメラアレイ１２０におけるカメラ１２２は、シーン１３０の画像１９０を実質的に同時に（例えば、しきい値時間誤差内に）キャプチャするように同期され得る。その上さらに、カメラアレイ１２０は、構造化された光パターンをシーン１３０上に投影する１つまたは複数のプロジェクター１２４を含み得る。態様にて、カメラ１２２は、シーン１３０のライトフィールド情報をキャプチャするライトフィールドカメラを含み得る。ここで、カメラ１２２は、光の強度と、シーンを表す光線の方向との両方をキャプチャする。ゆえに、ライトフィールド画像１９０は、深度情報をエンコードし、シーンの再生成を３次元画像として可能にする。
【0014】
画像処理デバイス１１０は、カメラアレイ１２０によってキャプチャされた画像１９０を受信し、画像を処理して、バーチャルカメラの視点に対応する出力画像を合成する。ここで、出力画像は、バーチャルカメラの視点に対応する任意の位置および向きに配置されたカメラによってキャプチャされるだろうシーン１３０の画像の近似に対応する。画像処理デバイス１１０は、カメラアレイ１２０におけるカメラ１２２のサブセット（例えば、１つまたは複数）からの出力画像を合成するが、必ずしもすべてのカメラ１２２からの画像１９０を利用しない。例えば、与えられたバーチャルカメラの視点に対して、画像処理デバイス１１０は、バーチャルカメラの視点に最も密接に調和するように置かれたおよび向き付けられた２つのカメラ１２２から画像の立体映像のペア１９０を選択し得る。その上さらに、画像処理デバイス１１０は、プロジェクターによってシーン１３０上に投影された構造化された光を検出して、シーンの深度情報を推定し得る。深度情報が、カメラ１２２からの画像１９０と組み合わされて、バーチャルカメラの視点から見られるシーン１３０として、３次元レンダリングとして出力画像を合成し得る。代替えとして、構造化された光のプロジェクター１２４は省略されることがあり、画像処理デバイス１１０は、１つまたは複数のカメラ１２２によってキャプチャされた画像１９０から単独において３次元レンダリングを導出することがある。
【0015】
バーチャルカメラの視点は、バーチャルカメラの視点の位置および向きに対応する制御入力を提供する入力コントローラー１５０によって制御され得る。バーチャルカメラの視点に対応する出力画像は、ディスプレイデバイス１４０に出力され、ディスプレイデバイス１４０によって表示される。出力画像は、バーチャルカメラの視点を表すビデオを合成するために、高フレームレートで更新され得る。その上さらに、画像処理デバイス１１０は、入力コントローラー１５０から受信した入力を有益に処理し、カメラアレイ１２０からキャプチャされた画像１９０を処理して、ディスプレイデバイス１４０の見る人によって知覚される実質的にリアルタイム（例えば、少なくともカメラアレイ１２０のフレームレートと同じ速さ）にて仮想視点に対応する出力画像を生成し得る。
【0016】
その上さらに、画像処理デバイス１１０は、例えば、ＣＴスキャン画像、超音波画像、または透視画像のような３次元の容積を表す術前画像１７０を受信し得る。以下にさらに詳細に説明されるように、画像処理デバイス１１０は、カメラアレイ１２０によってキャプチャされたリアルタイム画像１９０の視覚的特徴に対応する術前画像１７０における視覚的特徴を検出し得る。次に、画像処理デバイス１１０は、１つまたは複数の変換を術前画像１７０に適用して、術前画像１７０（またはその一部）において検出された特徴を、リアルタイム画像１９０において検出された対応する特徴にアライメントし得る。画像処理デバイス１１０は、フレームごとベースに１つまたは複数の変換を適用されることがあり、術前画像１７０が、仮想視点が変化するように、各フレームにおけるリアルタイム画像１９０によりアライメントされる。画像処理デバイス１１０は、術前画像１７０をリアルタイム画像１９０によりオーバーレイして、外科医に、手術部位と、手術を受けている患者の基礎をなす３次元アナトミーとを同時に視覚化できるメディエイテッドリアリティビューを与える。
【0017】
態様にて、シーン１３０（例えば、手術患者の身体）は、術前画像１７０をキャプチャする前に、基準マーカーを含むパッチ１６０により用意され得る。画像処理デバイス１１０は、術前画像１７０とリアルタイム画像１９０とにおける特徴の間の対応を識別することを可能にする基準マーカーの特定の特徴を識別し得る。画像処理デバイス１１０は、術前画像１７０における基準マーカーのパターンが、カメラアレイ１２０からのリアルタイム画像１９０に見られる対応するパターンとアライメントされることになるようなやり方において、術前画像１７０に変換を適用することがある。例えば、術前画像１７０は、基準マーカーを、リアルタイム画像１９０において対応する基準マーカーとアライメントさせるために、平行移動される、回転される、および／または曲げられることがある。
【0018】
態様にて、オプションとして、さらに、画像処理デバイス１１０は、患者が手術のために置かれた後、シーン１３０のキャプチャされた１つまたは複数のポジショニング後の３次元画像１８０も受信する。例えば、ポジショニング後画像１８０は、患者が手術のために置かれた後にキャプチャされた超音波画像または透視画像を含み得る。画像処理デバイス１１０は、術前画像１７０に適用して術前画像１７０をリアルタイム画像１９０にアライメントするための変換を決定する際に、ポジショニング後画像１８０を利用することがある。態様にて、画像処理デバイス１１０は、ポジショニング後画像１８０における基準マーカーまたは解剖学的特徴を識別し、１つまたは複数の変換を術前画像１７０に適用して、術前画像１７０をポジショニング後画像１８０とアライメントすることがある。今述べた変換ステップは、術前画像１７０をキャプチャしてから手術のために患者をポジショニングするまでの間に発生し得る解剖学的要素のポジショニングの変化に対して、術前画像１７０を有益に訂正することがある。
【0019】
画像処理デバイス１１０は、プロセッサーと、プロセッサーによって実行されると、本明細書に説明される画像処理デバイス１１０に属する機能を実行する命令を格納する非一時的なコンピューター読み取り可能記録媒体とを含むことがある。
【0020】
例えば、ディスプレイデバイス１４０は、画像処理デバイス１１０から受信した出力画像を表示するためのヘッドマウントディスプレイデバイスまたは他のディスプレイデバイスを含むことがある。態様にて、入力コントローラー１５０およびディスプレイデバイス１４０は、ヘッドマウントディスプレイデバイスに統合され、入力コントローラー１５０は、ヘッドマウントディスプレイデバイスの位置および向きを検出する動きセンサーを含む。次に、仮想視点は、ヘッドマウントディスプレイデバイスの位置および向きに対応するように導出されることが可能であり、仮想視点が、ヘッドマウントディスプレイデバイスを装着している見る人によって見られるだろう視点に対応する。ゆえに、本態様にて、ヘッドマウントディスプレイデバイスは、ヘッドマウントディスプレイなしの観察者によって見られるように、シーンのリアルタイムレンダリングを提供することが可能である。代替えとして、入力コントローラー１５０は、見る人に、ディスプレイデバイスによって表示される仮想視点を手動により制御することを可能にするユーザーコントロールの制御デバイス（例えば、マウス、ポインティングデバイス、ハンドヘルドコントローラー、ジェスチャ認識コントローラーなど）を含み得る。
【0021】
図２は、外科用の適用に対するメディエイテッドリアリティシステム１００の例示的な態様を例示する。ここで、カメラアレイ１２０の態様は、シーン１３０（この場合、手術部位）上に置かれ、ワークステーション２０４に取り付けられたスイングアーム２０２を介して置かれることが可能である。スイングアーム２０２は、手で動かされることがある、または入力コントローラー１５０に応答してロボットのように制御されることがある。ワークステーション２０４は、カメラアレイ１２０およびディスプレイデバイス１４０の種々の機能を制御するコンピューターを含むことがあり、その上さらに、種々の構成機能を実行するためのユーザインターフェースを表示することが可能ある第２のディスプレイを含むことがある、またはディスプレイデバイス１４０におけるディスプレイをミラーリングし得る。画像処理デバイス１２０および入力コントローラー１５０は、各々、ワークステーション２０４、ディスプレイデバイス１４０、またはそれらの組み合わせに統合され得る。
【0022】
図３Ａは、メディエイテッドリアリティシステム１００において、術前画像１７０をリアルタイムにてキャプチャされた画像１９０とアライメントするために利用され得る、患者３００に適用されたパッチ１６０の例示的な態様を例示する。態様にて、パッチ１６０は、患者の皮膚に適用され、患者の身体の輪郭に一致させることが可能である薄くしなやかな粘着性パッチを含む。パッチ１６０は、関係のある外科の処置に対して関心のある解剖学的構造（例えば、脊椎動物３１０）に最も近く置かれ得る。パッチ１６０は、異なる視点からおよび異なるライティング状態の下に見られるときでさえ、術前画像１７０およびリアルタイム画像１９０の両方において画像処理デバイス１１０によって一意的に識別されることが可能である３次元基準マーカー３２０のパターンを含み得る。例えば、基準マーカー３２０は、各々、認識可能な３次元ジオメトリを形成する１つまたは複数のふくらんだ表面を含み得る。態様にて、各マーカーは、パッチ１６０の特定の領域内において一意的であり得る。態様にて、パッチ１６０は、各々が唯一の３次元ジオメトリを有し、各々、術前画像１７０およびリアルタイム画像１９０において一意的に認識されることが可能であり、各々、人体における特定の位置に相関させることが可能である基準マーカーのグリッド（同じ形または同じではない形であり得る）を含む。基準マーカー３２０は、各々、超音波画像または放射線非透過性画像（radio opaque image）によって区別されることが可能である異なる密度の材料を含み得る。
【0023】
態様にて、パッチ１６０は、穴をあけられた境界によって分離された断片に分割され得る。切り取り点線は、パッチ１６０の１つまたは複数の断片に、パッチ１６０全体を取り除くことなく、患者から容易に取り除かれることを可能にする。例えば、１つの使用例にて、外科医は、患者が手術のために置かれ、画像処理デバイス１１０が初期アライメント計算を実行した後に、望まれる切開のロケーションの上のパッチの断片を取り除くことがある。切開のロケーションの真上にないパッチ１６０の残りの断片は、所々に留まることがある。画像処理システム１１０は、アライメントを更新するために、動作全体を通して、パッチ１６０の残りの部分における基準マーカー３２０を検出し続けることがある。
【0024】
図３Ｂは、パッチ１６０と統合され得る例示的な基準マーカー３２０の例示的な断面図を示す。例示されるように、基準マーカー３２０は、様々な３次元構造を有し、マーカー３２０に、リアルタイム画像１９０、術前画像１７０、およびポジショニング後画像１８０において互いから区別されることを可能にする様々な密度を含み得る。
【0025】
図４は、リアルタイム画像１９０上にアライメントされ、オーバーレイされた術前画像１７０を用いて、手術部位のメディエイテッドリアリティビジュアライゼーションを生成するための処理の例示的な態様を例示する。画像処理デバイス１１０は、術前画像１７０を受信する４０２。画像処理デバイス１１０は、術前画像１７０における基準マーカーのロケーションに対応するそれぞれの３次元座標を特定する４０４。例えば、画像処理デバイス１１０は、術前画像１７０における基準マーカーを検出し、基準マーカーを、術前画像空間における人体のロケーションを表す３次元座標の第１のセットにマッピングする。例えば、画像処理デバイス１１０は、基準マーカーの一意的に認識可能な構造とパッチ１６０上のそれらの対応するロケーションとの間の予め定義されたマッピングを取得することがある。画像処理デバイス１１０は、カメラアレイ１２０によってキャプチャされたシーンのリアルタイム画像１９０を受信する４０６。画像処理デバイス１１０は、リアルタイム画像１９０における基準マーカーのロケーションに対応するそれぞれの３次元座標を特定する４０８。例えば、画像処理デバイス１１０は、リアルタイム画像１９０における基準マーカーを検出し、各基準マーカーを、リアルタイム画像空間における人体上のロケーションを表す３次元座標の第２のセットにマッピングする。次に、画像処理デバイス１１０は、術前画像１７０に１つまたは複数の変換を適用して４１０、術前画像１７０における基準マーカーのパターンをリアルタイム画像１９０におけるパターンに実質的にアライメントする。例えば、一態様にて、画像処理デバイス１１０は、最適化アルゴリズムを行って、術前画像１７０におけるパターンの変換された座標の間の距離を、リアルタイム画像１９０におけるパターンの対応する座標により最小化する変換を特定する。画像処理デバイス１１０は、変換された術前画像をリアルタイム画像にオーバーレイして４１２、メディエイテッドリアリティビューを生成する。次に、メディエイテッドリアリティビューは、表示のためにディスプレイデバイス１４０に提供される４１４。
【0026】
図５は、患者が手術のために置かれた後にキャプチャされるポジショニング後画像１８０に、患者が手術のために置かれる前にキャプチャされる術前画像１７０をアライメントするための処理の態様を例示する。画像処理デバイス１１０は、術前画像１７０を受信する５０２。術前画像は、例えば、ＣＴスキャン画像を含み得る。画像処理デバイス１１０は、患者が手術のために置かれた後にキャプチャされたポジショニング後画像１８０を受信する５０４。ポジショニング後画像１８０は、例えば、超音波画像または透視画像を含み得る。画像処理デバイス１１０は、術前画像１７０およびポジショニング後画像１８０の両方に見られる対応する特徴のセット（例えば、パッチ上の解剖学的特徴または基準マーカー）を特定する５０６。次に、画像処理デバイス１１０は、変換を術前画像１７０に適用して５０８、術前画像において対応する特徴のロケーションをポジショニング後画像１８０のロケーションに実質的にアライメントする。例えば、画像処理デバイス１１０は、平行移動、回転、曲げ、またはそれらの組み合わせを適用して、術前画像１７０における特徴の変換された座標の間の距離を、ポジショニング後画像１８０における対応する特徴の座標により最小化することがある。変換は、術前画像１７０をキャプチャすることと手術のために患者を置くこととの間に起こり得る解剖学的特徴の位置の変化を有益に補う。変換された術前画像１７０は、次に、カメラアレイ１２０によってキャプチャされたリアルタイム画像１９０にオーバーレイされ５１０、手術部位のメディエイテッドリアリティビューとして、表示のためにディスプレイデバイス１４０に提供され５１２得る。
【0027】
その上さらに別の態様にて、変換は、ポジショニング後画像１８０と、リアルタイム画像１９０において検出された基準マーカーとの両方に基づいて、術前画像１７０に適用され得る。例えば、一態様にて、第１の変換は、図５の処理にしたがって術前画像１７０に適用されて、最初の変換を取得する。第２の変換は、次に、図４の処理に従って適用されて、術前画像１７０およびリアルタイム画像１９０において検出された基準マーカーのパターンに基づいて、各画像フレームにおけるアライメントをリファインする。
【0028】
本開示を読むとすぐに、当業者は、本明細書の原理から開示されるように、開示された態様に対してさらに追加の代替えの構造的および機能的設計を理解するだろう。ゆえに、特定の態様および適用が例示され説明されたが、開示された態様は、本明細書に開示された正確な構造および構成要素に限定されないことが理解されるべきである。当業者には明らかである種々の修正、変更、および変形は、説明された態様の範囲から逸脱することなく、本明細書に開示される方法およびシステムの配置、操作、および詳細においてなされ得る。
【図1】
【図2】
【図3A】
【図3B】
【図4】
【図5】
【手続補正書】
【提出日】2021-09-21
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
手術部位のメディエイテッドリアリティビューを生成するための方法であって、第１の位置における患者の３次元アナトミーを表す術前画像を受信することと、
前記術前画像に基づいて、前記患者に適用されたパッチに与えられた基準マーカーのロケーションに対応する３次元術前画像空間における座標を特定することと、
前記患者が第２の位置に手術のために置かれた後にカメラアレイからリアルタイム画像を受信することと、
前記リアルタイム画像に基づいて、前記患者に適用された前記パッチに与えられた前記基準マーカーの前記ロケーションに対応する３次元リアルタイム画像空間における座標を特定することと、
前記術前画像に変換を適用して、前記リアルタイム画像における前記基準マーカーの前記ロケーションに、前記術前画像における前記基準マーカーの前記ロケーションを実質的にアライメントすることとであって、前記変換を適用することは、
最適化アルゴリズムを行って、前記術前画像おける前記基準マーカーのパターンの変換された座標の間の距離を、前記リアルタイム画像における前記パターンの前記座標により最小化する前記変換を特定すること
を含む、ことと、
前記変換された術前画像を前記リアルタイム画像にオーバーレイして、前記メディエイテッドリアリティビューを生成ことと、
表示のためにディスプレイデバイスに前記メディエイテッドリアリティビューを提供することと
を備えることを特徴とする方法。
【請求項2】
前記パッチは、関心のある解剖学的構造に最も近く置かれるしなやかな粘着性パッチを含むことを特徴とする請求項１に記載の方法。
【請求項3】
手術部位のメディエイテッドリアリティビューを生成するための方法であって、第１の位置における患者の３次元アナトミーを表す術前画像を受信することと、
前記術前画像に基づいて、前記患者に適用されたパッチに与えられた基準マーカーのロケーションに対応する３次元術前画像空間における座標を特定することであって、前記基準マーカーは、１つまたは複数のふくらんだ表面を含む３次元構造を含み、前記基準マーカーの各々は、前記パッチにおける他の基準マーカーに関して一意的なジオメトリを有する、ことと、
前記患者が第２の位置に手術のために置かれた後にカメラアレイからリアルタイム画像を受信することと、
前記リアルタイム画像に基づいて、前記患者に適用された前記パッチに与えられた前記基準マーカーの前記ロケーションに対応する３次元リアルタイム画像空間における座標を特定することと、
前記術前画像に変換を適用して、前記リアルタイム画像における前記基準マーカーの前記ロケーションに、前記術前画像における前記基準マーカーの前記ロケーションを実質的にアライメントすることと、
前記変換された術前画像を前記リアルタイム画像にオーバーレイして、前記メディエイテッドリアリティビューを生成ことと、
表示のためにディスプレイデバイスに前記メディエイテッドリアリティビューを提供することと
を備えることを特徴とする方法。
【請求項4】
前記基準マーカーは、前記パッチにおけるグリッドに配列されることを特徴とする請求項１に記載の方法。
【請求項5】
手術部位のメディエイテッドリアリティビューを生成するための方法であって、第１の位置における患者の３次元アナトミーを表す術前画像を受信することと、
前記術前画像に基づいて、前記患者に適用されたパッチに与えられた基準マーカーのロケーションに対応する３次元術前画像空間における座標を特定することであって、前記基準マーカーは、視覚的に区別できる異なる密度の材料を含む、ことと、
前記患者が第２の位置に手術のために置かれた後にカメラアレイからリアルタイム画像を受信することと、
前記リアルタイム画像に基づいて、前記患者に適用された前記パッチに与えられた前記基準マーカーの前記ロケーションに対応する３次元リアルタイム画像空間における座標を特定することと、
前記術前画像に変換を適用して、前記リアルタイム画像における前記基準マーカーの前記ロケーションに、前記術前画像における前記基準マーカーの前記ロケーションを実質的にアライメントすることと、
前記変換された術前画像を前記リアルタイム画像にオーバーレイして、前記メディエイテッドリアリティビューを生成ことと、
表示のためにディスプレイデバイスに前記メディエイテッドリアリティビューを提供することと
を備えることを特徴とする方法。
【請求項6】
前記パッチは、前記パッチを断片に裂くための穴をあけられた境界を含むことを特徴とする請求項１に記載の方法。
【請求項7】
手術部位のメディエイテッドリアリティビューを生成するための命令を格納する非一時的なコンピューター読み取り可能記録媒体であって、前記命令は、プロセッサーによって実行されると、前記プロセッサーに、第１の位置における患者の３次元アナトミーを表す術前画像を受信することと、
前記術前画像に基づいて、前記患者に適用されたパッチに与えられた基準マーカーのロケーションに対応する３次元術前画像空間における座標を特定することと、
前記患者が第２の位置に手術のために置かれた後にカメラアレイからリアルタイム画像を受信することと、
前記リアルタイム画像に基づいて、前記患者に適用された前記パッチに与えられた前記基準マーカーの前記ロケーションに対応する３次元リアルタイム画像空間における座標を特定することと、
前記術前画像に変換を適用して、前記リアルタイム画像における前記基準マーカーの前記ロケーションに、前記術前画像における前記基準マーカーの前記ロケーションを実質的にアライメントすることとであって、前記変換を適用することは、
最適化アルゴリズムを行って、前記術前画像おける前記基準マーカーのパターンの変換された座標の間の距離を、前記リアルタイム画像における前記パターンの前記座標により最小化する前記変換を特定すること
を含む、ことと、
前記変換された術前画像を前記リアルタイム画像にオーバーレイして、前記メディエイテッドリアリティビューを生成ことと、
表示のためにディスプレイデバイスに前記メディエイテッドリアリティビューを提供することと
含むステップを行わせることを特徴とする非一時的なコンピューター読み取り可能記録媒体。
【請求項8】
前記パッチは、関心のある解剖学的構造に最も近く置かれるしなやかな粘着性パッチを含むことを特徴とする請求項３に記載の方法。
【請求項9】
前記基準マーカーは、前記パッチにおけるグリッドに配列されることを特徴とする請求項３に記載の方法。
【請求項10】
前記パッチは、前記パッチを断片に裂くための穴をあけられた境界を含むことを特徴とする請求項３に記載の方法。
【請求項11】
前記パッチは、関心のある解剖学的構造に最も近く置かれるしなやかな粘着性パッチを含むことを特徴とする請求項５に記載の方法。
【請求項12】
前記基準マーカーは、前記パッチにおけるグリッドに配列されることを特徴とする請求項５に記載の方法。
【請求項13】
前記パッチは、前記パッチを断片に裂くための穴をあけられた境界を含むことを特徴とする請求項５に記載の方法。
【請求項14】
前記パッチは、関心のある解剖学的構造に最も近く置かれるしなやかな粘着性パッチを含むことを特徴とする請求項７に記載の非一時的なコンピューター読み取り可能記録媒体。
【請求項15】
前記基準マーカーは、前記パッチにおけるグリッドに配列されることを特徴とする請求項７に記載の非一時的なコンピューター読み取り可能記録媒体。
【請求項16】
前記パッチは、前記パッチを断片に裂くための穴をあけられた境界を含むことを特徴とする請求項７に記載の非一時的なコンピューター読み取り可能記録媒体。
【請求項17】
手術部位のメディエイテッドリアリティビューを生成するための命令を格納する非一時的なコンピューター読み取り可能記録媒体であって、前記命令は、プロセッサーによって実行されると、前記プロセッサーに、第１の位置における患者の３次元アナトミーを表す術前画像を受信することと、
前記術前画像に基づいて、前記患者に適用されたパッチに与えられた基準マーカーのロケーションに対応する３次元術前画像空間における座標を特定することであって、前記基準マーカーは、１つまたは複数のふくらんだ表面を含む３次元構造を含み、前記基準マーカーの各々は、前記パッチにおける他の基準マーカーに関して一意的なジオメトリを有する、ことと、
前記患者が第２の位置に手術のために置かれた後にカメラアレイからリアルタイム画像を受信することと、
前記リアルタイム画像に基づいて、前記患者に適用された前記パッチに与えられた前記基準マーカーの前記ロケーションに対応する３次元リアルタイム画像空間における座標を特定することと、
前記術前画像に変換を適用して、前記リアルタイム画像における前記基準マーカーの前記ロケーションに、前記術前画像における前記基準マーカーの前記ロケーションを実質的にアライメントすることと、
前記変換された術前画像を前記リアルタイム画像にオーバーレイして、前記メディエイテッドリアリティビューを生成ことと、
表示のためにディスプレイデバイスに前記メディエイテッドリアリティビューを提供することと
含むステップを行わせることを特徴とする非一時的なコンピューター読み取り可能記録媒体。
【請求項18】
前記パッチは、関心のある解剖学的構造に最も近く置かれるしなやかな粘着性パッチを含むことを特徴とする請求項１７に記載の非一時的なコンピューター読み取り可能記録媒体。
【請求項19】
前記基準マーカーは、前記パッチにおけるグリッドに配列されることを特徴とする請求項１７に記載の非一時的なコンピューター読み取り可能記録媒体。
【請求項20】
前記パッチは、前記パッチを断片に裂くための穴をあけられた境界を含むことを特徴とする請求項１７に記載の非一時的なコンピューター読み取り可能記録媒体。
【請求項21】
手術部位のメディエイテッドリアリティビューを生成するための命令を格納する非一時的なコンピューター読み取り可能記録媒体であって、前記命令は、プロセッサーによって実行されると、前記プロセッサーに、第１の位置における患者の３次元アナトミーを表す術前画像を受信することと、
前記術前画像に基づいて、前記患者に適用されたパッチに与えられた基準マーカーのロケーションに対応する３次元術前画像空間における座標を特定することであって、前記基準マーカーは、視覚的に区別できる異なる密度の材料を含む、ことと、
前記患者が第２の位置に手術のために置かれた後にカメラアレイからリアルタイム画像を受信することと、
前記リアルタイム画像に基づいて、前記患者に適用された前記パッチに与えられた前記基準マーカーの前記ロケーションに対応する３次元リアルタイム画像空間における座標を特定することと、
前記術前画像に変換を適用して、前記リアルタイム画像における前記基準マーカーの前記ロケーションに、前記術前画像における前記基準マーカーの前記ロケーションを実質的にアライメントすることと、
前記変換された術前画像を前記リアルタイム画像にオーバーレイして、前記メディエイテッドリアリティビューを生成ことと、
表示のためにディスプレイデバイスに前記メディエイテッドリアリティビューを提供することと
含むステップを行わせることを特徴とする非一時的なコンピューター読み取り可能記録媒体。
【請求項22】
前記パッチは、関心のある解剖学的構造に最も近く置かれるしなやかな粘着性パッチを含むことを特徴とする請求項２１に記載の非一時的なコンピューター読み取り可能記録媒体。
【請求項23】
前記基準マーカーは、前記パッチにおけるグリッドに配列されることを特徴とする請求項２１に記載の非一時的なコンピューター読み取り可能記録媒体。
【請求項24】
前記パッチは、前記パッチを断片に裂くための穴をあけられた境界を含むことを特徴とする請求項２１に記載の非一時的なコンピューター読み取り可能記録媒体。
【国際調査報告】