特表 2023-524652 拡張現実画像上に医用スキャン画像情報を補う方法及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-06-13

(54)【発明の名称】拡張現実画像上に医用スキャン画像情報を補う方法及びシステム

(51)【国際特許分類】

   A61B 5/00 20060101AFI20230606BHJP

   A61B 34/10 20160101ALI20230606BHJP

   G06T 19/00 20110101ALI20230606BHJP

   A61B 6/03 20060101ALI20230606BHJP

   A61B 5/055 20060101ALI20230606BHJP

【ＦＩ】

A61B5/00 D

A61B34/10

G06T19/00 600

A61B6/03 360Q

A61B5/055 380

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022564308

(86)(22)【出願日】2021-04-21

(85)【翻訳文提出日】2022-12-15

(86)【国際出願番号】 CN2021088799

(87)【国際公開番号】W WO2021213450

(87)【国際公開日】2021-10-28

(31)【優先権主張番号】63/013,687

(32)【優先日】2020-04-22

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】519452138

【氏名又は名称】ブレイン ナビ バイオテクノロジー カンパニー リミテッド

(74)【代理人】

【識別番号】100125450

【弁理士】

【氏名又は名称】河野 広明

(72)【発明者】

【氏名】チェン シェシャオ

【テーマコード（参考）】

4C093

4C096

4C117

5B050

【Ｆターム（参考）】

4C093AA22

4C093FF12

4C093FF18

4C093FF35

4C093FF37

4C093FF42

4C093FG20

4C096AA18

4C096AC01

4C096AD14

4C096DC15

4C096DC21

4C096DC33

4C096DC36

4C117XA01

4C117XB20

4C117XC11

4C117XD01

4C117XE44

4C117XE45

4C117XE46

4C117XG04

4C117XG14

4C117XG24

4C117XG40

4C117XK13

4C117XK19

4C117XK20

4C117XK24

4C117XR07

4C117XR08

4C117XR09

5B050AA02

5B050BA03

5B050BA09

5B050EA09

5B050EA19

5B050EA27

5B050FA02

5B050FA05

(57)【要約】

本開示の実施形態は、目標物に関連付けられた医用スキャン情報を第１の拡張現実画像上に補う方法を説明する。方法は、目標物に関連付けられた３次元画像を取得するステップと、３次元画像から３次元特徴点の第１のセットを識別するステップと、３次元特徴点の第１のセットに基づいて身体構造上の点を識別するステップと、身体構造上の点に関連付けられた第１の拡張現実画像を取得するステップと、第１の拡張現実画像から３次元特徴点の第２のセットを選択するステップと、３次元特徴点の第１のセットと３次元特徴点の第２のセットとの間で第１の画像マッチングを実行するステップと、第１の画像マッチングに基づいて３次元画像を第１の拡張現実画像に重ねるステップと、を含む。

【特許請求の範囲】

【請求項1】

目標物に関連付けられた医用スキャン情報を第１の拡張現実画像上に補う方法であって、
前記目標物に関連付けられた３次元画像を取得するステップと、
前記３次元画像から３次元特徴点の第１のセットを識別するステップと、
前記３次元特徴点の第１のセットに基づいて身体構造上の点を識別するステップと、
前記身体構造上の点に関連付けられた前記第１の拡張現実画像を取得するステップと、
前記第１の拡張現実画像から３次元特徴点の第２のセットを選択するステップと、
前記３次元特徴点の第１のセットと前記３次元特徴点の第２のセットとの間で第１の画像マッチングを実行するステップと、
前記第１の画像マッチングに基づいて前記３次元画像を前記第１の拡張現実画像に重ねるステップと、を含む、
方法。

【請求項2】

身体構造上の点を識別する前記ステップが、前記３次元画像上に前記３次元特徴点の第１のセットをマーキングすることをさらに含む、
請求項１に記載の方法。

【請求項3】

前記第１の拡張現実画像が、前記身体構造上の点を含む患者の１つもしくは複数の組織、１つもしくは複数の器官、または１つもしくは複数の器官系を含む、
請求項１に記載の方法。

【請求項4】

前記医用スキャン情報に基づいて３次元モデルを構築するステップと、
前記３次元モデルから特徴点の第３のセットを選択するステップと、
前記３次元画像と前記３次元モデルとに関連付けられた一致した表面を識別するために、前記３次元特徴点の第１のセットと前記３次元特徴点の第３のセットとの間で第２の画像マッチングを実行するステップと、
前記３次元モデルを前記一致した表面に一致させるステップと、
一致した前記３次元モデルに基づいて第２の拡張現実画像を取得するステップと
をさらに含む、
請求項１に記載の方法。

【請求項5】

前記３次元モデルを一致させる前記ステップが、該３次元モデルの複数の点によって画定された表面を前記一致した表面に一致させるために、該３次元モデルを回転または移動させることをさらに含む、
請求項４に記載の方法。

【請求項6】

前記一致した表面が、患者の１つもしくは複数の組織、１つもしくは複数の器官または１つもしくは複数の器官系の表面に関連付けられる、
請求項４に記載の方法。

【請求項7】

前記目標物に関連付けられた前記医用スキャン情報を補うために、前記一致した表面に基づいて前記第２の拡張現実画像を前記第１の拡張現実画像に重ねるステップをさらに含む、
請求項４に記載の方法。

【請求項8】

患者の１つもしくは複数の組織、１つもしくは複数の器官、または１つもしくは複数の器官系の下面領域に対応する第３の拡張現実画像を取得するステップをさらに含み、該第３の拡張現実画像が、手術器具が前記下面領域に到達したときの視野をシミュレートするための該下面領域に関連付けられた画像である、
請求項７に記載の方法。

【請求項9】

前記手術器具が前記下面領域に物理的に到達したことに応答して、前記下面領域に関連付けられた別の３次元画像を取得するステップと、
前記第３の拡張現実画像と前記別の３次元画像との間のずれを計算するステップであって、該ずれが、前記患者の前記１つもしくは複数の組織、１つもしくは複数の器官、または１つもしくは複数の器官系の移動に対応する、ステップと
をさらに含む、
請求項８に記載の方法。

【請求項10】

前記第３の拡張現実画像及び前記ずれに基づいて、前記下面領域に対応する第４の拡張現実画像を取得するステップをさらに含む、請求項９に記載の方法。

【請求項11】

１つまたは複数のプロセッサと、
前記プロセッサに結合されたウェアラブルと、
命令が格納された非一時的コンピュータ可読媒体であって、該命令が、前記１つまたは複数のプロセッサによる実行に応答して、該１つまたは複数のプロセッサに、目標物に関連付けられた医用スキャン情報を第１の拡張現実画像上に補う方法を実行させ、該方法が、
前記目標物に関連付けられた３次元画像を取得するステップと、
前記３次元画像から３次元特徴点の第１のセットを識別するステップと、
前記３次元特徴点の第１のセットに基づいて身体構造上の点を識別するステップと、
前記身体構造上の点に関連付けられた前記第１の拡張現実画像を取得するステップと、
前記第１の拡張現実画像から３次元特徴点の第２のセットを選択するステップと、
前記３次元特徴点の第１のセットと前記３次元特徴点の第２のセットとの間で第１の画像マッチングを実行するステップと、
前記第１の画像マッチングに基づいて前記３次元画像を前記第１の拡張現実画像に重ねるステップと
を含む、非一時的コンピュータ可読媒体と、を備える
システム。

【請求項12】

前記ウェアラブルが、前記第１の拡張現実画像、前記第２の拡張現実画像、前記第３の拡張現実画像、及び前記第４の拡張現実画像のうちの１つまたは複数を表示するように構成されている、
請求項１１に記載のシステム。

【請求項13】

追加の命令を記憶している前記非一時的コンピュータ可読媒体が、前記１つまたは複数のプロセッサによる実行に応答して、該１つまたは複数のプロセッサに、前記３次元画像上に前記３次元特徴点の第１のセットをマーキングさせる、
請求項１１に記載のシステム。

【請求項14】

追加の命令を記憶している前記非一時的コンピュータ可読媒体が、
前記１つまたは複数のプロセッサによる実行に応答して、該１つまたは複数のプロセッサに、
前記医用スキャン情報に基づいて３次元モデルを構築させ、
前記３次元モデルから特徴点の第３のセットを選択させ、
前記３次元画像と前記３次元モデルとに関連付けられた一致した表面を識別するために、前記３次元特徴点の第１のセットと前記３次元特徴点の第３のセットとの間で第２の画像マッチングを実行させ、
前記３次元モデルを前記一致した表面に一致させ、
前記一致した３次元モデルに基づいて第２の拡張現実画像を取得させる、
請求項１１に記載のシステム。

【請求項15】

追加の命令を記憶している前記非一時的コンピュータ可読媒体が、前記１つまたは複数のプロセッサによる実行に応答して、該１つまたは複数のプロセッサに、前記３次元モデルの複数の点によって画定された表面を前記一致した表面に一致させるために該３次元モデルを回転または移動させる、
請求項１４に記載のシステム。

【請求項16】

追加の命令を記憶している前記非一時的コンピュータ可読媒体が、前記１つまたは複数のプロセッサによる実行に応答して、該１つまたは複数のプロセッサに、前記目標物に関連付けられた前記医用スキャン情報を補うために前記一致した表面に基づいて前記第２の拡張現実画像を前記第１の拡張現実画像に重ねさせる、
請求項１４に記載のシステム。

【請求項17】

追加の命令を記憶している前記非一時的コンピュータ可読媒体が、前記１つまたは複数のプロセッサによる実行に応答して、該１つまたは複数のプロセッサに、患者の１つもしくは複数の組織、１つもしくは複数の器官、または１つもしくは複数の器官系の下面領域に対応する第３の拡張現実画像を取得させ、該第３の拡張現実画像が、手術器具が前記下面領域に到達したときの視野をシミュレートするための該下面領域に関連付けられた画像である、
請求項１４に記載のシステム。

【請求項18】

追加の命令を記憶している前記非一時的コンピュータ可読媒体が、前記１つまたは複数のプロセッサによる実行に応答して、該１つまたは複数のプロセッサに、
前記手術器具が前記下面領域に物理的に到達したことに応答して、前記下面領域に関連付けられた別の３次元画像を取得させ、
前記第３の拡張現実画像と前記別の３次元画像との間のずれを計算させ、該ずれが、前記患者の前記１つもしくは複数の組織、１つもしくは複数の器官、または１つもしくは複数の器官系の移動に対応する、
請求項１７に記載のシステム。

【請求項19】

追加の命令を記憶している前記非一時的コンピュータ可読媒体が、前記１つまたは複数のプロセッサによる実行に応答して、該１つまたは複数のプロセッサに、前記第３の拡張現実画像及び前記ずれに基づいて前記下面領域に対応する第４の拡張現実画像を取得させる、
請求項１８に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

［関連出願の相互参照］
本出願は、２０２０年４月２２日に出願された米国仮出願第６３／０１３，６８７号の利益を主張し、その全体が参照により組み込まれる。

【0002】

本発明の実施形態は、一般に、拡張現実画像上に医用スキャン画像情報を補う方法及びシステムに関する。

【背景技術】

【0003】

本明細書で特に明記しない限り、このセクションで説明するアプローチは、本出願の特許請求の範囲の先行技術ではなく、このセクションに含めることによって先行技術であるとは認められない。

【0004】

手術では手術経路の計画が重要である。手術経路は、患者から離れた安全点及び術前点、患者の組織の入口点、手術の目標における目標点など、複数の点によって画定され得る。

【0005】

手術の前に、患者は医用スキャン（例えば、ＣＴまたはＭＲＩ）を受ける。医用スキャンは、患者の組織、器官及び器官系の画像を提供することができる。手術経路は、医用スキャン画像に基づいて計画される。例えば、人工知能を使用して、損傷が最も少ない最良のルートを外科医に提示することができる。

【0006】

拡張現実技術は、一般に、１つまたは複数の現実及び仮想の複合環境と、コンピュータ技術及び１つまたは複数のウェアラブルによって生成される１つまたは複数のヒューマン－マシンインターフェースとを含む技術を指す。仮想現実と拡張現実（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）と複合現実とを含む拡張現実（ｅｘｔｅｎｄｅｄ ｒｅａｌｉｔｙ）は、医療分野でますます使用されている。例えば、拡張現実は、手術経路に隣接する組織、器官、及び器官系の仮想画像を表示し、仮想画像上に医用スキャン情報（例えば、医用スキャン画像）を補って、手術を容易にすることができる。

【0007】

しかしながら、患者に対して医用スキャンが実行されるときと手術が実行されるときとの間には、些細ではない時間差がある。従来の拡張現実技術では、手術経路に隣接する虚像と、医用スキャンで得られた情報との差異を適切に一致させることができない。

【図面の簡単な説明】

【0008】

【図1】患者に手術を行うときに遭遇する可能性のあるいくつかの点の間の空間的関係を示す例示的な図である。

【図2】目標物の３次元画像を目標物の拡張現実画像に関連付ける例示的なプロセスを示す流れ図である。

【図3】目標物の３次元画像を目標物を含む医用スキャン画像に関連付ける例示的なプロセスを示す流れ図である。

【図4A】及び

【図4B】医用スキャン画像に基づく例示的な処理画像を示す図である。

【図5】目標物に関連付けられた医用スキャンによって取得された情報を目標物の拡張現実画像上に補う例示的なプロセスを示す流れ図である。

【図6】全てが本開示のいくつかの実施形態に従って配置された、手術器具が目標物の下面領域に到達したときの目標物の移動に応答して目標物に関連付けられた拡張現実画像を取得するための例示的なプロセスを示す流れ図である。

【発明を実施するための形態】

【0009】

以下の詳細な説明では、本明細書の一部を形成する添付図面を参照する。図面では、文脈からそうでないことが示されていない限り、同様の記号は通常、同様の成分を示す。詳細な説明、図面、及び特許請求の範囲に記載されている例示的な実施形態は、限定することを意図していない。本明細書に提示される主題の精神または範囲から逸脱することなく、他の実施形態を利用することができ、他の変更を加えることができる。本開示の態様は、本明細書に一般的に記載され、図に例示されるように、多種多様な異なる構成で配置、置換、組み合わせ、及び設計することができ、その全てが本明細書で明示的に企図されることは容易に理解されよう。

【0010】

以下の段落を通して、「拡張現実（ＸＲ）」は、一般に、仮想現実と物理的現実とを組み合わせた環境を指し、「Ｘ」は、任意の現在または将来の空間コンピューティング技術の変数を表す。いくつかの実施形態では、拡張現実は、仮想現実と物理的現実とを組み合わせた全ての環境の包括的な用語である。例えば、拡張現実（ｅｘｔｅｎｄｅｄ ｒｅａｌｉｔｙ）は、拡張現実（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）、仮想現実、及び複合現実を含む。「拡張現実画像（ｅｘｔｅｎｄｅｄ ｒｅａｌｉｔｙ ｉｍａｇｅ）」は、仮想現実と物理的現実の両方の情報を含む画像を広く指す。「ウェアラブル」、「ウェアラブル技術」、及び「ウェアラブルデバイス」は、一般に、アクセサリとして人に装着することができ、衣服に埋め込むことができ、人の身体に埋め込むことができるなどのハンズフリー装置を指すために交換可能に使用される。そのような装置は、典型的には、バイタルサイン、動きデータ、及び／又は周囲データなど、着用者に関連付けられた情報を検出、収集、分析、及び／又は通信することができる。ウェアラブルの例には、ヘッドセット、スマートグラスなどが含まれ得るが、これらに限定されない。３次元（３Ｄ）モデルは、三角形、線、曲面などの様々な幾何学的エンティティによって接続された３Ｄ空間内の点の集合を広く指す。

【0011】

図１は、本開示のいくつかの実施形態に従って配置された、患者の手術を行うときに遭遇する可能性のあるいくつかの点の間の空間的関係を示す例示的な図である。図１において、手術経路１１０は、安全点１２０、術前点１３０、入口点１４０、過渡点１５０、及び目標点１６０を含み得る。安全点１２０は、ロボットアームが患者に損傷を与えることなく移動または回転する動作を実行するための点であり得る。術前点１３０は、手術を行うように構成されているが、まだ患者と物理的に接触していない、ロボットアームの位置及び角度に対応する点であり得る。入口点１４０は、ロボットアームが手術経路１１０に沿って初めて患者と接触する点であり得る。目標点１６０は、手術の目標組織または目標器官に関連付けられた点であり得る。過渡点１５０は、入口点１４０と目標点１６０との間の点であり得る。

【0012】

図２は、本開示のいくつかの実施形態に従って配置された、目標物の３次元画像を目標物の拡張現実画像に関連付ける例示的なプロセス２００を示す流れ図である。プロセス２００は、ブロック２１０、２２０、２３０、２４０、２５０、２６０及び／又は２７０によって示されるように、ハードウェア、ソフトウェア及び／又はファームウェアによって実行され得る１つまたは複数の動作、機能、またはアクションを含み得る。様々なブロックは、説明する実施形態に限定されることを意図していない。概説された工程及び動作は例としてのみ提供され、工程及び動作の一部はオプションであり、組み合わせてより少ない工程及び動作にしてもよいし、開示される実施形態の本質を損なうことなく追加の工程及び動作に拡張してもよい。ブロックは連続した順序で例示されているが、これらのブロックは、並行して、及び／又は本明細書で説明する順序とは異なる順序で実行されてもよい。

【0013】

プロセス２００は、ブロック２１０「目標物の３次元（３Ｄ）画像を取得する」で開始され得る。いくつかの実施形態では、例示のみを目的として、目標物は患者の組織、器官、器官系の一部であり得る。３次元画像のうちの１つは、３次元カメラ（例えば、深度センサを有するカメラ）によって撮影された画像、または２次元カメラによって撮影された画像のセットに対応し得る。３次元画像のうちの別の３次元画像はまた、医用走査装置（例えば、超音波スキャナ、コンピュータ断層撮影（ＣＴ）スキャナ、磁気共鳴画像法（ＭＲＩ）装置など）などの別のソースによって取得された画像に対応し得る。いくつかの実施形態では、３次元画像のいずれかは、患者の組織、器官、器官系の表面解剖学的情報に対応し得る。いくつかの実施形態では、カメラは、患者の頭部の画像を撮影して、患者の頭部の外観及び輪郭（例えば、目、耳、鼻先、鼻孔開口部、耳たぶなど）を捉えるように構成されてもよい。３次元カメラまたは２次元カメラは、患者に手術を行う外科医のウェアラブルデバイスに結合されてもよい。あるいは、３次元カメラまたは２次元カメラは、ロボットアームによって制御される内視鏡または手術器具に結合されてもよい。

【0014】

これらの３Ｄ画像は、物理的現実にあるデバイス（例えば、３Ｄカメラ、２Ｄカメラ、医用走査装置など）によってキャプチャされた物理的現実情報を含むと見なされることに留意されたい。

【0015】

ブロック２１０の後にブロック２２０「３Ｄ画像から３Ｄ特徴点の第１のセットを識別する」が続き得る。いくつかの実施形態では、人工知能エンジンを使用して、ブロック２１０で取得された３Ｄ画像から３Ｄ特徴点の第１のセットを識別することができる。人工知能エンジンは、エッジ、コントラスト、形状に基づいて３Ｄ特徴点の第１のセットを識別してもよい。いくつかの代替実施形態では、３Ｄ特徴点の第１のセットは、ウェアラブルデバイスを介して外科医によって識別されてもよい。

【0016】

ブロック２２０の後にブロック２３０「３Ｄ特徴点の第１のセットに基づいて身体構造上の点（anatomical points）を識別する」が続き得る。いくつかの実施形態では、３Ｄ特徴点の第１のセットは、３Ｄ特徴点の第１のセットに対応する患者の身体構造上の点を識別するために、ブロック２１０で取得された３Ｄ画像上に表示またはマーキングされる。例えば、患者の３Ｄ顔画像上に３Ｄ特徴点の第１のセットを表示またはマーキングすることにより、３Ｄ特徴点の第１のセットに対応する患者の身体構造上の点（例えば、目、耳、鼻先、鼻孔開口部及び耳たぶ）を識別することができる。あるいは、患者の３Ｄ内視鏡画像上に３Ｄ特徴点の第１のセットを表示またはマーキングすることによって、３Ｄ特徴点の第１のセットに対応する患者の身体構造上の点（例えば、器官の血管）を識別することができる。ブロック２３０では、身体構造上の点を含む患者の１つまたは複数の組織、１つまたは複数の器官、及び１つまたは複数の器官系もまた識別され得る。

【0017】

ブロック２３０の後にブロック２４０「身体構造上の点に関連付けられた拡張現実画像を取得する」が続き得る。いくつかの実施形態では、身体構造上の点を含む患者の識別された１つもしくは複数の組織、１つもしくは複数の器官、または１つもしくは複数の器官系に基づいて、患者の１つもしくは複数の組織、１つもしくは複数の器官、または１つもしくは複数の器官系に関連付けられた拡張現実画像を取得することができる。例えば、この拡張現実画像は、ウェアラブルデバイス（例えば、ヘッドセット、スマートグラスなど）に表示される患者の頭部の表面のＸＲ画像であってもよい。代替実施形態では、この拡張現実画像は、ウェアラブルデバイスに表示される患者の器官（例えば、肝臓または脳）の表面のＸＲ画像であってもよい。これらのＸＲ画像は、物理的現実でキャプチャされた情報（例えば、患者の頭部の１つまたは複数の画像、患者の器官の１つまたは複数の画像など）、及び仮想現実でレンダリングされた画像も含む。

【0018】

ブロック２４０の後にブロック２５０「拡張現実画像から３Ｄ特徴点の第２のセットを選択する」が続き得る。いくつかの実施形態では、識別された身体構造上の点に基づいて、ブロック２４０で取得された拡張現実画像から３Ｄ特徴点の第２のセットが選択される。３Ｄ特徴点の第２のセットは、識別された身体構造上の点に対応し得る。

【0019】

ブロック２５０の後にブロック２６０「３Ｄ特徴点の第１のセットと３Ｄ特徴点の第２のセットとの間で画像マッチングを実行する」が続き得る。いくつかの実施形態では、３Ｄ特徴点の第１のセット及び３Ｄ特徴点の第２のセットは、３Ｄ特徴点の第１のセットと３Ｄ特徴点の第２のセットとを整列させる関係を決定するためにマッチングされ、場合によっては、３Ｄ特徴点の２つのセット間の差を最小化するために反復的にマッチングされる。画像マッチングは、反復最近接点（ＩＣＰ）などのいくつかの画像比較アプローチに基づいてもよい。３Ｄ特徴点の第１のセットと３Ｄ特徴点の第２のセットとを整列させる決定された関係に基づいて、目標物の３次元画像は、目標物の拡張現実画像に関連付けられる。いくつかの実施形態では、例えばデカルト座標系において、決定された関係は、Ｘ軸に沿った第１の移動、Ｙ軸に沿った第２の移動、Ｚ軸に沿った第３の移動、Ｘ軸に沿った第１の回転角度、Ｙ軸に沿った第２の回転角度、及びＺ軸に沿った第３の回転角度を含むことができるが、これらに限定されない。決定された関係は、様々な座標系において異なり得る。

【0020】

ブロック２６０の後にブロック２７０「３Ｄ画像を拡張現実画像に重ねる」が続き得る。いくつかの実施形態では、３Ｄ特徴点の第１のセットと３Ｄ特徴点の第２のセットとを整列させるブロック２６０で決定された関係に基づいて、目標物の３次元画像は、目標物の拡張現実画像に関連付けられる。したがって、ブロック２１０で取得された目標物の３次元画像は、ブロック２４０で取得された身体構造上の点に関連する拡張現実画像に重ねられて、ブロック２４０で取得された拡張現実画像上に、ブロック２１０で取得された追加情報を補うことができる。

【0021】

図３は、本開示のいくつかの実施形態に従って配置された、目標物の３次元画像を目標物を含む医用スキャン画像に関連付ける例示的なプロセス３００を示す流れ図である。プロセス３００は、ブロック３１０、３２０、３３０、３４０、３５０、３６０及び／又は３７０によって示されるように、ハードウェア、ソフトウェア及び／又はファームウェアによって実行され得る１つまたは複数の動作、機能、またはアクションを含み得る。いくつかの実施形態では、図１に関連して、プロセス３００は、手術器具が入口点１４０に到達したことに応答して実行されてもよい。様々なブロックは、説明する実施形態に限定されることを意図していない。概説された工程及び動作は例としてのみ提供され、工程及び動作の一部はオプションであり、組み合わせてより少ない工程及び動作にしてもよいし、開示される実施形態の本質を損なうことなく追加の工程及び動作に拡張してもよい。ブロックは連続した順序で例示されているが、これらのブロックは、並行して、及び／又は本明細書で説明する順序とは異なる順序で実行されてもよい。

【0022】

プロセス３００は、ブロック３１０「目標物に関連付けられた３次元（３Ｄ）画像を取得する」で開始され得る。いくつかの実施形態では、例示のみを目的として、目標物は患者の組織、器官、器官系の一部であり得る。３次元画像は、３次元カメラ（例えば、深度センサを有するカメラ）によって撮影された画像、または２次元カメラによって撮影された画像のセットを含み得る。いくつかの実施形態では、３次元画像は、患者の組織、器官、器官系の表面解剖学的情報に対応し得る。いくつかの実施形態では、カメラは、患者の頭部の画像を撮影して、患者の頭部の外観及び輪郭（例えば、目、耳、鼻先、鼻孔開口部、耳たぶなど）を捉えるように構成されてもよい。３次元カメラまたは２次元カメラは、患者に手術を行う外科医のウェアラブルに固定されてもよい。あるいは、３次元カメラまたは２次元カメラは、ロボットアームによって制御される内視鏡または手術器具に固定されてもよい。

【0023】

ブロック３１０の後に、ブロック３２０「医用スキャンに基づいて３Ｄモデルを構築する」が続き得る。手術が行われる前に、いくつかの医用スキャンを使用して患者の状態のスナップショットを取り込み、手術計画を策定することができる。手術計画は、上記の計画された手術経路を含み得る。例えば、外科医は、医療スキャン（例えば、ＣＴまたはＭＲＩ）を指示して、目標物（例えば、患者の１つまたは複数の組織または器官）を含む医用スキャン画像を取得することができる。そのような医用スキャンは、手術の数日前（例えば、３～５日前）に行われてもよい。いくつかの既知のアプローチを使用して、医用スキャンデータから得られた画像の情報に基づいて、目標物に関連付けられた３次元モデルを構築することができる。

【0024】

図４Ａ及び図４Ｂは、本開示のいくつかの実施形態に従って配置された、医用スキャン画像に基づく処理済み画像を示す。図４Ａ及び図４Ｂに関連して、本開示のいくつかの実施形態によれば、ブロック３２０の後に、ブロック３３０「医用スキャンによって得られた情報を処理する」が続き得る。ブロック３１０で取得された３Ｄ画像は、目標物の表面情報にのみ関連付けられ、目標物の下面情報には関連付けられない。しかし、医用スキャンで得られた画像は、通常、表面情報と下面情報の両方に関連付けられる。画像処理を実行して、医用スキャンからの下面情報を取り除く。

【0025】

図４Ａにおいて、いくつかの実施形態では、手術目標が患者の頭部内にあると仮定すると、２値画像４１０は、患者の頭部からつま先までの軸方向に沿った元のＭＲＩ画像から導出され得る。領域４１１は患者の頭蓋骨であり、通常、元のＭＲＩ画像では白で表される。領域４１１の外周４１２は、目標物（すなわち、患者の頭部）の表面情報に関連付けられた患者の皮膚を指すことができる。閾値化アプローチにより、頭蓋骨の外側の領域４１３（全て黒）及び頭蓋骨の内側の領域４１５を含む画像４１０が作成され得る。画像４１０をさらに処理して、画像４２０を形成することができる。画像４２０では、領域４１３にグレースケールが割り当てられ、白黒と区別されて領域４２３が形成される。

【0026】

図４Ｂでは、画像４２０をさらに処理して画像４３０を形成することができる。画像４３０では、領域４１３のグレースケール以外の領域に黒が割り当てられて領域４３１が形成される。次に、画像４３０の領域４２３に白を割り当てて、画像４４０を形成することができる。したがって、周囲４４１に沿った点は、目標物の表面情報に関連付けられた患者の皮膚に対応し得る。したがって、周囲４４１に沿った点は、医用スキャンによって得られた下面情報を含まない。

【0027】

ブロック３３０の後にブロック３４０「３Ｄ画像から３Ｄ特徴点の第１のセットを選択する」が続き得る。いくつかの実施形態では、人工知能エンジンを使用して、ブロック３１０で取得された３Ｄ画像から３Ｄ特徴点の第１のセットを選択することができる。人工知能エンジンは、エッジ、コントラスト、形状に基づいて３Ｄ特徴点の第１のセットを選択してもよい。いくつかの実施形態では、３Ｄ特徴点の第１のセットは、器官の血管分布または組織テクスチャなどの解剖学的特徴点に対応することができる。

【0028】

ブロック３４０の後にブロック３５０「処理された情報から３Ｄ特徴点の第２のセットを選択する」が続き得る。いくつかの実施形態では、人工知能エンジンを使用して、ブロック３３０で処理された医用スキャンによって得られた情報から３Ｄ特徴点の第２のセットを選択することができる。人工知能エンジンは、エッジ、コントラスト、形状に基づいて３Ｄ特徴点の第２のセットを選択してもよい。いくつかの実施形態では、３Ｄ特徴点の第２のセットは、ブロック３４０で選択された３Ｄ特徴点の第１のセットに対応する同じ解剖学的特徴点に対応し得る。

【0029】

ブロック３５０の後にブロック３６０「３Ｄ特徴点の第１のセットと３Ｄ特徴点の第２のセットとの間で画像マッチングを実行する」が続き得る。いくつかの実施形態では、３Ｄ特徴点の第１のセット及び３Ｄ特徴点の第２のセットは、３Ｄ特徴点の第１のセットと３Ｄ特徴点の第２のセットとを整列させる関係を決定するためにマッチングされ、場合によっては、３Ｄ特徴点の２つのセット間の差を最小化するために反復的にマッチングされる。画像マッチングは、反復最近接点（ＩＣＰ）などのいくつかの画像比較アプローチに基づいてもよい。３Ｄ特徴点の第１のセット及び３Ｄ特徴点の第２のセットを整列させる決定された関係に基づいて、目標物に関連付けられた３次元画像は、目標物の処理済み画像（例えば、画像４４０）に関連付けられる。いくつかの実施形態では、例えばデカルト座標系において、決定された関係は、Ｘ軸に沿った第１の移動、Ｙ軸に沿った第２の移動、Ｚ軸に沿った第３の移動、Ｘ軸に沿った第１の回転角度、Ｙ軸に沿った第２の回転角度、及びＺ軸に沿った第３の回転角度を含むことができるが、これらに限定されない。決定された関係は、様々な座標系において異なり得る。

【0030】

ブロック３６０の後にブロック３７０「３Ｄモデルを一致した表面に一致させる」が続き得る。いくつかの実施形態では、３Ｄ特徴点の第１のセットと３Ｄ特徴点の第２のセットとを整列させるブロック３６０で決定された関係に基づいて、ブロック３１０で取得された目標物に関連付けられた第１の表面と、医用スキャンに基づいてブロック３２０で構築された３Ｄモデルに関連付けられた第２の表面とを一致させる。３Ｄモデルのいくつかの点は、第２の表面を画定することができる。したがって、上記のように決定された関係に基づいて、ブロック３２０で構築された３Ｄモデルを回転及び／又は移動させて、３Ｄモデルのいくつかの点によって画定された一表面を、第２の表面に一致させることができる。

【0031】

図５は、本開示のいくつかの実施形態に従って配置された、目標物に関連付けられた医用スキャンによって取得された情報を目標物の拡張現実画像上に補う例示的なプロセスを示す流れ図である。プロセス５００は、ブロック５１０，５２０及び／又は５３０によって示されるように、ハードウェア、ソフトウェア、及び／又はファームウェアによって実行され得る１つまたは複数の動作、機能、またはアクションを含み得る。様々なブロックは、説明する実施形態に限定されることを意図していない。概説された工程及び動作は例としてのみ提供され、工程及び動作の一部はオプションであり、組み合わせてより少ない工程及び動作にしてもよいし、開示される実施形態の本質を損なうことなく追加の工程及び動作に拡張してもよい。ブロックは連続した順序で例示されているが、これらのブロックは、並行して、及び／又は本明細書で説明する順序とは異なる順序で実行されてもよい。

【0032】

プロセス５００は、ブロック５１０「３次元（３Ｄ）画像を第１の拡張現実画像に重ねる」で開始され得る。いくつかの実施形態では、図２に関連して、ブロック５１０はブロック２７０に対応し得る。例えば、ブロック５１０では、ブロック２１０で取得された目標物の３次元画像が、ブロック２４０で取得された身体構造上の点に関連付けられた第１の拡張現実画像に重ねられて、ブロック２４０で取得された第１の拡張現実画像上に、ブロック２１０で取得された追加情報を補うことができる。

【0033】

ブロック５１０の後に、ブロック５２０「一致した３Ｄモデルに基づいて第２の拡張現実画像を取得する」が続き得る。いくつかの実施形態では、図３に関連して、ブロック３７０の後にブロック５２０が続き得る。例えば、ブロック５２０において、この第２の拡張現実画像は、ブロック３７０で一致した３Ｄモデルに基づいて取得され得る。この第２の拡張現実画像は、ウェアラブルデバイス（例えば、ヘッドセット、スマートグラスなど）に表示される患者の頭部の１つまたは複数の表面及び下面（例えば、組織または器官）のＸＲ画像を含むことができる。代替実施形態では、この第２の拡張現実画像は、ウェアラブルデバイスに表示される患者の組織（例えば、血管）または器官（例えば、肝臓または脳）の１つまたは複数の表面及び下面のＸＲ画像を含むことができる。これらのＸＲ画像は、物理的現実でキャプチャされた情報（例えば、患者の医用スキャン画像）、及び仮想現実でレンダリングされた画像を含む。

【0034】

ブロック５２０の後に、ブロック５３０「第２の拡張現実画像を第１の拡張現実画像に重ねる」が続き得る。いくつかの実施形態では、第２の拡張現実画像はブロック３７０でマッチングされた３Ｄモデルに基づいて取得されるため、第２の拡張現実画像の１つの表面画像は、ブロック２１０で取得された目標物の３次元画像の一部でもある、ブロック３１０で取得された目標物に関連付けられた第１の表面にマッチングされる。ブロック２１０で取得された目標物の３次元画像から第１の表面を識別した後、第１の表面に基づいて第２の拡張現実画像を第１の拡張現実画像に重ねることができる。第２の拡張現実画像は、同じくブロック３２０の医用スキャンに基づいて構築されたブロック３７０の３Ｄモデルから取得されるため、上述したように、下面情報を含む医用スキャンによって取得された情報を、目標物の第１の拡張現実画像上に補うことができる。

【0035】

図６は、本開示のいくつかの実施形態に従って配置された、手術器具が目標物の下面領域に到達したときの目標物の移動に応答して目標物に関連付けられた拡張現実画像を取得するための例示的なプロセスを示す流れ図である。プロセス６００は、ブロック６１０、６２０、６３０及び／又は６４０によって示されるように、ハードウェア、ソフトウェア及び／又はファームウェアによって実行され得る１つまたは複数の動作、機能、またはアクションを含み得る。いくつかの実施形態では、図１に関連して、プロセス６００は、手術器具が入口点１４０を通過して過渡点１５０に到達することに応答して実行されてもよい。いくつかの実施形態では、図５に関連して、プロセス６００は、ブロック５３０の後に実行されてもよい。様々なブロックは、説明する実施形態に限定されることを意図していない。概説された工程及び動作は例としてのみ提供され、工程及び動作の一部はオプションであり、組み合わせてより少ない工程及び動作にしてもよいし、開示される実施形態の本質を損なうことなく追加の工程及び動作に拡張してもよい。ブロックは連続した順序で例示されているが、これらのブロックは、並行して、及び／又は本明細書で説明する順序とは異なる順序で実行されてもよい。

【0036】

プロセス６００は、ブロック６１０「第３の拡張現実画像を取得する」で開始され得る。いくつかの実施形態では、第３の拡張現実画像は、手術器具が目標物の下面領域に到達したときの視野をシミュレートするための目標物の下面領域（例えば、図１の過渡点１５０）に関連付けられた画像に対応し得る。手術器具は、患者との既知の空間的関係を有する手術室内のロボットアームに取り付けられてもよい。いくつかの実施形態では、図５に関連して、ブロック５３０の後、第２の拡張現実画像は第１の拡張現実画像に重なっている。したがって、ブロック６１０において、第３の拡張現実画像は、第２の拡張現実画像と既知の空間的関係に基づいて取得され得る。

【0037】

ブロック６１０の後に、ブロック６２０「下面領域に関連付けられた３次元（３Ｄ）画像を取得する」が続き得る。いくつかの実施形態では、下面領域に関連付けられた３Ｄ画像は、手術器具が下面領域に物理的に到達したときに、手術器具に取り付けられたカメラまたは超音波センサによって取得され得る。

【0038】

ブロック６２０の後に、ブロック６３０「第３の拡張現実画像と３Ｄ画像との間のずれを計算する」が続き得る。いくつかの実施形態では、ブロック６１０で取得された第３の拡張現実画像とブロック６２０で取得された３次元画像との間のずれは、任意の技術的に実行可能なアプローチによって計算される。このずれは、手術器具の侵入によって生じ得る。例えば、脳は非常に柔らかい組織を含む。これらの組織は、異物（例えば、手術器具）の侵入に応じて元の位置から容易に移動する。

【0039】

ブロック６３０の後にブロック６４０「第４の拡張現実画像を取得する」が続き得る。いくつかの実施形態では、ブロック６１０で取得された第３の拡張現実画像は、第４の拡張現実画像を取得するためにブロック６３０で計算されたずれを補償することによって更新され得る。したがって、第４の拡張現実画像は、手術器具が目標物の下面領域に物理的に到達したときの視野をシミュレートするための下面領域に関連付けられた画像に対応し得る。したがって、第４の拡張現実画像は、医用スキャンによって取得された情報を含むことができ、外科医が１つもしくは複数の組織または１つもしくは複数の器官に関連する移動に応じて手術を実行するのを容易にすることができる。

【0040】

いくつかの実施形態では、方法２００，３００，５００及び６００は、有線または無線方式でウェアラブル（例えば、Ｍｉｃｒｏｓｏｆｔ（商標登録）ＨｏｌｏＬｅｎｓ）に接続されたコンピュータによって実行されてもよい。コンピュータは、ウェアラブル上で現実体験（例えば、画像）を提供する拡張現実プラットフォームを提供することができる。ウェアラブルは、図２、図３、図５、及び図６で上述したような拡張現実画像を表示するように構成される。

【0041】

上記の例は、ハードウェア（ハードウェア論理回路を含む）、ソフトウェアもしくはファームウェア、またはそれらの組み合わせによって実施することができる。上記の例は、任意の適切なコンピューティングデバイス、コンピュータシステム、ウェアラブルなどによって実施することができる。コンピューティングデバイスは、通信バスなどを介して互いに通信することができるプロセッサ、メモリユニット、及び物理ＮＩＣを含むことができる。コンピューティングデバイスは、プロセッサによる実行に応答して、プロセッサに、図２、図３、図５及び図６を参照して本明細書で説明したプロセスを実行させる命令またはプログラムコードを格納した非一時的コンピュータ可読媒体を含むことができる。例えば、コンピューティングデバイスは、ウェアラブル及び／又は１つもしくは複数のセンサと通信することができる。

【0042】

上記で紹介した技術は、専用ハードワイヤード回路、プログラム可能な回路と組み合わせたソフトウェア及び／又はファームウェア、またはそれらの組み合わせで実施することができる。専用ハードワイヤード回路は、例えば、１つまたは複数の特定用途向け集積回路（ＡＳＩＣ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などの形態であってもよい。「プロセッサ」という用語は、処理ユニット、ＡＳＩＣ、論理ユニット、またはプログラマブルゲートアレイなどを含むように広く解釈されるべきである。

【0043】

本明細書に開示される実施形態のいくつかの態様は、全体または一部において、１つまたは複数のコンピュータで実行される１つまたは複数のコンピュータプログラムとして（例えば、１つまたは複数のコンピュータシステムで実行される１つまたは複数のプログラムとして）、１つまたは複数のプロセッサで実行される１つまたは複数のプログラムとして（例えば、１つまたは複数のマイクロプロセッサで実行される１つまたは複数のプログラムとして）、ファームウェアとして、またはそれらの実質的にあらゆる組み合わせとして、集積回路において同等に実装でき、回路の設計及び／又はソフトウェアもしくはファームウェアのコードの記述は、本開示に照らして可能である。

【0044】

本明細書で紹介した技術を実施するためのソフトウェア及び／又は他の命令は、非一時的コンピュータ可読記憶媒体に記憶されてもよく、１つまたは複数の汎用または専用プログラマブルマイクロプロセッサによって実行されてもよい。「コンピュータ可読記憶媒体」は、この用語が本明細書で使用される場合、機械（例えば、コンピュータ、ネットワークデバイス、携帯情報端末（ＰＤＡ）、モバイルデバイス、製造ツール、１つまたは複数のプロセッサのセットを有する任意のデバイスなど）によってアクセス可能な形態で情報を提供する（すなわち、記憶及び／又は送信する）任意の機構を含む。コンピュータ可読記憶媒体は、記録可能／記録不可能媒体（例えば、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスクまたは光記憶媒体、フラッシュメモリデバイスなど）を含むことができる。

【0045】

上記から、本開示の様々な実施形態が例示の目的で本明細書に記載されており、本開示の範囲及び精神から逸脱することなく様々な改変がなされ得ることが理解されよう。したがって、本明細書で開示された様々な実施形態は、限定することを意図するものではない。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【国際調査報告】