特表 2023-544960 医療ロボットのための拡張現実ナビゲーションシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-10-26

(54)【発明の名称】医療ロボットのための拡張現実ナビゲーションシステム

(51)【国際特許分類】

   A61B 34/20 20160101AFI20231019BHJP

   A61B 34/30 20160101ALI20231019BHJP

【ＦＩ】

A61B34/20

A61B34/30

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023511560

(86)(22)【出願日】2021-10-05

(85)【翻訳文提出日】2023-04-07

(86)【国際出願番号】 FR2021051719

(87)【国際公開番号】W WO2022074325

(87)【国際公開日】2022-04-14

(31)【優先権主張番号】2010309

(32)【優先日】2020-10-08

(33)【優先権主張国・地域又は機関】FR

(81)【指定国・地域】

(71)【出願人】

【識別番号】520148884

【氏名又は名称】クアンタム サージカル

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(72)【発明者】

【氏名】ブロンデル，リュシアン

(72)【発明者】

【氏名】ナホム，ベルタン

(72)【発明者】

【氏名】バダノ，フェルナンド

【テーマコード（参考）】

4C130

【Ｆターム（参考）】

4C130AB01

4C130AD01

4C130AD05

4C130AD30

4C130CA11

(57)【要約】

拡張現実ナビゲーションシステム（１０）は患者（３０）の当該解剖学的構造上の外科手術中に医療行為者（３１）を支援するために使用される。この手術は手術前医用画像上で計画される。ナビゲーションシステムは、医療行為者によりその頭上に装着されるように意図されたたカメラ（１１）、カメラにより取得された実画像と実画像上に重ねられた拡張現実コンテンツとをリアルタイムで表示するための表示デバイス（１２）、並びにカメラ及び表示デバイスへ接続される制御ユニット（１３）を含む。制御ユニットは、当該解剖学的構造の近傍に置かれるマーカ（２０）の運動の予測モデルを、患者の１つ又は複数の呼吸サイクル中にマーカにより追随される運動に基づき生成するように構成される。予測モデルは、手術前画像上で計画された外科手術を行うための適切な瞬間を判断するために及び／又は当該解剖学的構造の三次元解剖学的モデルを拡張現実内で表示するために使用される。

【特許請求の範囲】

【請求項1】

患者（３０）の当該生体構造上の外科診療を行う際に医療行為者（３１）を支援するための拡張現実ナビゲーションシステム（１０）であって、前記システム（１０）は：
－実画像を取得するためのカメラ（１１）であって、前記医療行為者（３１）によりその頭上に装着されるように意図されたカメラ（１１）、
－前記カメラ（１１）により取得された実画像と共に、前記実画像上にオーバーレイされた拡張現実コンテンツをリアルタイムで表示するための表示デバイス（１２）、
－前記カメラ（１１）及び前記表示デバイス（１２）へ接続される制御ユニット（１３）を含み、前記制御ユニット（１３）は：
－前記当該生体構造の近傍の前記患者（３０）上に置かれるマーカ（２０）の位置／配向を実画像上で検出し、
－前記患者（３０）の１つ又は複数の呼吸サイクル（４１）に対応する記録期間（４２）中に前記マーカ（２０）により追随される運動（４０）を記録し、
－前記記録期間（４２）に属する第１の瞬間（ｔ１）であって医用撮像デバイスによる前記患者の当該生体構造の診療前医用画像の取得の瞬間に対応する第１の瞬間（ｔ１）に前記マーカ（２０）の位置／配向を判断し、そして
－前記記録期間（４２）中に前記マーカにより追随される前記運動（４０）からの前記マーカ（２０）の前記運動の予測モデル（４３）を定式化するように構成されることを特徴とする、拡張現実ナビゲーションシステム（１０）。

【請求項2】

前記制御ユニット（１３）はさらに、
－前記患者の当該生体構造内への医療機器の挿入の候補瞬間に対応する第２の瞬間（ｔ２）を前記予測モデル（４３）から判断し、
－前記第１の瞬間（ｔ１）における前記マーカ（２０）の前記位置／配向と前記第２の瞬間（ｔ２）における前記マーカ（２０）の前記位置／配向とを比較し、そして
－前記実画像上でオーバーレイされた拡張現実コンテンツの形式で前記比較の結果を前記表示デバイス（１２）上に表示ように構成される、請求項１に記載のシステム（１０）。

【請求項3】

前記制御ユニット（１３）はさらに、
前記医用撮像デバイスから前記診療前医用画像（５０）を受信し、
前記患者（３０）の当該生体構造の三次元解剖学的モデル（５１）を前記診療前医用画像（５０）から生成し、
前記実画像上にオーバーレイされた拡張現実コンテンツの形式で前記解剖学的モデル（５１）を前記表示デバイス（１２）上に表示するように構成され、
前記実画像上にオーバーレイされた前記解剖学的モデル（５１）の前記位置／配向は、前記マーカの前記運動の前記予測モデル（４３）に従ってそして人体の解剖学的構造の生体力学的モデル（６０）に従って連続的且つリアルタイムに更新される、請求項１又は２に記載のシステム（１０）。

【請求項4】

前記制御ユニット（１３）はさらに、医療機器により追随されそして前記解剖学的モデル（５１）の前記位置／配向に従ってリアルタイムで更新される所定経路を、前記実画像上にオーバーレイされた拡張現実コンテンツの形式で前記解剖学的モデル（５１）上に表示するように構成される、請求項３に記載のシステム（１０）。

【請求項5】

前記医療機器により追随される前記所定経路は手術前医用画像上で予め定義され、そして前記制御ユニット（１３）は、前記手術前医用画像を受信するように、そして前記経路を前記解剖学的モデル（５１）上に表示するために前記手術前画像を前記診療前医用画像（５０）へ再アライメントするように構成される、請求項４に記載のシステム（１０）。

【請求項6】

前記医療行為者（３１）が前記解剖学的モデル（５１）上の特定ロケーションを標的とすることを可能にする相互作用デバイスをさらに含む請求項４に記載のシステム（１０）であって、前記医療機器により追随される前記所定経路は前記相互作用デバイスを使用することにより前記医療行為者により定義される、システム（１０）。

【請求項7】

前記制御ユニット（１３）は、以下の要素：
－前記当該生体構造内の様々な解剖学的構造、
－前記当該生体構造内で治療される領域、
－前記外科診療のパラメータから推定される剥離領域、及び
－前記当該生体構造内で治療される領域の剥離マージンであって前記治療される領域と前記推定剥離領域を比較することにより判断された剥離マージン、
の中から前記解剖学的モデル（５１）上の少なくとも１つの要素をセグメント化し、前記実画像上にオーバーレイされた拡張現実コンテンツの形式で前記解剖学的モデル（５１）上に前記セグメント化された要素を表示するように構成され、前記セグメント化された要素は前記解剖学的モデルの前記位置／配向に従ってリアルタイムで更新される、請求項３乃至６のいずれか一項に記載のシステム（１０）。

【請求項8】

前記制御ユニット（１３）は、外科治療パラメータに関する少なくとも１つの仮想構成オブジェクトを前記拡張現実コンテンツの形式で前記表示デバイス（１２）上に表示するように構成され、前記システム（１０）は、前記医療行為者（３１）が前記パラメータの特定値を選択するために前記仮想構成オブジェクトと相互作用することを可能にする相互作用デバイスを含む、請求項１乃至７のいずれか一項に記載のシステム（１０）。

【請求項9】

前記表示デバイス（１２）は拡張現実ヘッドセットへ組み込まれる表示画面（１２ａ）である、請求項１乃至８のいずれか一項に記載のシステム（１０）。

【請求項10】

前記制御ユニット（１３）は前記医療行為者（３１）の頭の位置／配向に従って拡張現実コンテンツの位置／配向を修正するように構成される、請求項１乃至９のいずれか一項に記載のシステム（１０）。

【請求項11】

前記医療行為者（３１）の頭の位置／配向は医療行為者頭運動センサを使用することにより判断される、請求項１０に記載のシステム（１０）。

【請求項12】

請求項１乃至１１のいずれか一項に記載の拡張現実ナビゲーションシステム（１０）により形成されるアセンブリ及び患者（３０）の当該生体構造上の外科診療において医療行為者（３１）を支援するための医療ロボット（７０）であって、前記医療ロボット（７０）は：
－可動基部（７１）、
－その一端が前記可動基部（７１）に固定され、他端は医療機器（７４）を保持するように意図されたツールガイド（７３）を有する多関節アーム（７２）、及び
－手術行為が所定経路に沿って前記医療機器（７４）により行われることを可能にする前記多関節アーム（７２）の構成を判断するように構成された制御ユニット（７５）であって、前記多関節アームの前記構成は、前記マーカ（２０）の位置／配向に関係する情報であって前記ナビゲーションシステム（１０）により送信される情報に従って判断される、制御ユニット（７５）を含む、アセンブリ及び医療ロボット（７０）。

【請求項13】

前記マーカ（２０）の位置／配向に関係する前記情報は、前記第１の瞬間（ｔ１）における前記マーカ（２０）の位置／配向と前記第２の瞬間（ｔ２）における前記マーカ（２０）の位置／配向との差が所定閾値未満であるという指示である、請求項２と組み合わせた請求項１２に記載のアセンブリ。

【請求項14】

前記マーカ（２０）の位置／配向に関係する前記情報は、前記患者の前記呼吸サイクル中の前記解剖学的モデル（５１）の位置／配向を指示する予測モデルに対応し、前記医療ロボット（７０）の前記制御ユニット（７５）は、前記解剖学的モデルの位置／配向を指示する前記予測モデルに従って前記多関節アーム（７２）の構成を連続的に且つリアルタイムに調節するように構成される、請求項３と組み合わせた請求項１２に記載のアセンブリ。

【請求項15】

前記拡張現実ナビゲーションシステム（１０）の前記制御ユニット（１３）は、
－前記患者（３０）の体の外皮をモデル化し、
－前記医療ロボット（７０）の前記多関節アーム（７２）又は前記ツールガイド（７３）の位置／配向を判断し、
－前記医療ロボット（７０）の前記多関節アーム（７２）又は前記ツールガイド（７３）と前記患者（３０）の外皮との間の距離が所定閾値未満であると衝突のリスクがある状況を検出するように構成される、請求項１２乃至１４のいずれか一項に記載のアセンブリ。

【請求項16】

前記拡張現実ナビゲーションシステム（１０）の前記制御ユニット（１３）は、前記マーカ（２０）の運動の前記予測モデル（４３）に対する前記マーカ（２０）の位置／配向の偏差が所定閾値を越えると前記医療機器（７４）からの傷害のリスクがある状況を検出するように構成される、請求項１２乃至１５のいずれか一項に記載のアセンブリ。

【請求項17】

前記医療ロボット（７０）の前記ツールガイド（７３）は前記医療機器（７４）が瞬時に放出されることを可能にするアクチュエータを含み、前記アクチュエータは前記医療ロボット（７０）の前記制御ユニット（７５）により命令され、前記拡張現実ナビゲーションシステム（１０）の前記制御ユニット（１３）は、前記傷害のリスク状況が検出されると前記医療機器（７４）を瞬時に放出する命令を前記医療ロボット（７０）の前記制御ユニット（７５）へ送信するように構成される、請求項１６に記載のアセンブリ。

【請求項18】

前記多関節アーム（７２）は、前記多関節アーム（７２）のいくつかの異なる候補構成（８１，８２）が前記手術行為を前記所定経路に沿って前記医療機器（７４）により行われることを可能にするように少なくとも６つの自由度を有し、
前記拡張現実ナビゲーションシステム（１０）の前記制御ユニット（１３）は、前記候補構成（８１，８２）を、前記実画像上にオーバーレイされた拡張現実コンテンツの形式で前記表示デバイス（１２）上に表示するように及び前記様々な候補構成（８１，８２）の中から１つの特定構成の選択に関係する指示を前記医療行為者（３１）により受信するように構成される、請求項１２乃至１７のいずれか一項に記載のアセンブリ。

【請求項19】

前記医療機器（７４）が前記所定経路に沿って前記患者（３０）の体内へ挿入されると、前記拡張現実ナビゲーションシステム（１０）の前記制御ユニット（１３）は、前記患者（３０）の体内へ挿入された前記医療機器（７４）の一部を、前記実画像上にオーバーレイされた拡張現実コンテンツの形式で前記表示デバイス（１２）上に表示するように構成される、請求項１２乃至１８のいずれか一項に記載のアセンブリ。

【請求項20】

前記拡張現実ナビゲーションシステム（１０）の前記制御ユニット（１３）は、前記医療機器（７４）と当該生体構造上の標的点（５２）との間の距離を計算し、そして前記実画像上にオーバーレイされた拡張現実コンテンツの形式で前記表示デバイス（１２）上に表示するように、及び／又は前記医療機器（７４）が前記標的点（５２）に到達した瞬間を検出するように構成される、請求項１９に記載のアセンブリ。

【発明の詳細な説明】

【技術分野】

【0001】

発明の分野
本発明はロボット支援型最小侵襲外科診療の文脈で使用される機器の分野に関する。特に、本発明は、外科診療を行う際に医療行為者を支援するために医療ロボットと協力するように意図された拡張現実ナビゲーションシステムに関する。

【背景技術】

【0002】

先行技術
最小侵襲外科診療は１つ又は複数の医療機器を患者の当該生体構造内へ挿入することにその本質がある。例えば、最小侵襲外科診療は検体を採取する又は腫物などの病巣を剥離することを目的とし得る。

【0003】

最小侵襲外科診療では、患者の当該生体構造は通常、医療行為者が肉眼で見ることはできない。医療機器の挿入は通常、医用画像により誘導される。医療機器が挿入され得る精度を改善するために、最小侵襲診療はロボットデバイスにより支援され得る。当該生体構造を医療行為者に可視にするために、当該生体構造の医用画像のコンテンツを、患者の体上にオーバーレイされた拡張現実コンテンツへ変換することが可能である。しかし、外科診療中に当該生体構造内への医療機器の挿入を監視するためには、無数の医用画像を取得することが必要であり、そして、これは侵襲手段（例えば内視鏡）を使用すること、又はそうでなければ患者を外科診療の期間中にわたり放射線に晒す医療撮像デバイスを使用することを伴う。

【0004】

軟質臓器の特定のケースでは、医用画像は、呼吸に伴う運動を、医療機器の挿入の結果としての臓器の局部変形により又はそうでなければ診療の瞬間における患者の不随意運動により再生することができない。したがって、当該生体構造内の病巣の位置は医用画像の取得の時と診療の時との間で異なり得る。医療機器の挿入が医用画像に基づいて計画されれば、病巣が医療機器により精密に到達されない可能性があるというリスクがある。

【0005】

したがって、最小侵襲外科診療を行う際に医療行為者を支援する現在の手段は、患者の呼吸、当該生体構造の内部変形、又は外科診療の期間の患者の不随意運動に伴う運動を簡単且つ信頼できるやり方で医療行為者が考慮することを可能にすることができない。

【発明の概要】

【課題を解決するための手段】

【0006】

発明の概要
本発明の目的は従来技術の不都合（特には上に記載されたもの）のすべて又はいくつかを克服することである。

【0007】

そのために、そして第１の態様によると、本発明は、患者の当該生体構造に対し外科診療を行う際に医療行為者を支援するための拡張現実ナビゲーションシステムを提案する。前記システムは特に、以下のものを含む：
－実画像を取得するためのカメラであって、医療行為者によりその頭上に装着されるように意図されたカメラ、
－カメラにより取得された実画像を、前記実画像上にオーバーレイされた拡張現実コンテンツと共にリアルタイムで表示するための表示デバイス、
－カメラ及び表示デバイスへ接続される制御ユニット。

【0008】

拡張現実ナビゲーションシステムの前記制御ユニットは以下のことをするように構成される：
－前記当該生体構造の近傍の患者上に置かれるマーカの位置を実画像上で検出すること、
－患者の１つ又は複数の呼吸サイクルに対応する記録期間中にマーカにより追随される運動を記録すること、
－前記記録期間に属する第１の瞬間であって医用撮像デバイスによる患者の当該生体構造の診療前医用画像の取得の瞬間に対応する第１の瞬間におけるマーカの位置を判断すること、
－記録期間中にマーカにより追随される運動からマーカの運動の予測モデルを定式化すること。

【0009】

本出願では、そして別途指示されなければ、用語「位置」は、一般的には三次元座標系である所与の基準系内のオブジェクトのロケーション及び配向の両方の概念を包含する。用語「姿勢」は、空間内のオブジェクトの位置と配向とのこの組み合わせを指示するために英語文献において使用される。したがって本出願ではそして別途指示されなければ、用語「位置」は用語「位置／配向」と等価である。

【0010】

最小侵襲外科診療は、例えば、検体を採取するための、病巣（例えば腫物）を剥離するための、インプラント（例えばネジ、プレート、人工器官）を位置決めするための、又は他の材料（例えばセメント又は人工円盤）を挿入するための１つ又は複数の医療機器を患者の当該生体構造（例えば肝臓、肺、腎臓などの軟質臓器、又は骨などの剛質構造）内へ挿入することにその本質がある。このタイプの診療では、当該生体構造は裸眼に対し可視ではない。

【0011】

有利には、拡張現実ナビゲーションシステムのカメラは、カメラが患者の直接視野方向を維持するように（そして特には医療行為者がこの直接視野方向を妨害し得ないように）医療行為者によりその頭上に装着される。

【0012】

拡張現実ナビゲーションシステムは情報が拡張現実コンテンツの形式で表示デバイス上に表示されることを可能にする。このことは、この情報が実画像上にオーバーレイされることを意味しており、そうでなければ医療行為者に対し可視ではないだろう。有利には、表示デバイスはまた、医療行為者の眼の直ぐ前で（例えばヘッドセット又は眼鏡／ゴーグルのマスク／フェースピースの形式で）医療行為者によりその頭上に装着され得る。このようなデバイスは、凝視を患者から背けることなく医療行為者が表示デバイスから情報を読むことを可能にする。これはまた、診療が行われる部屋のサイズを制限することを可能にする。しかし、表示デバイスが、変形形態では、診療が行われる部屋内に存在する何人かの個人に対し可視である画面（例えば、患者の上の手術台へ固定された画面）となるのを妨げるものは何もない。

【0013】

制御ユニットもまた、医療行為者によりその頭上に装着され得る。代替的に、制御ユニットは、医療行為者によりその頭上に装着されたエンティティと異なるエンティティに属し得る。制御ユニットは例えば有線通信手段又は無線通信手段を介しカメラ及び表示デバイスへ接続される。

【0014】

当該生体構造の近傍の患者上に置かれるマーカは、既知のジオメトリの１つ又は複数の光学マーカのおかげで拡張現実ナビゲーションシステムにより識別され得る。このマーカはまた、医用撮像デバイスにより（例えばコンピュータ断層撮像法、磁気共鳴、超音波、断層撮像法、陽電子断層撮像法などにより）取得される医用画像上で可視である既知のジオメトリの放射線不透過マーカを含む。診療前医用画像は例えば患者の呼吸が遮断される瞬間に取得される。しかし、別の例では、患者が自由に息をしている瞬間に（例えば呼吸が吸気の終わりに又は呼気の終わりに停滞状態に達すると）診療前医用画像が取得されることを妨げるものは何もない（これらの停滞状態のうちの１つに達すると患者の呼吸に関連する運動は２～３秒間無視可能である）。

【0015】

診療前医用画像に基づき外科診療を計画することが可能であり、特には、前記外科診療を行うために医療機器がマーカの位置に関し採用する必要がある位置を定義することが可能である。しかし、当該生体構造の位置は、患者の呼吸、臓器の内部変形、又は診療の瞬間における患者の不随意運動に伴う運動のためにマーカの位置に対して変動し得る。したがって、外科診療が行われる場合、患者は診療前医用画像が取得された瞬間の位置と呼吸サイクルの同じ位置又は同じ相に在るということを保証することが適切である。

【0016】

本発明では、制御ユニットは、診療前医用画像が取得された瞬間におけるマーカの位置を判断するためにそして記録された運動からマーカの運動の予測モデルを定式化するために患者の１つ又は複数の呼吸サイクル中にマーカにより追随される運動を記録するように構成される。

【0017】

このような措置は特に、診療前医用画像上で外科診療を計画することと、医療機器の挿入の瞬間にマーカは診療前医用画像が取得された瞬間におけるマーカの位置と同じ位置に在るということを保証すること（又は、換言すれば、医療機器の挿入の瞬間に患者は診療前医用画像が取得された瞬間に在ったのと呼吸サイクルの同じ位置又は同じ相に在るということを保証すること）とを可能にする。

【0018】

さらに、マーカの運動の予測モデルは当該生体構造の三次元解剖学的モデル（診療前医用画像から生成される）を連続的に且つリアルタイムに更新するために使用され得る。次に、この解剖学的モデルは、実画像上にオーバーレイされた拡張現実コンテンツの形式で表示デバイス上に表示され得る。

【0019】

その最も単純な形式では、予測モデルは、呼吸サイクル中に又はいくつかの呼吸サイクル中に記録されるマーカの運動に対応する。しかし、有利には、予測モデルはいくつかの連続呼吸サイクル中にマーカにより採用された位置に関する統計的計算を使用することにより定式化され得る。予測モデルを定式化するために機械学習アルゴリズムに頼ることが特に考えられる。

【0020】

医用撮像デバイスは拡張現実ナビゲーションシステムと異なるエンティティである。診療前医用画像が取得された瞬間を拡張現実ナビゲーションシステムが検出するように様々な考えられる同期手段が存在する。

【0021】

拡張現実ナビゲーションシステムは実画像上のマーカの位置を検出する。マーカの位置のこの検出は恐らく、光学的ナビゲーションデバイス（ステレオカメラ、飛行時間カメラなど）又は電磁気的ナビゲーションデバイスにより容易にされ得る又はより信頼可能にされ得る。

【0022】

特定の実施形態では、本発明はさらに、孤立した状態で又は任意の技術的に可能な組み合わせで考えられる以下の特徴のうちの１つ又は複数を含み得る。

【0023】

特定の実施形態では、制御ユニットはさらに、以下のこと：
－患者の当該生体構造内への医療機器の挿入の候補瞬間に対応する第２の瞬間を予測モデルから判断すること、
－第１の瞬間におけるマーカの位置と第２の瞬間におけるマーカの位置とを比較すること、そして
－比較の結果を、実画像上にオーバーレイされた拡張現実コンテンツの形式で表示デバイス上に表示すること
をするように構成される。

【0024】

第１の瞬間（記録期間中の診療前医用画像の取得の瞬間に対応する）におけるマーカの位置と第２の瞬間（当該生体構造内への医療機器の挿入に対応する）におけるマーカの位置とを比較することは、診療前医用画像が取得された瞬間にマーカがマーカにより占められた位置と同じ位置にマーカがあるか否かを照査こと（又は、換言すれば、医療機器の挿入の瞬間に患者が、診療前医用画像が取得された瞬間に在ったのと呼吸サイクルの同じ相にあるかどうかを照査すること）を可能にする。第２の瞬間は例えば患者の呼吸が遮断された瞬間に対応する。しかし、患者が診療中に自由に息をするのを妨げるものは何もない。第２の瞬間は、患者の呼吸により引き起こされるマーカの運動と予測モデルととを同期することにより予測モデルを使用することにより判断され得る。

【0025】

特定の実施形態では、制御ユニットはさらに、医用撮像デバイスから診療前医用画像を受信し、患者の当該生体構造の三次元解剖学的モデルを診療前医用画像から生成し、そして前記解剖学的モデルを、実画像上にオーバーレイされた拡張現実コンテンツの形式で表示デバイス上に表示するように構成される。実画像上にオーバーレイされた解剖学的モデルの位置は、マーカの運動の予測モデルに従ってそして人体の解剖学的構造の生体力学的モデルに従って連続的且つリアルタイムに更新される。

【0026】

「生体力学的モデル」により意味するものは、人体の（そしてしたがって考慮される解剖学的区域内の患者の）様々な解剖学的構造（筋肉、腱、骨格、臓器、血管網など）の数学モデル（前記解剖学的構造の変形を前記解剖学的構造間の機械的相互作用と共にモデル化することを可能にする）である。したがって、このような生体力学的モデルは特に、例えば前記患者の外皮に対する修正、臓器の血管の位置の修正、臓器の外皮に対する修正などにより引き起こされる患者の内部解剖学的構造の変形及び機械的相互作用（したがって運動）を判断することを可能にする。このような修正は例えば、患者の呼吸（肋骨及び隔膜の運動により引き起こされる臓器の運動）により、患者の位置の変化（重力により引き起こされる臓器の運動）により、医療機器との接触（局部変形）などにより引き起こされ得る。

【0027】

マーカの運動は例えば患者の呼吸により引き起こされるような患者の肋骨の運動を指示する。したがって、生体力学的モデルは、どのように解剖学的モデルの位置が患者の呼吸サイクルの経過中にこれらの運動により影響されるかを定義することを可能にする。

【0028】

このような措置を使用することにより、医療行為者は、当該生体構造が患者の体の内部に在るので裸眼に対し可視でないとしても患者の体の外皮「を通して」表示デバイス上に当該生体構造を視ることができる。

【0029】

特定の実施形態では、制御ユニットはさらに、医療機器により追随されそして解剖学的モデルの位置に従ってリアルタイムで更新される所定経路を、実画像上にオーバーレイされた拡張現実コンテンツの形式で解剖学的モデル上に表示するように構成される。

【0030】

医療機器により追随されそして例えば診療前医用画像から判断される経路は外科診療の計画からのデータである。この経路は特には、医療機器が前記外科診療を行うためにマーカの位置に関して採用する位置を定義する。この経路は例えば、当該生体構造内で治療される領域（例えば腫物）内で到達される標的点と当該生体構造の表面における医療機器の入口点とを含む。

【0031】

特定の実施形態では、医療機器により追随される所定経路は手術前医用画像上で予め定義され、そして制御ユニットは、経路を解剖学的モデル上に表示するために、前記手術前医用画像を受信しそして手術前画像を診療前医用画像へ再アライメントするように構成される。

【0032】

「手術前」画像により意味するものは、病状を治療するための外科診療に先立つ数日、数週間、又は数か月前に前記病状が診断された画像である。「診療前」画像により意味するものは、患者が診療テーブル上に据え付けられたときであるが手術行為が行われる前（つまり医療機器が挿入される前）の外科診療の瞬間に取得された画像である。

【0033】

特定の実施形態では、本システムはさらに、医療行為者が解剖学的モデル上の特定ロケーションを標的とすることを可能にする相互作用デバイスを含み、医療機器により追随される所定経路は相互作用デバイスを使用することにより医療行為者により定義される。

【0034】

特定の実施形態では、制御ユニットは、以下の要素の中から解剖学的モデル上の少なくとも１つの要素をセグメント化するように構成され：
－当該生体構造内の様々な解剖学的構造、
－当該生体構造内で治療される領域、
－外科診療のパラメータから推定される剥離領域、
－当該生体構造内で治療される領域の剥離マージンであって治療される領域と推定剥離領域を比較することにより判断される剥離マージン、そして実画像上にオーバーレイされた拡張現実コンテンツの形式で解剖学的モデル上に前記セグメント化された要素を表示するように構成される。次に、セグメント化された要素は解剖学的モデルの位置に従ってリアルタイムで更新される。

【0035】

「解剖学的構造」により意味するものは例えば臓器、骨、血管などである。治療される領域は例えば剥離される腫物に対応する。剥離領域は、例えば治療のタイプ、治療のために使用される医療機器のタイプ、治療の期間、治療の電力などの外科診療パラメータに従って推定され得る。

【0036】

特定の実施形態では、制御ユニットは、外科治療パラメータに関する少なくとも１つの仮想構成オブジェクトを拡張現実コンテンツの形式で表示デバイス上に表示するように構成される。本システムは、医療行為者が前記パラメータの特定値を選択するために前記仮想構成オブジェクトと相互作用することを可能にする相互作用デバイスを含む。

【0037】

仮想構成オブジェクトは、例えば行われる治療の１つの特定パラメータ値を定義することを可能にするメニュー、ボタン、多肢選択リストなどに対応する。

【0038】

特定の実施形態では、表示デバイスは医療行為者により目の高さで装着されるように意図されている。

【0039】

特定の実施形態では、制御ユニットは医療行為者の頭の位置に従って拡張現実コンテンツの位置を修正するように構成される。

【0040】

特定の実施形態では、医療行為者の頭の位置は、医療行為者頭運動センサを使用することにより判断される、又は実画像上のマーカの位置から直接判断される。

【0041】

本発明の第２の態様は、前述の実施形態のうちの任意の１つに従って拡張現実ナビゲーションシステムにより形成されるアセンブリと、患者の当該生体構造上の外科診療において医療行為者を支援するための医療ロボットとに関する。医療ロボットは可動基部、多関節アーム及び制御ユニットを含む。多関節アームの一端は可動基部に固定され、そして他端は医療機器を保持するように意図されたツールガイドを有する。医療ロボットの制御ユニットは、手術行為が所定経路に沿って医療機器により行われることを可能にする多関節アームの構成を判断するように構成される。多関節アームの構成は、マーカの位置に関係しそしてナビゲーションシステムにより送信される情報に従って判断される。

【0042】

拡張現実ナビゲーションシステム及び医療ロボットは互いに協力する。拡張現実ナビゲーションシステム及び医療ロボットは例えばメッセージを交換するための通信手段を含む。これらの通信手段は有線タイプ又は無線タイプのものであり得る。

【0043】

拡張現実ナビゲーションシステムは、医療機器が所定経路に沿って手術行為を行うことを可能にする構成で医療ロボットがその多関節アームを配置し得るようにマーカの位置に関係する医療ロボット情報を送信する。医療機器により追随される経路は、例えば診療前医用画像に基づき判断された外科診療の計画からのデータである。

【0044】

医療行為は、医療行為者により行われ得る（そして、この場合、医療ロボットの多関節アームは医療行為者が医療行為を行う際に支援するために主として医療機器を誘導するために使用される）、又は医療ロボットにより直接行われ得る。

【0045】

特定の実施形態では、本発明はさらに、孤立した状態で又は任意の技術的に可能な組み合わせで考えられる以下の特徴のうちの１つ又は複数を含み得る。

【0046】

特定の実施形態では、マーカの位置に関係する情報は、第１の瞬間（記録期間中の診療前医用画像の取得の瞬間に対応する）におけるマーカの位置と第２の瞬間（当該生体構造内への医療機器の挿入の候補瞬間に対応する）におけるマーカの位置との比較の結果が特定判断基準を満たしたという表示である。

【0047】

例えば、患者の呼吸は医療機器を挿入するために遮断され得る。呼吸が遮断された瞬間に、マーカの位置が診療前医用画像が取得された瞬間におけるマーカの位置に十分に近ければ、拡張現実ナビゲーションシステムは、診療が診療前医用画像に基づき計画通りには起こり得るという指示を医療ロボットへ送信する（患者は、診療前医用画像が取得された瞬間のものと同じ呼吸サイクルの同じ相にあるので）。

【0048】

この指示は、医療行為者が比較の結果を検証した後に拡張現実ナビゲーションシステムにより送信され得る、又はそうでなければ例えば位置の差が所定閾値未満であれば自動的に送信され得る。

【0049】

特定の実施形態では、マーカの位置に関係する情報は、患者の呼吸サイクル中の解剖学的モデルの位置を指示する予測モデルに対応する。医療ロボットの制御ユニットは、解剖学的モデルの位置を指示する前記予測モデルによる多関節アームの構成を連続的に且つリアルタイムに調節するように構成される。

【0050】

このような措置により、多関節アームは、外科診療が患者の呼吸サイクル内のどの瞬間であっても行われることを可能にする構成で位置決めされる。

【0051】

特定の実施形態では、拡張現実ナビゲーションシステムの制御ユニットは、患者の体の外皮をモデル化するように、医療ロボットの多関節アーム又はツールガイドの位置を判断するように、そしてツールガイドと患者の外皮との間の距離が所定閾値未満であると衝突のリスクがある状況を検出するように構成される。

【0052】

患者の体の外皮は例えば実画像内の患者の体の輪郭の検出に基づきモデル化される。このような措置は、多関節アームと患者との間の距離及びツールガイドと患者との間の距離を連続的に且つリアルタイムに測定することを可能にし得る。次に、当面の措置が、多関節アームを位置決めする際の多関節アーム又はツールガイドと患者との間の望ましくない接触を回避するために採用され得る（例えば、患者の体重が、診療を計画する際に推定された体重より重い場合）。

【0053】

特定の実施形態では、制御ユニットは多関節アーム又はツールガイドと患者の外皮との間の距離が不十分（例えば５ｃｍ未満又はさらには１ｃｍ未満）であると直ちに多関節アームの運動を遮断する。

【0054】

特定の実施形態では、拡張現実ナビゲーションシステムの制御ユニットは、マーカの運動の予測モデルに対するマーカの位置の偏差が所定閾値を越える場合に医療機器からの傷害のリスクがある状況を検出するように構成される。このような措置は、医療機器の挿入の経過中に、又は医療機器が挿入されたがツールガイドから放出されなかった場合に、患者が予期しない運動を行う状況を検出することを可能にする。このような状況は事実上、患者が医療機器により損傷されること（例えば医療機器による当該生体構造の健康な組織又は患者の体の別の部分の損傷）に至り得る。このとき、このような状況が検出された場合に患者を傷つけることを回避するために当面の措置が採用され得る。

【0055】

特定の実施形態では、医療ロボットのツールガイドは、医療機器が瞬時に放出されることを可能にするアクチュエータを含む。アクチュエータは医療ロボットの制御ユニットにより命令される。拡張現実ナビゲーションシステムの制御ユニットは、傷害のリスク状況が検出された場合に医療機器を瞬時に放出する命令を医療ロボットの制御ユニットへ送信するように構成される。

【0056】

特定の実施形態では、多関節アームは、多関節アームのいくつかの異なる候補構成が手術行為を所定経路に沿って医療機器により行われることを可能にするように少なくとも６つの自由度を有する。拡張現実ナビゲーションシステムの制御ユニットは、前記候補構成を、実画像上にオーバーレイされた拡張現実コンテンツの形式で表示デバイス上に表示するようにそして様々な候補構成の中から１つの特定構成の選択に関係する指示を医療行為者により受信するように構成される。

【0057】

様々な候補構成は、実画像上にオーバーレイされ、そして医療ロボットの存在が外科診療中に妨害にならない又はほとんど妨害にならないように医療行為者が１つの特定構成を選択することを可能にする。

【0058】

特定の実施形態では、医療機器が所定経路に沿って患者の体内へ挿入されると、拡張現実ナビゲーションシステムの制御ユニットは、患者の体内へ挿入された医療機器の一部を、実画像上にオーバーレイされた拡張現実コンテンツの形式で表示デバイス上に表示するように構成される。この目的を達成するために、医療機器の位置は、例えば「Computer Vision」タイプの既知アルゴリズムを使用することによりカメラにより取得された実画像上で拡張現実ナビゲーションシステムの制御ユニットにより検出される。

【0059】

このような配置を使用することにより、医療行為者は、裸眼に対し可視でない医療機器の一部分が実画像上にオーバーレイされる限りにおいて患者の当該生体構造内への医療機器の挿入を連続的に且つリアルタイムに監視することができる。

【0060】

特定の実施形態では、拡張現実ナビゲーションシステムの制御ユニットは、医療機器と当該生体構造上の標的点との間の距離を計算し、そしてこれを、実画像上にオーバーレイされた拡張現実コンテンツの形式で表示デバイス上に表示するように構成される、及び／又は医療機器が前記標的点に到達した瞬間を検出するように構成される。

【0061】

図面の説明
本発明は、非限定的例として与えられそして図１～図１０を参照することによりなされる以下の説明を読むことでより良く理解されることになる。

【図面の簡単な説明】

【0062】

【図1】本発明による拡張現実ナビゲーションシステムの一実施形態の概略描写である。

【図2】当該生体構造の近傍の患者上に置かれるように意図されたマーカの概略描写である。

【図3】ナビゲーションシステムの座標系の平面ＸＹ内の記録の期間中にマーカにより追随される運動の図である。

【図4】記録期間中に主軸に沿ってマーカにより追随される運動の連続線図と共にマーカの運動の予測モデルの折れ線描写である。

【図5】患者の当該生体構造の診療前医用画像の取得の瞬間に対応する第１の瞬間の記録期間中の判断の図解である。

【図6】医療機器の挿入の候補瞬間に対応する第２の瞬間の判断、並びに第１の瞬間におけるマーカの位置と第２の瞬間におけるマーカの位置との間の比較の図解である。

【図7】診療前医用画像からの当該生体構造の三次元解剖学的モデルの生成の概略描写である。

【図8】マーカの運動の予測モデルと人体の解剖学的構造の生体力学的モデルとによる解剖学的モデルのリアルタイム且つ連続的更新の概略描写である。

【図9】本発明による拡張現実ナビゲーションシステムと外科診療を行う際に医療行為者を支援するために使用される医療ロボットと間の共同作業の図解である。

【図10】外科診療が行われることを可能にする医療ロボットの多関節アームのいくつかの候補構成の拡張現実コンテンツの形式のディスプレイの概略描写である。

【発明を実施するための形態】

【0063】

これらの図において、１つの図から別の図へ同一のままである参照は同一又は類似要素を指す。明確化のために、描写される要素は別途述べない限り必ずしも同じスケールで描かれない。

【0064】

発明の一実施形態の詳細な説明
図１は、診療テーブル３２上に載る患者３０の当該生体構造に対し外科診療を行う際に医療行為者３１を支援するための拡張現実ナビゲーションシステム１０の一実施形態を概略的に描写する。

【0065】

拡張現実ナビゲーションシステム１０は実画像を取得するためのカメラ１１を含む。カメラ１１は医療行為者によりその頭上に装着されるように意図されている。図１において考察され示される例では、システム１０は拡張現実ヘッドセットの形式を取る。したがって、カメラ１１はヘッドセットへ組み込まれる。このような配置は、ナビゲーションシステム１０がカメラ１１の患者３０に対する直接視野方向を維持することを可能にする。特に、医療行為者３１はこの直接視野方向を妨害することができない（診療が行われる部屋内の柱上に取り付けられれば妨害することができるであろう）。

【0066】

拡張現実ナビゲーションシステム１０はまた、カメラ１１により取得された実画像を、前記実画像上にオーバーレイされた拡張現実コンテンツと共にリアルタイムで表示するための表示デバイス１２を含む。有利には、表示デバイス１２はまた、表示デバイスが拡張現実ヘッドセットへ組み込まれた表示画面１２ａである図１に示す例においてそうであるように医療行為者３１の眼の直ぐ前に医療行為者によりその頭上に装着されることができる。このような配置は、患者３０からのその凝視をそらす必要無く医療行為者３１が表示デバイス上の情報を読むことを可能にする。代替的に又は追加的に、表示デバイス１２はまた、例えば診療テーブル３２へ固定された表示画面１２ｂであって診療が行われる部屋内に存在する何人かの個人により可視である表示画面１２ｂの形式を取り得る。

【0067】

拡張現実ナビゲーションシステム１０はまた、カメラ１１及び表示デバイス１２へ接続される制御ユニット１３を含む。従来、制御ユニットは有線通信手段を介しカメラ及び表示デバイス１２へ接続され得る（特には、これらの要素のすべてが医療行為者により装着された拡張現実ヘッドセットへ組み込まれる場合）、又は無線通信手段を介しカメラ及び表示デバイス１２へ接続され得る（例えば、表示デバイス１２ｂ及び／又は制御ユニット１３が少し離れて位置する場合）。

【0068】

制御ユニット１３は、実世界内の個々の要素を検出しそして次にその上に仮想コンテンツを重畳するために「Computer Vision」原理に基づき動作する拡張現実アルゴリズムを実行するために１つ又は複数のプロセッサを含む。代替的に又は追加的に、制御ユニット１３は、これらのアルゴリズムを実行するために１つ又は複数のプログラマブル論理回路（ＦＰＧＡ、ＰＬＤなど）及び／又は１つ又は複数の専用集積回路（ＡＳＩＣ）及び／又は一群の個別電子部品などを含む。換言すれば、制御ユニットはこれらの拡張現実アルゴリズムを実行するためにソフトウェア及び／又はハードウェア手段により構成される。

【0069】

制御ユニット１３は特に、当該生体構造の近傍の患者３０上に置かれるマーカ２０の位置を実画像上で検出するように構成される。

【0070】

制御ユニット１３はまた、医療行為者により操作される医療機器の位置、又は医療行為者を支援するために使用される医療ロボットの多関節アームの端へ固定されるツールガイドにより保持される医療機器の位置を実画像上で検出するように構成され得る。

【0071】

図２は当該生体構造の近傍の患者上に置かれるように意図されたこのようなマーカ２０を概略的に描写する。図２において考察され示される例では、マーカ２０は、そのジオメトリ及びそれぞれの位置が既知である３つの光学マーカ２１を含む。このような配置は、ナビゲーションシステム１０の固定基準系におけるマーカ２０の位置を高精度に判断することを可能にする。この基準系は、例えば診療テーブル３２などの固定対象物に基づき定義される三次元座標系である。

【0072】

マーカ２０はまた、そのジオメトリ及びそれぞれの位置が既知である放射線不透過マーカ２２であって医用撮像デバイスにより（例えばコンピュータ断層撮像法、磁気共鳴、超音波、断層撮像法、陽電子断層撮像法などを使用することにより）取得される診療前医用画像内で可視である放射線不透過マーカ２２を含む。したがって、マーカ２０の位置に対する当該生体構造の標的解剖学的区域の位置を高精度に判断することと診療前医用画像に基づき外科診療を計画することとが可能である。外科診療を行うためにマーカ２０の位置に対し医療機器が採用する位置を定義することが特に可能である。

【0073】

しかし、当該生体構造の位置は、患者の呼吸に伴う、臓器の内部変形に伴う、又は診療の瞬間における患者の不随意運動に伴う運動の結果として、マーカ２０の位置に対して変動し得る。したがって、外科診療が行われる場合に患者は診療前医用画像が取得された瞬間に在ったのと呼吸サイクルの同じ位置又は同じ相に在るということを保証することが適切である。

【0074】

この目的を達成するために、制御ユニット１３は、患者３０の１つ又は複数の呼吸サイクル中にマーカ２０により追随される運動を記録するように、診療前医用画像が取得された瞬間におけるマーカ２０の位置を判断するように（暗黙的に、これは、制御ユニットが、第１に、診療前医用画像の取得の瞬間を判断し、そして第２に、捕捉の前記瞬間におけるマーカの位置を判断するように構成されるということを意味する）、そして記録された運動からマーカの運動の予測モデルを定式化するように構成される。次に、マーカの運動の予測モデルは、医療機器が患者の当該生体構造内へ挿入される第２の瞬間を判断することを可能にする。第２の瞬間は、第２の瞬間にマーカ２０の位置が第１の瞬間のマーカ２０の位置とほぼ同じになるようなやり方で判断される。これは、医療機器の挿入の瞬間（第２の瞬間）に患者は診療前医用画像が取得された瞬間（第１の瞬間）に在ったのと同じ位置又は呼吸サイクルの同じ相内に在るということを保証することを可能にする。制御ユニット１３は、第１の瞬間におけるマーカの位置と第２の瞬間におけるマーカの位置とを比較し、そして実画像上でオーバーレイされた拡張現実コンテンツの形式でこの比較の結果を表示デバイス上に表示するように構成され得る。

【0075】

図３は患者のいくつかの呼吸サイクルに対応する所定期間の記録期間中にマーカ２０により追随された運動４０の記録を一例として描写する。各点は、ナビゲーションシステム１０の座標系の平面ＸＹ内の時間の経過にわたりマーカ２０により採用された位置に対応する。この例ではマーカ２０の運動が図３の点線でプロットされた軸４４に主として沿うということが注記され得る。

【0076】

マーカ２０の運動４０は、患者の呼吸により引き起こされるような患者の肋骨の運動を指示する。マーカの運動のより良い解釈のために、そして患者の呼吸サイクルとの類推により、時間の経過にわたるマーカの振動運動を示す一次元曲線を取得することが好ましい。この一次元曲線を取得することを可能にする様々な方法が存在する。例えばマーカの運動が主に垂直方向であると考えること、そしてしたがってＹ軸だけを考慮することがあり得る。しかし、このようなケースでは、マーカの運動の振幅の一部は失われるだろう。別の例では、それらの重要成分という観点でマーカの位置の解析を行うことが考えられる。マーカの位置は特に、マーカの運動の主軸４４に対応する重要成分に従って表示され得る。

【0077】

図４は時間の経過にわたる主軸４４に沿った記録期間４２中のマーカ２０の運動４０を連続線で描写する。主軸４４に沿ったマーカ２０の位置ｐは縦座標軸に沿って描写され、時間は横軸上に描写される。記録期間は患者のいくつかの呼吸サイクル４１を含む。

【0078】

図４はまた、マーカ２０の運動の予測モデル４３であって記録期間４２中にマーカ２０により行われる運動４０から定式化された予測モデル４３を折れた線で描写する。図４において考察され示される例では、予測モデル４３は記録期間４２中に記録されたマーカ２０の運動４０の単純な繰り返しである。しかし、マーカの運動の予測モデルを取得するための他の方法が予想され得るということに注意すべきである。例えば、記録期間中に観測される呼吸サイクルの平均に対応する呼吸サイクルをモデル化することが考えられる。変形形態では、記録期間中に記録されるマーカの運動からマーカの運動の予測モデルを定式化するために機械学習アルゴリズムが使用され得る。

【0079】

図５は、記録期間４２に属する第１の瞬間ｔ１であって患者の当該生体構造の診療前医用画像が取得された瞬間に対応する第１の瞬間ｔ１の判断を示す。診療前医用画像は本発明によるナビゲーションシステムの一部を形成しない医用撮像デバイスにより取得されるということを思い出すべきである。

【0080】

拡張現実ナビゲーションシステム１０の制御ユニット１３が第１の瞬間ｔ１を判断することができるように恐らく使用され得る様々な方法が存在する。第１の例によると、医用撮像デバイスは例えば有線通信手段又は無線通信手段を介しナビゲーションシステム１０の制御ユニット１３へ接続され得る。この場合、医用撮像デバイスは診療前医用画像が取得された瞬間に指示を制御ユニット１３へ送信し得る。第２の例によると、第１の瞬間ｔ１におけるマーカ２０の位置は、患者が無呼吸の状態に入ると制御ユニット１３により自動的に記録される。この場合、呼吸器又は人工呼吸器デバイスが、例えば有線通信手段又は無線通信手段を介しナビゲーションシステム１０の制御ユニット１３へ接続され、そして患者の呼吸が遮断される又は無呼吸の状態に入ると直ちに制御ユニット１３へ指示を送信する。第３の例によると、第１の瞬間ｔ１におけるマーカ２０の位置は、患者が無呼吸の状態に置かれるとオペレータにより手動で記録される。第４の例によると、第１の瞬間ｔ１におけるマーカ２０の位置は、マーカ２０が２秒超の間（例えば、吸気の終わり又は呼気の終わりにおける呼吸サイクル内の停滞状態に対応する期間）実質的に不動であると直ちに制御ユニット１３により自動的に記録される。第５の例によると、Ｘ線検出器（例えば線量計又はシンチレータ）がナビゲーションシステム１０の制御ユニット１３へ接続され得る。この場合、Ｘ線検出器は診療前医用画像が取得された瞬間に指示を制御ユニット１３へ送信し得る。第２、第３、及び第４の例に関し、診療前医用画像は患者の呼吸が遮断された瞬間に取得される。第１及び第５の例に関して、患者の呼吸が遮断された瞬間に診療前医用画像が取得されることは必須ではない。

【0081】

図５に示す例では、第１の瞬間ｔ１は医用画像の取得の期間内の中央瞬間に対応する。したがって、前記瞬間ｔ１においてマーカ２０により採用された位置を判断することが可能である。しかし、第１の瞬間ｔ１は或る期間（医用画像又はさらにはいくつかの連続医用画像を取得するためにかかった時間に対応するＸ線露光時間）を有する可能性があるということに注意すべきである。この場合、第１の瞬間ｔ１においてマーカ２０により取られた位置はＸ線露光時間中にマーカ２０により採用された位置の平均から判断され得る。各位置において受信されるＸ線線量によりこの平均が重み付けられることも考えられる。

【0082】

図５に示す例では、診療前医用画像は患者の呼吸が遮断された瞬間に取得された。しかし、別の例では診療前医用画像が患者が自由に呼吸をしている瞬間において取得されることを妨げるものは何もない。

【0083】

図６は、医療機器の挿入の候補瞬間に対応する第２の瞬間ｔ２の判断と、第１の瞬間ｔ１におけるマーカの位置（「標的」位置）と第２の瞬間ｔ２におけるマーカの位置（「候補」位置）との比較とを示す。第２の瞬間ｔ２は、候補位置が多少なりとも標的位置に対応するように予測モデルから判断される。図６に示すように、マーカ２０の実際の運動は連続的に監視される。したがって、瞬間ｔ２におけるマーカ２０の候補位置間の比較は瞬間ｔ１におけるマーカ２０の標的位置に対し行われ得る。図６に示す例では、たまたま候補位置は標的位置とは懸け離れている。したがって新しい第２の瞬間ｔ２’が予測モデルから判断される。瞬間ｔ２’におけるマーカの位置は今回は標的位置の十分に近くである。これは、手術行為（医療機器の挿入）が診療前医用画像上で計画された瞬間ｔ２’に発生し得るということを意味する。

【0084】

候補位置と標的位置との比較を行うために公差帯が使用される。例えば、候補位置が標的位置の±１０％内であれば標的位置とほぼ同一あると考えられる。優先として、標的位置の±５％の公差帯域が使用される。

【0085】

比較の結果は、今が当該候補瞬間に計測器を挿入することを進めるために都合の良い時か否かを医療行為者３１に指示するために表示デバイス１２上に表示される。

【0086】

特定の実施形態では、拡張現実ナビゲーションシステム１０は、手術行為を行う際に医療行為者を支援するために使用される医療ロボットと協力するように、又は手術行為を直接自律的に行うように構成される。次に、比較の結果は、適切な場合には、手術行為を好適に行うための医療ロボットの多関節アームの位置決めを活性化するために、ナビゲーションシステム１０により医療ロボットへ送信される。

【0087】

手術行為を行うための適切な瞬間の判断とは独立に、そして図７及び図８に示すように、マーカ２０の運動の予測モデル４３はまた、診療前医用画像５０から制御ユニット１３により生成される当該生体構造の三次元解剖学的モデル５１を連続的に且つリアルタイムに更新するために使用され得る。次に、この解剖学的モデルは、実画像上にオーバーレイされた拡張現実コンテンツの形式で表示デバイス１２上に表示され得る。

【0088】

医用撮像デバイスにより取得された診療前医用画像を受信するために、制御ユニットは例えば有線通信手段又は無線通信手段を介し撮像デバイスへ接続される。別の例によると、制御ユニットは周辺メモリデバイス（例えば診療前医用画像が格納されたＵＳＢ（「ユニバーサルシリアルバス」の頭文字語）スティック）へ接続され得る。

【0089】

図７、８において考察され示される例では、当該生体構造は患者の肝臓であり、そして外科診療は前記当該生体構造内に存在する腫物を剥離しようとする。診療前医用画像５０はコンピュータ断層撮影法（ＣＴ：computed tomography）走査を行うことにより取得される。医用画像が取得された瞬間及びこの瞬間のマーカ２０の対応位置はナビゲーションシステム１０の制御ユニット１３により判断される。

【0090】

制御ユニット１３は実画像上でオーバーレイされた拡張現実コンテンツの形式で解剖学的モデル５１を表示デバイス１２上に表示するように構成される。しかし、患者の呼吸により引き起こされる運動が当該生体構造を移動させる。図８に示すように、制御ユニットは、解剖学的モデル５１の位置がマーカの運動の予測モデル４３に従ってそして人体の解剖学的構造の生体力学的モデル６０に従って連続的に且つリアルタイムに更新されることを可能にするように構成される。したがって、実画像上のオーバーレイとして表示デバイス１２上に表示された解剖学的モデル５１は患者の呼吸に同期されたやり方で動く。

【0091】

診療前医用画像が取得された瞬間における解剖学的モデル５１の位置はマーカ２０の特定位置に対する解剖学的モデル５１の基準位置に対応する。マーカ２０の運動の予測モデル４３のおかげで、マーカ２０が時間の経過に伴って採用することになる位置を予想することが可能である。生体力学的モデル６０のおかげで、時間の経過にわたってマーカ２０により採用される位置に従って解剖学的モデル５１の位置を調節することが可能である。

【0092】

生体力学的モデル６０は好適には、胸－腹部－骨盤領域の主要解剖学的構造（胸及び腹壁、筋肉、腱、骨及び関節、臓器、血管網など）とそれらの変形及び機械的相互作用のモデルとを含む。生体力学的モデル６０はまた好適には、患者３０の位置による重力の影響を考慮する。このような生体力学的モデルは科学文献から知られており、例えば以下の刊行物を参照：
－“SOFA: A Multi-Model Framework for Interactive Physical Simulation”, F. Faure et al., Soft Tissue Biomechanical Modeling for Computer Assisted Surgery -Studies in Mechanobiology, Tissue Engineering and Biomaterials, Volume 11, Springer、
－“A Personalized Biomechanical Model for Respiratory Motion Prediction”, B. Fuerst et al., International Conference on Medical Image Computing and Computer Assisted Intervention, 2012、
－“Patient-Specific Biomechanical Model as Whole-Body CT Image Registration Tool”, Mao Li et al., Medical Image Analysis, 2015, May, pages 22-34。

【0093】

人体の生体力学的モデルは、必ずしも当該患者に固有なものではなく、手術行為が行われる当該患者としての例えば同じ性、サイズ、体量などの一般的患者の生体力学的モデルであり得るということに注意すべきである。

【0094】

制御ユニット１３は、生体力学的モデル６０と当該生体構造の近傍の患者３０の皮膚上に位置するマーカ２０の位置とを調和させるためのアルゴリズムを取り込む。例えば、１つのアルゴリズムは、肌表面の運動を内部体積へ伝播しそして内部解剖学的構造の位置を正しく計算することを可能にする。

【0095】

制御ユニット１３はまた、医療機器により追随される所定経路を、実画像上にオーバーレイされた拡張現実コンテンツの形式で解剖学的モデル５１上に表示するように構成され得る。次に、経路は解剖学的モデルの位置に従ってリアルタイムで更新される。図８に示す例では、経路は当該生体構造上の標的点５２を含む。この標的点５２は例えば治療される腫物の中心に対応する。経路はまた、当該生体構造の表面に医療機器の入口点を含み得る。医療機器により追随される所定経路は一般的には、診療前医用画像５０に基づき定義される。

【0096】

しかし、この経路が診療に先立つ数日又はさらには数か月前に手術前画像上に定義されることも考えられる。この場合、制御ユニット１３は手術前画像と診療前画像とを再アライメントするように構成される。この目的を達成するために、制御ユニットは従来の医用画像再アライメント及び／又は融合アルゴリズムを実行し得る。

【0097】

例えば、制御ユニットは手術前医用画像を有線通信手段又は無線通信手段を介し受信する。別の例によると、制御ユニットは手術前医用画像が格納される周辺メモリデバイス（例えばＵＳＢスティック）へ接続され得る。

【0098】

いくつかの要素（例えば、治療される領域（剥離される腫物）、治療パラメータに基づき推定される剥離領域、又は治療される領域の剥離マージン（治療される領域と推定された剥離領域との比較）など）は解剖学的モデル５１上でセグメント化され得る。これらの要素はまた、拡張現実コンテンツの形式で表示され得る。次に、それらの位置は解剖学的モデルの位置に従ってリアルタイムで更新される。

【0099】

特定の実施形態では、拡張現実ナビゲーションシステム１０は、医療行為者３１が前記システム１０と相互作用することを可能にする相互作用デバイスを含む。相互作用デバイスは、例えば正確な位置と指により印加される圧力であってユーザが仮想オブジェクトを感じることを可能にする触覚フィードバックを提供する圧力とを捕捉することができる仮想現実グローブの形式を取る。別の例では、相互作用デバイスは、解剖学的モデル上の仮想オブジェクト又は特定ロケーションを標的とすることができるスタイラスの形式を取り得る。相互作用デバイスは特に、医療行為者が、医療機器により追随される所定経路を定義又は修正することを可能にし得る。相互作用デバイスはまた、行われる治療の特定パラメータ値（例えば、行われる治療のタイプ、治療の期間、治療のために使用される電力又は線量、など）を定義するようにセットアップメニュー、ボタン、多肢選択リストなどの仮想オブジェクトとの相互作用を可能にし得る。代替的に、医療機器が追随する経路及び／又は治療パラメータは機械学習アルゴリズムにより自動的に判断される。次に、医療行為者は提案された経路及び／又は治療パラメータを検証又は修正し得る。

【0100】

表示デバイス１２上に表示される拡張現実コンテンツの位置は医療行為者の頭の位置に従って適応化され得る。例えば、医療行為者の頭が左へ傾けられると、拡張現実内に表示されるいくつかの仮想構成オブジェクト（特には、テキストの形式の仮想オブジェクト）は、頭があたかも傾けられなかったかのようにこれらの要素が医療行為者に見えるように反時計回りに回転され得る。医療行為者の頭の位置は特に、医療行為者頭運動センサを使用することにより判断され得る又はそうでなければ実画像上のマーカ２０の位置から直接判断され得る。

【0101】

図９に示すように、拡張現実ナビゲーションシステム１０は、外科診療中に医療行為者３１を支援するために使用される医療ロボット７０と協力し得る。医療ロボットは可動基部７１、多関節アーム７２及び制御ユニット７５を含む。多関節アーム７２の一端は可動基部７１へ固定され、そして他端は医療機器７４を保持するように意図されたツールガイド７３を有する。医療ロボットの制御ユニット７５は、医療機器が所定経路に沿って手術行為を行うことを可能にする多関節アームの構成を判断するように構成される。多関節アームの構成は、マーカ２０の位置に関係する情報であってナビゲーションシステム１０により送信される情報に従って判断される。拡張現実ナビゲーションシステム１０及び医療ロボット７０は例えばメッセージを交換するための通信手段を含む。これらの通信手段は有線タイプ又は無線タイプのものであり得る。

【0102】

ツールガイド７３は、医療機器７４を保持又は放出するように２つのリンクロッドを介し線形アクチュエータにより駆動される例えば２つのグリッパから構成される。線形アクチュエータは、反転可能であり得る（ツールガイド７３は次に、制御ユニット７５からの命令で、手動で又は自動的に開かれ得る）、又は反転不能であり得る（ツールガイド７３は制御ユニット７５からの命令で自動的にだけ開かれ得る）。有利には、ツールガイド７３は、医療機器７４のガイド軸の位置を維持しながら様々な直径の医療機器７４を誘導しそして診療中に何時でも医療機器７４を横方向に放出し得る。例えば、このようなツールガイド７３は、その外径が１１～２１ゲージ（Ｇ）である器具を誘導することができる（ゲージは、針、プローブ又はカテーテルなどの医療機器の外径を定義するために一般的に使用される測定の単位である；１１ゲージは２．９４６ｍｍの直径に対応し、２１ゲージは０．８１２ｍｍの直径に対応する）。

【0103】

医療行為は医療行為者３１により行われ得る（この場合、医療ロボット７０の多関節アーム７２は医療行為を行う際に医療行為者を支援するように医療機器７４を誘導するために主として使用される）、又は医療ロボット７０により直接行われ得る。

【0104】

考察される例では、マーカ２０の位置に関係する情報は、患者の呼吸サイクルの経過中の解剖学的モデル５１の位置を指示する予測モデルに対応する。したがって、医療ロボット７０の制御ユニット７５は解剖学的モデルの位置を指示する前記予測モデルに従って多関節アーム７２の構成を連続的に且つリアルタイムに調節する。したがって、医療ロボット７０の多関節アーム７２は常に、計画された手術行為が行われることを可能にする構成のままである。

【0105】

特定の実施形態では、そして図９に示すように、多関節アーム７２は、医療機器７４が計画経路に沿った手術行為を行うことを多関節アームのいくつかの異なる候補構成８１、８２が可能にするように少なくとも６つの自由度を有する。拡張現実ナビゲーションシステム１０の制御ユニット１３は、実画像上でオーバーレイされた拡張現実コンテンツの形式で前記候補構成８１、８２を表示デバイス１２上に表示するように構成される。次に、医療行為者は、相互作用デバイス（例えば仮想現実グローブ又はスタイラス）を使用することによりこれらの候補構成の１つを選択し得る。次に、ナビゲーションシステム１０の制御ユニット１３は選択された構成を医療ロボット７０の制御ユニット７５へ伝達し得る。

【0106】

多関節アームの選択された構成は患者の体重が重過ぎるので好ましくないということが起こり得る。また、診療の経過中、患者３０が急激な運動を不意に行う可能性がある。このような事例では、患者は患者の体の外皮と医療機器又は多関節アームとの望ましくない接触により負傷されないということを保証することが適切である。

【0107】

この目的を達成するために、特定の実施形態では、拡張現実ナビゲーションシステム１０の制御ユニット１３は患者３０の体の外皮をモデル化するように構成される。患者の体の外皮は、恐らく患者の構造に関係するデータの助けを借りて診療前医用画像５０から又は解剖学的モデル５１から生成され得る。代替的に又は追加的に、患者の体の外皮は、ナビゲーションシステム１０のカメラ１１により取得される実画像上で（例えば輪郭検出アルゴリズムを介し）判断され得る。ナビゲーションシステム１０の制御ユニット１３はまた、医療ロボット７０の多関節アーム７２又はツールガイド７３の位置を判断するように、そして多関節アーム７２又はツールガイド７３と患者３０の体の外皮との間の距離が所定閾値未満である場合に衝突リスク状況を検出するように構成される。次に、制御ユニット７５は、多関節アーム７２又はツールガイド７３と患者の外皮との間の距離が不十分であると直ちに多関節アーム７２の運動を遮断するように構成され得る。

【0108】

代替的に又は追加的に、特定の実施形態では、拡張現実ナビゲーションシステム１０の制御ユニット１３はマーカ２０の運動の予測モデル４３に対するマーカ２０の位置の偏差を測定するように構成される（所定瞬間における偏差は例えば前記瞬間におけるマーカの実際の位置と患者の呼吸サイクル内の対応瞬間の予測モデル４３内のマーカの位置との間の距離に対応する）。次に、拡張現実ナビゲーションシステム１０の制御ユニット１３は、このように測定された偏差が所定閾値を越える場合に医療機器７４からの傷害のリスクがある状況を検出するように構成される。次に、このような状況が検出される場合に患者を傷つけることを避けるための措置が取られ得る。傷害のリスクの状況が検出されると、拡張現実ナビゲーションシステム１０の制御ユニット１３はこの情報を医療ロボット７０の制御ユニット７５へ瞬時に送信する。次に、制御ユニット７５は傷害のリスクの状況が検出されると特定行為（例えばツールガイド７３のアクチュエータに医療機器７４を瞬時に放出するように命令することなど）を行うように構成され得る。

【0109】

医療機器７４が所定経路に沿って患者３０の体内へ挿入されると、拡張現実ナビゲーションシステム１０の制御ユニット１３は、患者３０の体の内部へ挿入された医療機器７４の一部を、実画像上にオーバーレイされた拡張現実コンテンツの形式で表示デバイス１２上に表示するように構成され得る。医療機器７４と当該生体構造上の標的点５２との間の距離を計算し表示することも考えられる。医療機器７４が前記標的点５２に到達した瞬間を検出すること及びこのことについて医療行為者に助言する指示を表示することも可能である。

【0110】

これまでの説明は、本発明が患者の呼吸に伴う又は外科的介入の間の患者の不随意運動に伴う運動を確実なやり方でやり考慮する一方で最小侵襲外科診療において医療行為者を支援するための解決策を提供するという設定目的を達成するということをその様々な特徴及びその利点を通じて明確に示す。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【国際調査報告】