特開 2024-21859 手術ナビゲーションシステム、焦点位置登録方法、および、手術ナビゲーション方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024021859

(43)【公開日】2024-02-16

(54)【発明の名称】手術ナビゲーションシステム、焦点位置登録方法、および、手術ナビゲーション方法

(51)【国際特許分類】

   A61B 34/20 20160101AFI20240208BHJP

   A61B 90/20 20160101ALI20240208BHJP

【ＦＩ】

A61B34/20

A61B90/20

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022124998

(22)【出願日】2022-08-04

(71)【出願人】

【識別番号】320011683

【氏名又は名称】富士フイルムヘルスケア株式会社

(74)【代理人】

【識別番号】110000888

【氏名又は名称】弁理士法人山王坂特許事務所

(72)【発明者】

【氏名】秋丸 英久

(57)【要約】      （修正有）

【課題】手術器具のポインタが検出できない場合であっても、顕微鏡の視野位置を特定して画像生成し、手術ナビゲーションを行う。
【解決手段】手術顕微鏡１１に取り付けられた顕微鏡用ポインタの実空間座標系における座標および向きを検出する。顕微鏡から焦点距離を取得する。予め求めておいた関係を参照することにより、現時点の焦点距離に対応する、顕微鏡用ポインタから見た前記顕微鏡の視野の座標を算出する。さらに、現時点の顕微鏡の視野の実空間座標系における座標および向きを算出する。算出した現時点の視野の座標および向きに一致する２次元画像を、予め撮像しておいた３次元画像データから生成し、表示する。
【選択図】図１

【特許請求の範囲】

【請求項1】

手術時に患者の術野を拡大して観察する顕微鏡に取り付けられた顕微鏡用ポインタの実空間座標系における座標および向きを検出する位置検出センサと、
予め求めておいた前記顕微鏡の焦点距離と、その焦点距離において前記顕微鏡用ポインタから見た顕微鏡の視野の座標および向きとの関係を予め格納する位置関係格納部と、
術前に撮像しておいた患者の3次元画像データを格納する術前画像格納部と、
演算処理部とを有し、
前記演算処理部は、
前記顕微鏡から現在の焦点距離を取得する焦点距離取得部と、
前記焦点距離取得部が取得した前記焦点距離に基づいて、前記位置関係格納部の前記関係を参照することにより、現時点の前記顕微鏡の視野の前記顕微鏡用ポインタから見た座標を算出し、算出した現時点の前記顕微鏡の視野の座標と、前記位置検出センサが検出した現時点の前記顕微鏡用ポインタの座標および向きに基づいて、現時点の前記顕微鏡の視野の実空間座標系における座標および向きを算出する視野位置算出部と、
前記視野位置算出部が算出した現時点の視野の座標および向きに一致する２次元画像を前記３次元画像データから生成し、表示する画像生成部と
を含むことを特徴とする手術ナビゲーションシステム。

【請求項2】

請求項１に記載の手術ナビゲーションシステムであって、
前記位置検出センサは、手術器具に取り付けられた手術器具用ポインタの実空間座標系における座標および向きを検出し、
前記演算処理部は、前記位置検出センサが検出した現時点の前記手術器具用ポインタの座標および向きに基づいて、現時点の前記手術器具の先端位置の実空間座標系における座標を算出する手術器具位置算出部を有し、
前記画像生成部は、前記手術器具位置算出部が算出した現時点の手術器具の先端位置の座標を含み、所定の向きの面２次元画像を前記３次元画像データから生成し、表示する
ことを特徴とする手術ナビゲーションシステム。

【請求項3】

請求項２に記載の手術ナビゲーションシステムであって、前記画像生成部は、前記位置検出センサが前記手術器具用ポインタを検出している場合、前記手術器具位置算出部が算出した前記手術器具の先端位置の座標に基づき前記２次元画像を生成し、前記位置検出センサが前記手術器具用ポインタを検出できない場合、前記視野位置算出部が算出した前記視野の座標及び向きに基づき前記２次元画像を生成する
ことを特徴とする手術ナビゲーションシステム。

【請求項4】

請求項１に記載の手術ナビゲーションシステムであって、前記画像生成部は、前記顕微鏡に備えられた撮像装置から視野の画像を受け取って、前記２次元画像と重畳して表示する
ことを特徴とする手術ナビゲーションシステム。

【請求項5】

オートフォーカス機能を備えた顕微鏡の視野に、プレート状の焦点位置登録用ポインタを配置する第1ステップと、
前記焦点位置登録用ポインタに形成されているターゲットラインと、顕微鏡の視野のガイドラインとを位置合わせする第２ステップと、
位置合わせされた前記焦点位置登録用ポインタに、前記顕微鏡の光学系をオートフォーカス機能により合焦させ、前記顕微鏡の光学系の焦点距離を取得する第３ステップと、
前記位置検出センサにより前記焦点位置登録用ポインタの座標と、前記顕微鏡に装着されている顕微鏡用ポインタの座標とを検出し、その差異から、前記顕微鏡用ポインタから見た前記ターゲットラインの所定位置の座標および向きを算出して、前記第３ステップの前記焦点距離と対応させて登録する第４ステップと、
前記顕微鏡と前記焦点位置登録用ポインタとの距離を変えて、前記第１ステップから第４ステップをさらに１回以上繰り返す第５ステップと、
最初の前記第４ステップにおいて登録した前記顕微鏡用ポインタから見た前記ターゲットラインの所定位置の座標と、それに対応する前記焦点距離、ならびに、前記第５ステップで１回以上繰り返して登録した前記顕微鏡用ポインタから見た前記ターゲットラインの所定位置の座標と、それに対応する前記焦点距離をグラフにプロットして直線で近似して近似ラインを得て、前記近似ラインを、前記顕微鏡の焦点距離と、前記顕微鏡用ポインタから見た顕微鏡の視野の座標および向きとの関係として登録する第６ステップと
を有することを特徴とする手術顕微鏡の焦点位置登録方法。

【請求項6】

請求項５に記載の手術顕微鏡の焦点位置登録方法であって、前記第４ステップの後であって第５ステップの前に、前記手術顕微鏡の倍率を上げて、前記第３ステップと第４ステップとを繰り返し、それにより登録した前記顕微鏡用ポインタから見た前記ターゲットラインの所定位置の座標と、それに対応する前記焦点距離に基づいて、前記近似ラインを求める
ことを特徴とする手術顕微鏡の焦点位置登録方法。

【請求項7】

請求項５に記載の手術顕微鏡の焦点位置登録方法であって、前記第６ステップにおいて得た近似ラインに対する、プロットした前記所定位置の座標と、それに対応する前記焦点距離とのずれ量を算出し、前記ずれ量が予め定めた許容範囲を超える場合、顕微鏡の調整を行う
ことを特徴とする手術顕微鏡の焦点位置登録方法。

【請求項8】

手術時に患者の術野を拡大して観察する顕微鏡に取り付けられた顕微鏡用ポインタの実空間座標系における座標および向きを検出する第１ステップと、
前記顕微鏡から焦点距離を取得する第２ステップと、
予め求めておいた前記顕微鏡の焦点距離と、その焦点距離において前記顕微鏡用ポインタから見た顕微鏡の視野の座標および向きとの関係を参照することにより、現時点の前記焦点距離に対応する、前記顕微鏡用ポインタから見た前記顕微鏡の視野の座標および向きを算出する第３ステップと、
前記第１ステップで検出した前記顕微鏡用ポインタの座標及び向きと、前記第３ステップにおいて算出した現時点の前記顕微鏡用ポインタから見た前記顕微鏡の視野の座標とに基づいて、現時点の前記顕微鏡の視野の実空間座標系における座標および向きを算出する第４ステップと、
前記第４ステップにおいて算出した現時点の視野の座標および向きに一致する２次元画像を、予め撮像しておいた３次元画像データから生成し、表示する第５ステップとを
を含むことを特徴とする手術ナビゲーション方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、手術器具の位置を、術前に撮像した磁気共鳴イメージング（以下、「ＭＲＩ」という）装置やＣＴ装置等の画像上に表示する手術ナビゲーションシステムに関する。

【背景技術】

【0002】

術中に医師が操る手術器具の先端の位置を、術前に撮像した患者の画像上に表示する手術ナビゲーションシステムが知られている。手術器具の先端位置を検出するために、手術器具にはポインタ（マーカー）が取り付けられ、位置検出センサがポインタの３次元位置を検出する。ポインタと手術器具先端との位置関係に基づいて手術器具の先端位置が算出される。手術器具の先端位置を含む面の２次元画像は、術前に撮像した患者の３次元のＭＲＩ画像等からレンダリングによって生成される。生成された画像は、手術器具の先端位置を示すマークと共に表示される。術前の３次元画像データは、ＭＲＩ画像の他、ＣＴ（Computed Tomography）画像等、術前に撮像された医用画像が用いられる。位置検出センサとしては、赤外線センサや磁気センサが用いられる。

【0003】

一方、脳神経外科等においては、医師が術部を拡大して観察しながら手術するために、手術顕微鏡が用いられる。手術顕微鏡は、特許文献１に記載されているように、対物光学系と接眼部をアームによって支持した構成であり、術部に対物光学系を近づけた状態でアームによって支持し、医師は、術部を観察または撮像する。対物光学系には、ズームレンズが用いられ、レンズ群の一部のレンズを光軸方向に移動させることにより、焦点距離を変化させることができる。

【0004】

また、特許文献１には、医師が、術部の視野内のフォーカスを合わせたい位置を、指示具の先端で指し示し、手術ナビゲーションシステムが指示具に取り付けられたポインタの位置情報を検出することにより、指し示した位置に焦点が合うように、手術顕微鏡の対物光学系をコントローラにより制御することが開示されている。これにより、手術顕微鏡の位置や向きを変化させた場合でも合焦状態を維持できる。さらに、手術ナビゲーションシステムが、手術顕微鏡に取り付けたポインタの位置と向きを検出することにより、指示具が指し示した位置に合致し、かつ、術野の位置及び向きに合致した２次元画像を、術前に撮影した３次元のＭＲＩ画像等から生成し、モニターに表示する。これにより、医師は、手術顕微鏡で術部を観察しながら、術部のＭＲＩ画像等の画像をモニターで同時に視認することができる。また、手術顕微鏡の術野の画像と、これと一致した面の術前のＭＲＩ画像とを重畳して表示することもできる。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開2021-159734号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

手術顕微鏡と手術器具にポインタ（マーカー）をそれぞれ取り付け、手術ナビゲーションシステムによって各ポインタの位置を検出することにより、手術顕微鏡の視野画像と、手術器具の先端位置を含み、位置及び向きが視野画像と一致した術前のＭＲＩ画像とを重畳して表示することが可能である。これにより、医師は、ＭＲＩ画像に含まれる腫瘍位置等を把握しながら、手術顕微鏡下で手術を行うことができる。

【0007】

しかしながら、手術器具にポインタを取り付けて手術を行う場合、手術器具のポインタが、位置検出センサ（赤外線センサ）に対して術者等の影に入ってしまうと、術者等によって赤外線が遮蔽され、位置検出センサが手術器具のポインタを検出不可能になることがある。手術器具のポインタが術者等の影に入った場合、その間、顕微鏡の視野画像に、位置及び向きが視野画像と一致した術前のＭＲＩ画像を重畳して表示することができなくなる。

【0008】

本発明の目的は、手術器具のポインタが検出できない場合であっても、顕微鏡の視野位置を特定して画像生成し、手術ナビゲーションを行うことにある。

【課題を解決するための手段】

【0009】

上記目的を達成するために、本発明の磁気共鳴イメージング装置は、手術時に患者の術野を拡大して観察する顕微鏡に取り付けられた顕微鏡用ポインタの実空間座標系における座標および向きを検出する位置検出センサと、予め求めておいた顕微鏡の焦点距離と、その焦点距離において顕微鏡用ポインタから見た顕微鏡の視野の座標との関係を予め格納する位置関係格納部と、術前に撮像しておいた患者の3次元画像データを格納する術前画像格納部と、演算処理部とを有する。演算処理部は、顕微鏡から現在の焦点距離を取得する焦点距離取得部と、視野位置算出部と、画像生成部とを含む。視野位置算出部は、焦点距離取得部が取得した焦点距離に基づいて、位置関係格納部の関係を参照することにより、現時点の顕微鏡の視野の顕微鏡用ポインタから見た座標を算出し、算出した現時点の顕微鏡の視野の座標と、位置検出センサが検出した現時点の顕微鏡用ポインタの座標および向きに基づいて、現時点の顕微鏡の視野の実空間座標系における座標および向きを算出する。画像生成部は、視野位置算出部が算出した現時点の視野の座標および向きに一致する２次元画像を３次元画像データから生成し、表示する。

【発明の効果】

【0010】

本発明によれば、顕微鏡の焦点距離に基づいて顕微鏡の視野位置を特定できるため、手術器具のポインタが検出できない場合であっても、手術ナビゲーションを行うことができる。

【図面の簡単な説明】

【0011】

【図1】本実施形態の手術ナビゲーションシステム１の構成を示すブロック図。

【図2】本実施形態の手術ナビゲーションシステム１の演算処理部２と、記憶装置４の機能ブロック図。

【図3】本発明の実施形態の手術ナビゲーションシステムの手術顕微鏡１１の斜視図。

【図4】（ａ）手術ナビゲーションシステムの手術顕微鏡１１の焦点位置登録用ポインタ３０の上面の斜視図、（ｂ）下面の斜視図。

【図5】本実施形態の手術ナビゲーションシステムにおいて、手術顕微鏡の据付時の焦点位置を登録する動作を示すフローチャート。

【図6】実施形態の手術ナビゲーションシステムの顕微鏡焦点位置登録用画面６００を示す図。

【図7】本実施形態の手術ナビゲーションシステムにおいて、手術顕微鏡の据付時の焦点位置を登録する際に、焦点位置登録用ポインタ３０を配置した状態を示す斜視図。

【図8】本実施形態の手術ナビゲーションシステムにおいて、焦点位置登録用ポインタ３０の位置合わせを示す説明図。

【図9】本実施形態の手術ナビゲーションシステムにおいて、位置関係格納部４１に格納されている近似ラインを示すグラフ。

【図10】本実施形態の手術ナビゲーションシステムにおいて、手術顕微鏡の手術前の焦点位置の確認を示すフローチャート。

【図11】実施形態の手術ナビゲーションシステムの確認用画面１１００を示す図。

【図12】本実施形態の手術ナビゲーションシステムにおいて、手術ナビゲーションの動作を示すフローチャート。

【発明を実施するための形態】

【0012】

以下、本発明の実施形態の手術ナビゲーションシステムについて図面を用いて説明する。

【0013】

図１は手術ナビゲーションシステム１の構成を示す図である。図２は、手術ナビゲーションシステム１の演算処理部２と、記憶装置４の機能ブロックを示す図である。図３は、手術顕微鏡１１の斜視図である。図４は、手術顕微鏡１１の焦点位置登録用ポインタの斜視図である。

【0014】

図１のように手術ナビゲーションシステム１は、ＣＰＵ(Central Processing Unit)２、主メモリ３、記憶装置４、表示メモリ５、表示装置６、マウス８が接続されたコントローラ７、位置検出センサ９、ネットワークアダプタ１０が、システムバス１３によって信号送受可能に接続されて構成される。

【0015】

手術ナビゲーションシステム１のシステムバス１３には、手術顕微鏡１１が接続されている。また、手術ナビゲーションシステム１は、ネットワーク１４を介して３次元撮像装置１５や医用画像データベース１６が、信号送受可能に接続される。ここで、「信号送受可能に」とは、電気的、光学的に有線、無線を問わずに、相互にあるいは一方から他方へ信号送受可能な状態を示す。

【0016】

手術顕微鏡１１は、図３に示すように、対物光学系が内部に配置された筐体１１１と、接眼部１１２をアーム（不図示）によって支持した構成である。アームは、自在に筐体１１１を移動させることができる。医師は、術部に対物光学系を近づけた状態で筐体１１１をアームによって支持させ、その状態で、術部を接眼部１１２を介して直接目視で観察する。また、接眼部１１２に取り付けた撮像装置（不図示）により撮像された画像を、表示装置６に表示させ、医師はその画像を観察することもできる。対物光学系には、オートフォーカス機能を備えたズームレンズが用いられる。すなわち、対物光学系は、レンズ群を含み、オートフォーカスの機構部がレンズ群の一部のレンズを光軸方向に移動させることにより、焦点距離および拡大倍率（視野範囲（画角））を変化させることができる。オートフォーカス動作の実行や、拡大倍率の指定を医師が操作するための操作部（不図示）が、手術顕微鏡１１には設けられている。

【0017】

手術顕微鏡１１の筐体１１１には、取り付け金具１２が固定されている。取り付け金具１２には、顕微鏡用ポインタ１７が着脱可能に固定されている。顕微鏡用ポインタ１７は、３以上の反射球１８が固定された剛体である。

【0018】

また、医師が手術に用いる手術器具３３の後端には、手術器具用ポインタ３５が着脱可能に固定されている。手術器具用ポインタ３５は、３以上の反射球３６が固定された剛体である。

【0019】

さらに、手術顕微鏡１１の視野を顕微鏡用ポインタから見た場合の座標および向きを、手術顕微鏡１１の焦点距離ごとに、術前に登録するために、焦点位置登録用ポインタ３０が用いられる。焦点位置登録用ポインタ３０は、図４（ａ）のように、３つの反射球３６が上面の非対称な位置に固定されたプレート状の剛体である。また、焦点位置登録用ポインタ３０の上面には、手術顕微鏡１１への位置合わせのための十字型のターゲットライン３０ａと、焦点位置登録用ポインタ３０の向きをわかりやすくするための文字３０ｂが描かれている。一方、焦点位置登録用ポインタ３０の裏面には、図４（ｂ）のように手術顕微鏡１１に対して焦点位置登録用ポインタ３０を、カメラ用三脚等を用いて所定の高さに支持するため、固定孔（雌ねじ）３０ｃが形成されている。

【0020】

なお、手術顕微鏡１１は、焦点位置登録用ポインタ３０を用いて、焦点位置を登録する際に焦点登録用ポインタ３０に焦点を合わせて、そのターゲットラインと顕微鏡視野１１４の中心および上下左右を示す十字型のガイドライン１１４ａを一致させる。

【0021】

位置検出センサ９は、一対の赤外線カメラ等を含み、ポインタ１７、３０、３５の複数の反射球３１、３６，１８の実空間座標系における座標を検出することができる。

【0022】

ＣＰＵ２は、各構成要素の動作を制御するとともに、所定の演算処理を行う制御部である。以下、ＣＰＵ２を演算処理部とも呼ぶ。

【0023】

図２に示すように、ＣＰＵ（演算処理部）２は、焦点距離取得部２１と、視野位置算出部２２と、手術器具位置算出部２３と、画像生成部２４と、焦点位置事前登録部２５とを含む。

【0024】

焦点距離取得部２１は、手術顕微鏡１１から現在の焦点距離を取得する。

【0025】

視野位置算出部２２は、焦点距離取得部２１が取得した焦点距離等に基づいて、現時点の手術顕微鏡１１の視野の、実空間座標系における座標および向きを算出する。

【0026】

手術器具位置算出部２３は、位置検出センサ９が検出した現時点の手術器具用ポインタ３５の座標および向きに基づいて、現時点の手術器具３３の先端位置の実空間座標系における座標を算出する。

【0027】

画像生成部２４は、視野位置算出部２２が算出した現時点の視野の座標および向きに一致する２次元画像を、術前に撮像した３次元画像データから生成し、表示装置に表示する。また、画像生成部２４は、手術器具位置算出部２３が算出した現時点の手術器具３３の先端位置の座標を含み、所定の向きの面の２次元画像を生成し、表示装置６に表示する。なお、２次元画像の向きは、患者５０の３次元画像のアキシャル断面、サジタル断面およびコロナル断面のいずれかであってもよいし、手術器具３３の先端を登録したときの手術器具３３の向きに基づいて定めた面でもよい。

【0028】

焦点位置事前登録部２５は、据付時登録部２５ａと、手術前確認部２５ｂとを含む。据付時登録部２５ａは、手術顕微鏡１１を手術室に据え付けた際、または、定期的なメンテナンス時に、焦点位置登録用ポインタ３０を用いて、複数の焦点距離について、顕微鏡用ポインタから見た視野の座標および向きを求め、記憶装置４に登録する。手術前確認部２５ｂは、記憶装置４に登録されている焦点距離と、顕微鏡用ポインタ１７から見た視野の座標および向きとの関係が、手術前の時点で満たされているかどうかについて確認する。

【0029】

記憶装置４は、位置関係格納部４１と、術前画像格納部４２とを含む。位置関係格納部４１には、焦点位置事前登録部２５が術前に求めた、手術顕微鏡１１の焦点距離と、その焦点距離における手術顕微鏡１１の視野の顕微鏡用ポインタ１７から見た座標および向きとの関係が登録（格納）されている。

【0030】

術前画像格納部４２には、術前に撮像しておいた患者５０の３次元画像データが格納される。例えば、ネットワーク１４を介して接続されたＣＴ装置やＭＲＩ装置などの３次元撮像装置１５により撮影された医用画像情報が、術前画像格納部４２に格納される。また、ネットワーク１４を介して接続された医用画像データベース１６から取得した患者５０の３次元画像データを術前画像格納部４２に格納してもよい。

【0031】

記憶装置４は、具体的には例えば、ハードディスク等である。また、記憶装置４は、フレシキブルディスク、光（磁気）ディスク、ＺＩＰメモリ、ＵＳＢメモリ等の可搬性記録媒体とデータの受け渡しをする装置であっても良い。また、記憶装置４には、ＣＰＵ２が実行するプログラムやプログラム実行に必要なデータが格納される。

【0032】

主メモリ３は、ＣＰＵ２が実行するプログラムや演算処理の途中経過を記憶するものである。

【0033】

表示メモリ５は、液晶ディスプレイやＣＲＴ（Cathode Ray Tube）等の表示装置６に表示するための表示データを一時格納するものである。マウス８は、操作者が手術ナビゲーションシステム１に対して操作指示を行う操作デバイスである。マウス８はトラックパッドやトラックボールなどの他のポインティングデバイスであっても良い。

【0034】

コントローラ７は、マウス８の状態を検出して、表示装置６上のマウスポインタの位置を取得し、取得した位置情報等をＣＰＵ２へ出力するものである。

【0035】

ネットワークアダプタ１０は、手術ナビゲーションシステム１をネットワーク１４に接続する。ネットワーク１４は、ＬＡＮ（Local Area Network）、電話回線、および、インターネット等のいずれであってもよい。

【0036】

ＣＰＵ（演算処理部）２は、記憶装置４に予め格納されているプログラムやプログラム実行に必要なデータを主メモリ３にロードして実行することにより、図２に示した各部（２１～２５）の機能をソフトウエアにより実現する。また、各部（２１～２５）の機能の一部または全部をハードウエアによって実現することも可能である。例えば、ＡＳＩＣ（Application Specific Integrated Circuit）のようなカスタムＩＣや、ＦＰＧＡ（Field-Programmable Gate Array）のようなプログラマブルＩＣを用いて、各部（２１～２５）の機能を実現するように回路設計を行えばよい。

【0037】

以下、ＣＰＵ（演算処理部）２の各部の機能についてフローチャートを用いて具体的に説明する。

【0038】

本実施形態の手術ナビゲーションシステムは、手術器具３３のポインタ３５の位置を位置検出センサ９が検出できる場合には、手術器具３３の先端位置の患者５０の２次元画像を術前に撮影した３次元画像から生成して表示装置６に表示する。一方、手術器具３３のポインタ３５が術者等の影に入っており、位置検出センサ９から検出できない場合は、手術顕微鏡１１の焦点距離を手術顕微鏡１１から受け取って、焦点距離から視野の位置を算出し、視野の位置の患者５０の２次元画像を術前に撮影した３次元画像から生成して表示装置６に表示する。そのため、手術顕微鏡１１の焦点距離と、視野の位置との関係を予め求めて、記憶装置４に登録する。

【0039】

＜手術顕微鏡の据付時の焦点位置の登録＞
まず、手術顕微鏡１１の手術室への据え付け時や、定期的なメンテナンス時に、焦点位置事前登録部２５の据付時登録部２５ａが、手術顕微鏡１１の焦点距離と、視野の位置との関係を登録する動作について図５のフローを用いて説明する。

【0040】

（ステップ５０１）
据付時登録部２５ａは、手術顕微鏡１１が撮像した映像出力を手術ナビゲーションシステム１の映像入力にケーブルで接続するよう操作者に指示する。指示方法としては、例えば、表示装置６にメッセージを表示する方法や、音声で指示する方法を用いる。以下の各ステップの指示方法についても同様である。

【0041】

指示を受けた操作者は、手術顕微鏡１１が撮像した映像出力を手術ナビゲーションシステム１の映像入力にケーブルで接続する。

【0042】

これにより、据付時登録部２５ａは、図６のような、顕微鏡焦点位置登録用画面６００の表示装置６に表示メモリ５を介して表示し、画面６００内の顕微鏡映像出力表示領域６０１に、現在の顕微鏡の映像出力を表示する。

【0043】

（ステップ５０２）
据付時登録部２５ａは、手術顕微鏡１１の取り付け金具１２に顕微鏡用ポインタ１７を装着するよう操作者に指示する。

【0044】

指示を受けた操作者は、手術顕微鏡１１の取り付け金具１２に顕微鏡用ポインタ１７を装着する。これにより、位置検出センサ９は、顕微鏡用ポインタ１７を検出可能になる。

【0045】

（ステップ５０３）
据付時登録部２５ａは、焦点位置登録用ポインタ３０を配置し、静止するよう操作者に指示する。

【0046】

また、据付時登録部２５ａは、顕微鏡焦点位置登録用画面６００の焦点登録状況表示領域６０２に、登録すべき複数の焦点距離を表示するとともに、その中のこれから登録すべき焦点距離の表示に色を付けた丸印を付加表示する等して強調し、操作者にこれから登録する焦点距離を教示する。

【0047】

また、操作者は、図７のように、焦点位置登録用ポインタ３０の裏面の固定孔３０ｃをカメラ用三脚７０に固定し、焦点登録状況表示領域６０２によって教示されている焦点距離（ここでは２００ｍｍ）付近に、焦点位置登録用ポインタ３０の上面を配置する。

【0048】

その後、静止すると、手術顕微鏡１１は、オートフォーカス機能または手動による焦点調整により、対物光学系が焦点位置登録用ポインタ３０の上面に焦点を合わせる。焦点距離取得部２１は、手術顕微鏡１１から、現在の対物光学系の焦点距離を受け取る。

【0049】

これにより、図６の顕微鏡映像出力表示領域６０１には、現在の手術顕微鏡１１の視野にある焦点位置登録用ポインタ３０の上面画像と、顕微鏡映像出力表示領域６０１の上下および左右の中心を示す十字型のガイドライン１１４ａが重ねられて表示される。

【0050】

また、据付時登録部２５ａは、焦点距離取得部２１から現在の焦点距離を受け取って、顕微鏡映像出力表示領域６０１内の焦点距離表示領域６０６に表示させる。

【0051】

（ステップ５０４）
据付時登録部２５ａは、手術顕微鏡１１からの顕微鏡映像出力表示領域６０１の十字型のライン１１４ａと、焦点位置登録用ポインタ３０の十字型のターゲットライン３０ａの中心位置および十字の向きが重なるように、焦点位置登録用ポインタ３０および／または手術顕微鏡１１の位置を調節するよう操作者に指示する。

【0052】

指示を受けた操作者は、図８に示すように、焦点位置登録用ポインタ３０および／または手術顕微鏡１１の位置を調節し、顕微鏡映像出力表示領域６０１の画像を見ながら、十字型のガイドライン１１４ａと、焦点位置登録用ポインタ３０の十字型のターゲットライン３０ａの中心位置および十字の向きを一致させる。

【0053】

据付時登録部２５ａは、顕微鏡映像出力表示領域６０１の画像に予め定めた画像処理を施すことにより、十字型のガイドライン１１４ａと、十字型のターゲットライン３０ａが一致したかどうかを判定し、一致した場合には、一致表示部６０５を所定に色等で強調表示する。これにより、操作者は、一致したかどうかを確認することができる。

【0054】

（ステップ５０５）
据付時登録部２５ａは、手術顕微鏡１１の被写界深度が浅くなるよう最大倍率にして、焦点距離を合わせるよう操作者に指示する。

【0055】

指示を受けた操作者は、手術顕微鏡１１を操作して対物光学系の倍率を最大に設定し、顕微鏡映像出力表示領域６０１の画像を見ながら、十字型のガイドライン１１４ａと、焦点位置登録用ポインタ３０の十字型のターゲットライン３０ａの中心位置および十字の向きを一致させる。一致表示部６０５の表示により、操作者は、一致したかどうかを確認することができる。

【0056】

最大倍率に変更した際も、手術顕微鏡１１は、オートフォーカス機能により、焦点位置登録用ポインタ３０の上面に焦点位置が一致する制御を行う。最大倍率に設定したことにより、被写界深度が浅くなるため、焦点位置登録用ポインタ３０の上面に、より正確に焦点を一致させることができる。

【0057】

焦点距離表示領域６０６には、最高倍率に設定した状態の焦点距離が表示される。

【0058】

（ステップ５０６）
据付時登録部２５ａは、現在の顕微鏡用ポインタ１７から見た焦点位置登録用ポインタ３０のターゲットライン３０ａの位置（中心座標および向き）と、現在の焦点距離を登録するよう操作者に指示する。

【0059】

操作者は、画面６００内の焦点登録ボタン６０３を押すことにより、登録する。

【0060】

具体的には、焦点登録ボタン６０３が押された場合、据付時登録部２５ａは、位置検出センサ９が検出した現在の顕微鏡用ポインタ１７の３つ以上の反射球１８の実空間座標系における座標と、焦点位置登録用ポインタ３０の３つの反射球３１の実空間座標系に座標を受け取る。据付時登録部２５ａは、顕微鏡用ポインタ１７の３つ以上の反射球１８の中心座標を算出し、実空間座標系における顕微鏡用ポインタ１７の中心の座標を算出する。据付時登録部２５ａは、焦点位置登録用ポインタ３０の３つの反射球３１の位置から、ターゲットライン３０ａの中心の座標を求め、顕微鏡用ポインタ１７の中心の座標との差異を算出する。

【0061】

据付時登録部２５ａは、算出した座標の差異を、顕微鏡用ポインタ１７から見た焦点位置登録用ポインタ３０のターゲットライン３０ａの位置（座標および向き）として、手術顕微鏡１１から取り込んだ焦点位置に対応させて、記憶装置４の位置関係格納部４１に格納する。

【0062】

なお、画面６００には、位置検出センサ９が、顕微鏡用ポインタ１７と、焦点位置登録用ポインタ３０の両方が検出できているか、片方のみが検出できているかを示す検出状態表示部６０７が配置されている。操作者は、検出状態表示部６０７の点灯状態により、検出状態を把握できる。
（ステップ５０７）
据付時登録部２５ａは、焦点登録状況表示領域６０２に表示しているすべての焦点距離のデータが登録されたかを判定し、まだ登録されていない場合はステップ５０８に進む。

【0063】

（ステップ５０８）
据付時登録部２５ａは、手術顕微鏡１１から見た焦点位置登録用ポインタ３０の距離を変更するよう操作者に指示する。

【0064】

また、据付時登録部２５ａは、焦点登録状況表示領域６０２の次に登録すべき焦点距離の表示に色を付けた丸印を付加表示する等して、操作者に教示する。

【0065】

操作者は、カメラ用三脚７０を調整し、教示されている焦点距離付近に、焦点位置登録用ポインタ３０の上面を配置する。

【0066】

据付時登録部２５ａは、ステップ５０３～５０７を、登録すべきすべての焦点距離のデータ登録されるまで繰り返す。すべての焦点距離のデータが揃った場合、ステップ５０９に進む。

【0067】

（ステップ５０９）
据付時登録部２５ａは、ステップ５０６で位置関係格納部４１に格納した複数の焦点距離ごとの、顕微鏡用ポインタ１７から見た焦点位置登録用ポインタ３０のターゲットライン３０ａの位置を、図９のようにグラフにプロットして直線近似する。

【0068】

（ステップ５１０）
据付時登録部２５ａは、近似ラインとプロットした位置との誤差が許容範囲内かどうかを判定し、許容範囲よりも誤差が大きい場合には、ステップ５１１に進む。

【0069】

（ステップ５１１）
据付時登録部２５ａは、再登録を促すメッセージを表示し、ステップ５０４に戻る。

【0070】

これにより、据付時登録部２５ａは、ステップ５０４～５０９を繰り返し、再登録を行う。

【0071】

ステップ５１０において、近似ラインとプロットした位置との誤差が許容範囲内である場合には、ステップ５１２に進む。

【0072】

（ステップ５１２）
据付時登録部２５ａは、近似ラインを、焦点距離と顕微鏡用ポインタから見た顕微鏡の視野の焦点位置との関係として、位置関係格納部４１に登録する。

【0073】

以上により、顕微鏡据付時や定期メンテナンス時に、据付時登録部２５ａが、手術顕微鏡１１の焦点距離と、顕微鏡用ポインタ１７から見た手術顕微鏡１１の視野の焦点位置との関係を求め、登録することができる。この関係を用いて、手術中に、顕微鏡の焦点距離から、視野の位置を算出できるため、視野に一致する面の２次元画像を３次元画像から生成して表示装置６に表示し、手術ナビゲーションを実行できる。この手術ナビゲーションの動作については後で説明する。

【0074】

＜手術顕微鏡の手術前の焦点位置の確認＞
手術顕微鏡の据付時や定期メンテナンスにおいて、手術顕微鏡１１の焦点距離と、顕微鏡用ポインタ１７から見た手術顕微鏡１１の視野の焦点位置との関係が位置関係格納部４１に登録されているが、経時的に登録されている関係が変化することがある。

【0075】

そこで、手術前に、焦点位置事前登録部２５の手術前確認部２５ｂは、確認動作を行う。確認動作を、図１０のフローを用いて説明する。なお、図１１は、確認動作において表示装置６に表示される確認用画面１１００である。確認用画面１１００は、顕微鏡焦点位置登録用画面６００の一部の表示領域のみを表示する構成であり、同じ表示領域には同じ番号を付している。

【0076】

（ステップ１００１～１００６）
図１０のフローにおいて、ステップ１００１～１００６は、図５のステップ５０１～５０６と同様である。

【0077】

簡単に説明すると、ステップ１００１～１００３において、手術前確認部２５ｂは、操作者に指示して、手術顕微鏡１１に顕微鏡用ポインタ１７を装着させ、カメラ用三脚７０で焦点位置登録用ポインタ３０を支持させる。手術顕微鏡１１は、オートフォーカス機能または手動調整により、焦点位置登録用ポインタ３０に焦点を合わせる。

【0078】

ステップ１００４において、操作者は、確認用画面１１００の顕微鏡映像出力表示領域６０１を見ながら、十字型のガイドライン１１４ａと、十字型のターゲットライン３０ａを位置合わせする。

【0079】

さらに、ステップ１００５において、手術顕微鏡１１を最大倍率にして再度位置合わせする。

【0080】

この状態で、ステップ１００６において、手術前確認部２５ｂは、焦点位置を取得するとともに、顕微鏡用ポインタ１７から見た手術顕微鏡１１の視野の焦点位置を算出し、位置関係格納部４１に登録する。

【0081】

（ステップ１００７）
次に、手術前確認部２５ｂは、ステップ１００６において登録した焦点位置と、顕微鏡用ポインタ１７から見た手術顕微鏡１１の視野の焦点位置が、据付時登録部２５ａによって登録されて位置関係格納部４１に格納されている近似ライン（図９）からどれくらいずれているかずれ量を算出し、ずれ量が予め定めた許容範囲内かどうかを判定する。ずれ量が予め定めた許容範囲よりも大きい場合、ステップ１００４に戻ってステップ１００４～１００７を繰り返す。ステップ１００４～１００７を所定回数繰り返してもずれ量が許容値以下にならない場合、取り付け金具１２の位置がずれている可能性があるので、サービスマンにメンテナンスを依頼する。

【0082】

また、ステップ１１０７において、ずれ量が予め定めた許容範囲内の場合は、確認動作を終了する。

【0083】

これにより、現時点の手術顕微鏡１１の焦点距離と、顕微鏡用ポインタ１７から見た手術顕微鏡１１の視野の焦点位置との関係が、位置関係格納部４１に登録されている関係を満たしていることを確認して手術ナビゲーションを行うことができる。

【0084】

＜手術ナビゲーション＞
位置関係格納部４１に登録されている手術顕微鏡１１の焦点距離と視野の焦点位置との関係を用いて、手術ナビゲーションシステム１が手術ナビゲーションを行う動作について図１２のフローを用いて説明する。

【0085】

（ステップ１２０１）
手術器具位置算出部２３は、手術器具３３に手術器具用ポインタ３５を装着するよう操作者に指示する。

【0086】

操作者は、この指示を受けて手術器具３３の例えば後端に手術器具用ポインタ３５を装着する。

【0087】

（ステップ１２０２）
手術器具位置算出部２３は、手術器具用ポインタ３５から見た手術器具３３の先端位置をマウス８等を介して登録するよう操作者に指示する。

【0088】

操作者は、この指示を受けて、手術器具３３の例えば後端に手術器具用ポインタ３５を装着した場合、手術器具用ポインタ３５の先端と手術器具用ポインタ３５との距離および方向をマウス８等を介して手術器具位置算出部２３に登録する。

【0089】

（ステップ１２０３）
位置検出センサ９は、手術器具用ポインタ３５の実空間座標系における位置（座標と向き）を認識（検出）を試み、認識できた場合、ステップ１２０４に進む。

【0090】

（ステップ１２０４）
手術器具位置算出部２３は、位置検出センサ９から手術器具用ポインタ３５の座標と向きを受け取って、ステップ１２０２に操作者が登録した手術器具用ポインタから手術器具３３の先端までの距離および方向に基づいて、手術器具３３の先端位置（座標）を算出する。

【0091】

（ステップ１２０５）
画像生成部２４は、手術器具用ポインタ３５を装着した手術器具３３の先端位置に該当する患者画像を表示する。具体的には、画像生成部２４は、術前画像格納部４２に予め取り込まれている患者の３次元画像から手術器具３３の先端位置を含む２次元画像をレンダリングにより生成し、この２次元画像を患者画像として表示装置６に表示する。なお、２次元画像の向きは、患者５０の３次元画像のアキシャル断面、サジタル断面およびコロナル断面のいずれかを選択してもよいし、手術器具３３の先端を登録したときの手術器具３３の向きに基づいて定めた面でもよい。

【0092】

このとき、画像生成部２４は、手術顕微鏡１１に備えられた撮像装置から視野の画像を受け取って、２次元画像と重畳して表示してもよいし、並列に表示してもよい。

【0093】

表示後、ステップ１２１０へ進む。

【0094】

なお、上記ステップ１２０３において、位置検出センサ９が手術器具用ポインタ３５が認識できなかった場合、ステップ１２０６に進む。

【0095】

（ステップ１２０６）
位置検出センサ９は、焦点位置登録用ポインタ３０の位置座標の認識（検出）を試み、認識できた場合、ステップ１２０７に進む。

【0096】

（ステップ１２０７）
焦点距離取得部２１は、手術顕微鏡１１から焦点距離を取得する。

【0097】

（ステップ１２０８）
視野位置算出部２２は、位置関係格納部４１に格納されている手術顕微鏡１１の焦点距離と、顕微鏡用ポインタ１７から見た手術顕微鏡１１の視野の焦点位置との関係を示す近似ラインを読み出して参照することにより、位置検出センサ９が検出した焦点距離に基づいて、顕微鏡用ポインタ１７から見た視野の座標を、近似または補間等することにより算出する。さらに、視野位置算出部２２は、位置検出センサ９がステップ１２０６で検出した現時点の顕微鏡用ポインタ１７の座標および向きに基づいて、顕微鏡用ポインタ１７から見た視野の座標から、現時点の顕微鏡の視野の実空間座標系における座標および向きを算出する。

【0098】

（ステップ１２０９）
画像生成部２４は、ステップ１２０８で算出された手術顕微鏡１１の視野の座標および向きの患者画像を表示する。具体的には、画像生成部２４は、術前画像格納部４２に予め取り込まれている患者の３次元画像から手術顕微鏡１１の視野の座標および向きの２次元画像をレンダリングにより生成し、この２次元画像を患者画像として表示装置６に表示する。

【0099】

このとき、画像生成部２４は、手術顕微鏡１１に備えられた撮像装置から視野の画像を受け取って、２次元画像と重畳して表示してもよいし、並列に表示してもよい。

【0100】

（ステップ１２１０）
演算処理部２は、操作者からナビ終了の指示をマウス８等を介して受け取っているかどうか判定し、ナビ終了の指示がある場合は終了する。ナビ終了の指示がない場合は、ステップ１２０３に戻って手術ナビゲーションを継続する。

【0101】

上述してきたように、本実施形態の手術ナビゲーションによれば、手術顕微鏡１１の焦点距離に基づいて手術顕微鏡１１の視野位置を特定できるため、手術器具３３のポインタ３５が検出できない場合であっても、手術ナビゲーションを行うことができる。

【0102】

また、手術器具３３の手術器具用ポインタ３５が、位置検出センサ９により認識（検出）されている場合には、手術器具用ポインタ３５を優先して、手術器具用ポインタ３５に基づいて画像を生成し、手術器具用ポインタ３５が、位置検出センサ９により認識（検出）できない場合には、手術顕微鏡１１の焦点位置に戻づいて画像が生成される。よって、手術器具３３が、術者の影に入る場合でも、手術顕微鏡１１の焦点位置に基づいて手術ナビゲーションを継続することができる。

【0103】

なお、ここでは、手術器具用ポインタ３５を、手術顕微鏡１１の焦点位置よりも優先させて手術ナビゲーションを行っているが、この構成に限定されるものではなく、手術顕微鏡１１の焦点位置を優先させる構成としてもよい。また、手術器具用ポインタ３５を用いず、手術顕微鏡１１の焦点位置を常に用いて、手術ナビゲーションを行うことも可能である。

【0104】

また、画像生成部２４は、ステップ１２０９において、手術顕微鏡１１から倍率を受け取って、当該倍率に対応した倍率で２次元画像生成する構成とすることもできる。

【符号の説明】

【0105】

１ 手術ナビゲーションシステム
２ 演算処理部
３ 主メモリ
４ 記憶装置
５ 表示メモリ
６ 表示装置
７ コントローラ
８ マウス
９ 位置検出センサ
１０ ネットワークアダプタ
１１ 手術顕微鏡
１２ 取り付け金具
１３ システムバス
１４ ネットワーク
１５ ３次元撮像装置
１６ 医用画像データベース
１７ 顕微鏡用ポインタ
１８ 反射球
２１ 焦点距離取得部
２２ 視野位置算出部
２３ 手術器具位置算出部
２４ 画像生成部
２５ 焦点位置事前登録部
２５ａ 据付時登録部
２５ｂ 手術前確認部
３０ 焦点位置登録用ポインタ
３０ａ ターゲットライン
３０ｂ 文字
３０ｃ 固定孔
３１ 反射球
３３ 手術器具
３５ ポインタ
３５ 手術器具用ポインタ
３６ 反射球
４１ 位置関係格納部
４２ 術前画像格納部
５０ 患者
７０ カメラ用三脚
１１１ 筐体
１１２ 接眼部
１１４ａ ガイドライン
６００ 顕微鏡焦点位置登録用画面
６０１ 顕微鏡映像出力表示領域
６０２ 焦点登録状況表示領域
６０３ 焦点登録ボタン
６０５ 一致表示部
６０６ 焦点距離表示領域
６０７ 検出状態表示部
１１００ 確認用画面

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】