特開 2017-185212 光軸位置測定システム、光軸位置測定方法、光軸位置測定プログラム、光軸位置測定装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2017-185212(P2017-185212A)

(43)【公開日】2017年10月12日

(54)【発明の名称】光軸位置測定システム、光軸位置測定方法、光軸位置測定プログラム、光軸位置測定装置

(51)【国際特許分類】

   A61B 1/00 20060101AFI20170919BHJP

   A61B 1/04 20060101ALI20170919BHJP

【ＦＩ】

   A61B1/00 A

   A61B1/00 300D

   A61B1/04 372

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

【全頁数】36

(21)【出願番号】特願2017-53847(P2017-53847)

(22)【出願日】2017年3月20日

(31)【優先権主張番号】特願2016-73581(P2016-73581)

(32)【優先日】2016年3月31日

(33)【優先権主張国】JP

(71)【出願人】

【識別番号】504300181

【氏名又は名称】国立大学法人浜松医科大学

(71)【出願人】

【識別番号】503169622

【氏名又は名称】株式会社アメリオ

(71)【出願人】

【識別番号】000112004

【氏名又は名称】パルステック工業株式会社

(74)【代理人】

【識別番号】100114605

【弁理士】

【氏名又は名称】渥美 久彦

(72)【発明者】

【氏名】山本 清二

(72)【発明者】

【氏名】三浦 武志

(72)【発明者】

【氏名】林本 悦一

【テーマコード（参考）】

4C161

【Ｆターム（参考）】

4C161AA12

4C161BB01

4C161CC06

4C161DD01

4C161FF47

4C161HH55

4C161LL02

4C161NN10

4C161WW10

4C161WW13

(57)【要約】

【課題】軽量かつシンプルな構造であって操作性や利便性に優れる光軸位置測定装置を用いて、硬性内視鏡等の長尺状器具の光軸位置と位置姿勢検出用標識体との３次元相対位置関係を精度よく求める。
【解決手段】光軸位置測定装置８０は、硬性内視鏡１１により撮像可能なターゲット画像と、３次元形状測定可能な光軸位置測定用標識体９１とを有する。演算手段は、ターゲット画像と光軸位置測定用標識体９１との３次元相対位置関係を予め記憶し、３次元形状測定により得られる３次元データを処理して硬性内視鏡１１の先端部１４と標識球１２との３次元相対位置関係及び標識球１２と光軸位置測定用標識体９１との３次元相対位置関係を取得し、硬性内視鏡１１が撮像したターゲット画像から撮像画像の中心位置に相当するターゲット画像上の点を取得する。演算手段は、記憶してあるデータと取得したデータに基づき、硬性内視鏡１１の光軸と標識球１２との３次元相対位置関係を求める。
【選択図】図８

【特許請求の範囲】

【請求項1】

対象物を撮像する撮像手段を有する長尺状器具であって、前記長尺状器具の位置と姿勢を検出するための位置姿勢検出用標識体が設けられた長尺状器具における、先端部を起点とする前記撮像手段の実際の光軸である実光軸の位置を測定する光軸位置測定システムにおいて、
前記長尺状器具を定められた範囲の任意の位置に支持する支持機構と、前記支持機構に前記長尺状器具を支持した状態で前記長尺状器具の撮像手段により撮像可能なターゲット画像と、光軸位置測定用標識体とを有する光軸位置測定装置と、
前記光軸位置測定装置に前記長尺状器具を支持した状態で前記光軸位置測定装置と前記長尺状器具の３次元表面形状を測定する３次元形状測定装置と、
前記ターゲット画像と光軸位置測定用標識体との３次元相対位置関係である第１の３次元相対位置関係が記憶され、前記３次形状測定装置による測定で得られた３次元データを用いて演算処理を行う演算手段とを備え、
前記演算手段は、
前記３次元形状測定装置による測定で得られる３次元データを処理することで、前記位置姿勢検出用標識体と前記長尺状器具の先端部との３次元相対位置関係である第２の３次元相対位置関係を取得する演算と、
前記長尺状器具の先端部が前記ターゲット画像から離間した位置にて前記長尺状器具が撮像した前記ターゲット画像を画像処理して撮像画像の中心位置に相当する前記ターゲット画像上の点を取得する演算と、
前記撮像画像の中心位置に相当する前記ターゲット画像上の点を取得するときの前記長尺状器具の支持位置のまま前記３次元形状測定装置による測定で得られる３次元データを処理することで、前記位置姿勢検出用標識体と前記光軸位置測定用標識体との３次元相対位置関係である第３の３次元相対位置関係を取得する演算と、
前記第１から第３の３次元相対位置関係と前記撮像画像の中心位置に相当する前記ターゲット画像上の点とに基づき、前記実光軸の位置と前記位置姿勢検出用標識体との３次元相対位置関係を取得する演算と
を行うことを特徴とする光軸位置測定システム。

【請求項2】

前記光軸位置測定装置において、
前記支持機構は、ベース部材と、前記ベース部材に設けられた、前記長尺状器具をその長手方向に沿って移動可能な状態で支持するガイド部とを備え、
前記ターゲット画像は、前記ベース部材の主面に対して傾斜した状態で設けられたターゲット部材の被撮像面に描かれ、前記長尺状器具を前記ガイド部に支持したとき前記長尺状器具の撮像手段により撮像可能であり、
前記光軸位置測定用標識体は、前記３次元形状測定装置による測定により取得された３次元データから前記光軸位置測定装置の位置と姿勢を検出することが可能な立体形状を有し、前記ベース部材及び前記ターゲット部材の少なくともいずれかに設けられている
ことを特徴とする請求項１に記載の光軸位置測定システム。

【請求項3】

前記ターゲット画像は、格子点パターン、格子線パターンまたはチェッカーパターンであり、前記演算手段が行う画像処理は、歪み補正処理、中心線取得処理及びコーナー取得処理を行ったうえで撮像画像の中心位置に相当する前記ターゲット画像上の点を取得する処理であることを特徴とする請求項１または２に記載の光軸位置測定システム。

【請求項4】

前記長尺状器具は硬性内視鏡であり、前記光軸位置測定システムで取得された、実光軸の位置と前記位置姿勢検出用標識体との３次元相対位置関係は、
患者の３次元表面形状と前記硬性内視鏡に設けられた前記位置姿勢検出用標識体の３次元形状を測定し、取得される３次元データと予め取得されている前記患者の３次元断層データとを用いて演算処理を行い、演算結果を表示する手術支援システムにおいて、前記患者の前記３次元断層データに基づく画像上に前記実光軸の位置及び前記硬性内視鏡の先端部の位置を付加して表示するために用いられる
ことを特徴とする請求項１乃至３のいずれか１項に記載の光軸位置測定システム。

【請求項5】

対象物を撮像する撮像手段を有する長尺状器具であって、前記長尺状器具の位置と姿勢を検出するための位置姿勢検出用標識体が設けられた長尺状器具における、先端部を起点とする前記撮像手段の実際の光軸である実光軸の位置を測定する光軸位置測定方法において、
前記長尺状器具を定められた範囲の任意の位置に支持する支持機構と、前記支持機構に前記長尺状器具を支持した状態で前記長尺状器具の撮像手段により撮像可能なターゲット画像と、光軸位置測定用標識体とを有する光軸位置測定装置を準備する準備ステップと、
前記ターゲット画像と光軸位置測定用標識体との３次元相対位置関係である第１の３次元相対位置関係を取得するステップと、
前記光軸位置測定装置に前記長尺状器具を支持した状態で前記光軸位置測定装置と前記長尺状器具の３次元表面形状を測定し、得られる３次元データを処理することで、前記位置姿勢検出用標識体と前記長尺状器具の先端部との３次元相対位置関係である第２の３次元相対位置関係を取得するステップと、
前記光軸位置測定装置に前記長尺状器具を支持した状態で、前記長尺状器具の先端部が前記ターゲット画像から離間した位置にて前記長尺状器具が撮像した前記ターゲット画像を画像処理して撮像画像の中心位置に相当する前記ターゲット画像上の点を取得するステップと、
前記撮像画像の中心位置に相当する前記ターゲット画像上の点を取得するステップにおける前記長尺状器具の支持位置のまま前記光軸位置測定装置と前記長尺状器具の３次元表面形状を測定し、得られる３次元データを処理することで、前記位置姿勢検出用標識体と前記光軸位置測定用標識体との３次元相対位置関係である第３の３次元相対位置関係を取得するステップと、
前記第１から第３の３次元相対位置関係と前記撮像画像の中心位置に相当する前記ターゲット画像上の点とに基づき、前記実光軸の位置と前記位置姿勢検出用標識体との３次元相対位置関係を取得するステップと
を行うことを特徴とする光軸位置測定方法。

【請求項6】

対象物を撮像する撮像手段を有する長尺状器具であって、前記長尺状器具の位置と姿勢を検出するための位置姿勢検出用標識体が設けられた長尺状器具における、先端部を起点とする前記撮像手段の実際の光軸である実光軸の位置を測定する光軸位置測定システムが備える演算手段により実行される光軸位置測定プログラムにおいて、
前記長尺状器具を定められた範囲の任意の位置に支持する支持機構と、前記支持機構に前記長尺状器具を支持した状態で前記長尺状器具の撮像手段により撮像可能なターゲット画像と、光軸位置測定用標識体とを有する光軸位置測定装置における前記ターゲット画像と光軸位置測定用標識体との３次元相対位置関係である第１の３次元相対位置関係が予め記憶されており、
前記光軸位置測定装置に前記長尺状器具を支持した状態で前記光軸位置測定装置と前記長尺状器具の３次元表面形状を測定した際に得られる３次元データを処理して、前記位置姿勢検出用標識体と前記長尺状器具の先端部との３次元相対位置関係である第２の３次元相対位置関係を取得する演算と、
前記光軸位置測定装置に前記長尺状器具を支持した状態で、前記長尺状器具の先端部が前記ターゲット画像から離間した位置にて前記長尺状器具が撮像した前記ターゲット画像を画像処理して撮像画像の中心位置に相当する前記ターゲット画像上の点を取得する演算と、
前記撮像画像の中心位置に相当する前記ターゲット画像上の点を取得するときの前記長尺状器具の支持位置のまま前記光軸位置測定装置と前記長尺状器具の３次元表面形状を測定した際に得られる３次元データを処理して、前記位置姿勢検出用標識体と前記光軸位置測定用標識体との３次元相対位置関係である第３の３次元相対位置関係を取得する演算と、
前記第１から第３の３次元相対位置関係と前記撮像画像の中心位置に相当する前記ターゲット画像上の点とに基づき、前記実光軸の位置と前記位置姿勢検出用標識体との３次元相対位置関係を取得する演算と
を行うことを特徴とする光軸位置測定プログラム。

【請求項7】

対象物を撮像する撮像手段を有する長尺状器具であって、前記長尺状器具の位置と姿勢を検出するための位置姿勢検出用標識体が設けられた長尺状器具における、先端部を起点とする前記撮像手段の実際の光軸である実光軸の位置を測定する際に使用される光軸位置測定装置において、
ベース部材と、前記ベース部材に設けられた、前記長尺状器具をその長手方向に沿って移動可能な状態で支持するガイド部とを備える支持機構と、
前記ベース部材の主面に対して傾斜した状態で設けられ、前記長尺状器具を前記ガイド部に支持したとき前記長尺状器具の撮像手段により撮像可能であるターゲット画像が被撮像面に描かれたターゲット部材と、
３次元形状測定装置により測定されることにより取得された３次元データから前記光軸位置測定装置の位置と姿勢を検出することが可能な立体形状を有し、前記ベース部材及び前記ターゲット部材の少なくともいずれかに設けられ、前記ターゲット画像との３次元相対位置関係が既知である光軸位置測定用標識体と
を備えることを特徴とする光軸位置測定装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、光軸を有する内視鏡等の長尺状器具の実際の光軸と該長尺状器具の位置姿勢を検出する標識体との３次元相対位置関係を測定する光軸位置測定システム、光軸位置測定方法及び光軸位置測定プログラム、並びに上記システムにて使用可能な光軸位置測定装置に関するものである。

【背景技術】

【0002】

従来より、内視鏡等の手術器具が患者の体内に挿入されたときに、当該手術器具の先端の正確な位置を術前に撮影されたＣＴ（Computed Tomography）やＭＲＩ（Magnetic Resonance Imaging）による画像上に表示し、術者を支援する手術ナビゲーション（手術支援情報表示）が知られている。例えば特許文献１には、本発明者らによる手術支援システムが記載されており、３次元形状測定装置による患者の３次元表面形状と、予め撮像した３次元断層データとを位置合わせする技術が記載されている。また、患者の３次元表面形状を測定する３次元形状測定装置により、手術器具に取り付けられた位置姿勢検出用の標識部（図１の球体１２）を測定して、手術器具の位置姿勢を算出する技術も記載されている。しかしながら、これらの方法は何れも手術器具やポインタなど器具の先端の位置を表示するのみで、内視鏡で撮像している部位が、ＣＴやＭＲＩによる術前画像のどの部分に相当するかを表示するものではない。

【0003】

もし、内視鏡で撮像している部位（内視鏡のモニタに表示されている術野）が術前のＣＴ等による画像のどこに相当するのかを確認することができれば、例えば術者は左手に持った内視鏡で操作を加える場所を直視下に確認し、それが術前のＣＴ等による画像のどの部位を観察しているかを認識しながら、右手で自由に任意の手術器具を持ち替えて手術操作を連続して行うことができる。

【0004】

このような内視鏡で撮像している部位を画像上に表示することが示されている従来技術として、特許文献２及び３が挙げられる。また、本発明者らによる従来技術として、ＷＯ２００８／０９３５１７がある。

【0005】

特許文献２には、手術ナビゲーション装置において、使用中の硬性内視鏡の光軸方向を３次元断層像上に表示する技術が記載されている。

【0006】

特許文献３には、患者の体内に挿入される内視鏡挿入部の先端から患者体内の術部までの距離を測定する距離測定手段（スポット光照射による三角測量法や超音波センサ等）を有する内視鏡を用いて、内視鏡で観察している場所を決定し、術前ＣＴ／ＭＲＩに表示する技術が記載されている。

【0007】

上記特許文献２および３では、内視鏡の位置姿勢の検出に、内視鏡に取り付けられた発光素子などのマーカーと、前記マーカーを検出する位置センサとを用いているが、これらのシステムでは３次元断層データの座標系と患者の位置を特定するための座標系とを一致させるために、患者に何らかのマーカーを取り付けるか、別途、患者の形状を測定する装置を設ける必要があり、患者に不便を強いるという問題や、システムが複雑になるという問題がある。

【0008】

これに対し本発明者らによる従来技術であるＷＯ２００８／０９３５１７では硬性内視鏡の位置姿勢検出に患者の３次元表面形状を測定する３次元形状測定装置を用いており、患者に不便を強いることがなく、またシステムが複雑にならないようにすることができる。

【0009】

ただし、ＷＯ２００８／０９３５１７においては上記特許文献２及び３と同様、内視鏡の光軸は公称値通りであることを前提としており、内視鏡の光軸の較正については考慮されていない。例えば直視鏡では、内視鏡の光軸が内視鏡の鏡筒中心軸の延長線上にある、すなわち内視鏡光軸と内視鏡の鏡筒中心線のなす角が０度であるということを前提として内視鏡の光軸情報を画像上に表示している。

【0010】

手術ナビゲーションにおいて内視鏡で撮像している部位を画像上に精度よく表示する場合、内視鏡の先端から遠方までの実際の光軸情報が必要になるが、これまでは、内視鏡はレンズから比較的近い部分のものを見ることが多いため、内視鏡の先端から近傍付近における光軸の較正やレンズ位置等の較正については考慮されることがあっても、内視鏡の先端から遠方までの光軸の較正については考慮されたことはなかった。例えば特許文献４には、細長いシャフト及び遠位端レンズを有する内視鏡のレンズ位置、及び内視鏡の先端から近傍付近における光軸及び視野を較正する装置が記載されている。しかしながら、内視鏡の先端から遠方までの光軸を較正する方法については記載も示唆もされていない。

【0011】

一般に、内視鏡は、レンズから比較的近い部分のものを見ることが多いので、実際の光軸の公称値の光軸からのずれが大きく影響することは少ないが、手術支援システムなどのように、内視鏡の移動のナビゲーションのために光軸を画像上に直線として表示する場合は、実際の光軸とナビゲーション画面に表示された光軸方向との差が顕著になってしまう。本発明者らは、手術支援システムを開発する上で、この実際の光軸の公称値からのずれが無視できない程度の量であることを見出した。本発明者らは、多くの内視鏡について光軸位置を調査した結果、視野角１２０度の内視鏡の場合、実際の光軸の公称値からのずれは最大で約６度（視野角の５％）程度あることがわかった。これは内視鏡先端から遠方にある位置においては光軸位置の誤差が数ｍｍ程度になる可能性があることを意味する。手術は精密な作業であるため、数ｍｍ程度の誤差でも手術に悪影響を及ぼしてしまう可能性がある。

【0012】

このような事情のもと、本発明者らは、硬性内視鏡の実際の光軸を測定する方法及び装置として、被測定物体の長軸部先端からの光軸と第１標識部との３次元相対関係を測定する３次元相対関係測定方法及びそのための装置を過去に提案している（特許文献５：特許５５６０４２４号公報を参照）。

【0013】

この従来技術の方法では、固定手段、第１の較正用物体、第２の較正用物体及び移動手段を備えた３次元相対関係測定装置が使用される。固定手段には、被測定物体である硬性内視鏡などが固定される。この被測定物体の長軸部には、３次元表面形状スキャナ等のような撮像手段を含んで構成される３次元形状測定装置により位置及び立体形状が測定可能な第１標識部が設けられている。第１の較正用物体は、被測定物体の長軸部先端からの光軸が当たるターゲットと、３次元形状測定装置により位置及び立体形状が測定可能な第２標識部とを有している。ターゲットの中心座標と第２標識部との３次元相対関係は、既知のものとされている。あるいは、３次元形状測定装置によりターゲットの中心座標と第２標識部との３次元相対関係が測定可能なものとされている。第２の較正用物体は、３次元形状測定装置により位置及び立体形状が測定可能な第３標識部を有しており、固定手段により被測定物体が固定される。この固定状態において、被測定物体の長軸部先端の座標または長軸部先端からの光軸に含まれる座標と、第３標識部との３次元相対関係が既知のものとされている。あるいは、３次元形状測定装置により被測定物体の長軸部先端の座標または長軸部先端からの光軸上に含まれる座標と、第３標識部との３次元相対関係が測定可能なものとされている。

【0014】

そして、この装置を用いて測定を行う場合には、まず、移動手段により第１の較正用物体を移動させて、ターゲットに長軸部先端からの光軸が当たるようにする。次に、３次元形状測定装置で第１〜第３標識部の３次元相対位置を測定することにより、被測定物体の光軸と第１標識部との３次元相対関係を測定する。その結果、物体の位置及び姿勢を定義する手段である複数の座標または複数の座標及びベクトルと、長軸部先端からの遠方までの光軸位置とを同一座標系で精度よく検出することが可能となる。ゆえに、硬性内視鏡で撮像している部位を画像上に表示しながら手術ナビゲーションを行う手術支援システムにおいて、画像上に表示される撮像部位（硬性内視鏡の光軸と体内腔との交点）を高精度にすることができ、高い精度の手術ナビゲーションを行うことができるようになっている。

【先行技術文献】

【特許文献】

【0015】

【特許文献1】特開２００７−２０９５３１号公報

【特許文献2】特開２００１−２９３００６号公報

【特許文献3】特開２００１−２０４７３８号公報

【特許文献4】特表２００３−５２８６８８号公報

【特許文献5】特許５５６０４２４号公報

【発明の概要】

【発明が解決しようとする課題】

【0016】

しかしながら、上記特許文献５の従来技術にはいくつかの問題があった。

【0017】

従来技術の３次元相対関係測定装置は、上記のとおり、固定手段、第１の較正用物体、第２の較正用物体及び移動手段を備えた複雑な構造を有するものであることから、全体の寸法がかなり大きくて重いものとなっていた。従って、例えば術者が簡単に持ち運べるようなものではなく、可搬性や操作性に優れるとは言い難いものであった。

【0018】

また、３次元表面形状スキャナ等のような３次元形状測定手段の測定可能範囲には一定の制約があるため、３次元相対関係測定装置の全体の寸法が大きすぎると、測定可能範囲内に全ての第１〜第３標識部が入り切らず、３次元相対関係の測定を行えないことがあった。ゆえにこの場合には、全ての第１〜第３標識部が測定可能範囲内に入るように、測定手段側を動かして位置調整を行ったり、あるいは３次元相対関係測定装置側を動かして位置調整を行ったりする必要があり、いずれにしても重い装置を動かすという煩雑な作業を余儀なくされていた。

【0019】

さらに、この３次元相対関係測定装置では、ターゲットの中心に長軸部先端からの光軸が当たるようにするべく、移動手段を用いて第１の較正用物体を移動させて位置調整を行う必要があるが、この作業が非常に煩雑で時間がかかり、これが操作性を低下させる一因となっていた。また、当該装置の移動手段は、第１の較正用物体を光軸方向と直交する２方向、あるいは第２の較正用物体を中心とする円弧に沿って回動させるための機構を有する関係上、その可動部分（摺動部分）には潤滑剤が使用されており、滅菌して使用するのには不向きなものであった。勿論、滅菌して使用することは必ずしも不可能ではないが、潤滑剤の揮発、飛散等を考慮して注意深く滅菌を行う必要があることから、利便性が高いとは言い難かった。

【0020】

本発明は上記の課題に鑑みてなされたものであり、その目的は、較正用物体を移動させる手段が不要なため軽量かつシンプルな構造であって操作性や利便性に優れる光軸位置測定装置を用いての長尺状器具先端を起点とする光軸を有する内視鏡等の長尺状器具における光軸位置と該長尺状器具の位置姿勢を定義する手段との３次元相対位置関係を精度よく測定することができる光軸位置測定システム、光軸位置測定方法、光軸位置測定プログラムを提供することにある。また、本発明の別の目的は、光軸位置測定システムにて使用するのに好適な光軸位置測定装置を提供することにある。そして、長尺状器具先端を起点とする光軸を有する物体が硬性内視鏡である場合には、操作性及び利便性よく光軸位置を遠方まで精度よく測定することができ、これにより高い精度の手術ナビゲーションを行うことができるようにすることにある。なお、本願において３次元相対位置関係と表現されているものは、従来技術における３次元相対関係と同一である。

【課題を解決するための手段】

【0021】

そして上記課題を解決するための手段（手段１）としては、対象物を撮像する撮像手段を有する長尺状器具であって、前記長尺状器具の位置と姿勢を検出するための位置姿勢検出用標識体が設けられた長尺状器具における、先端部を起点とする前記撮像手段の実際の光軸である実光軸の位置を測定する光軸位置測定システムにおいて、前記長尺状器具を定められた範囲の任意の位置に支持する支持機構と、前記支持機構に前記長尺状器具を支持した状態で前記長尺状器具の撮像手段により撮像可能なターゲット画像と、光軸位置測定用標識体とを有する光軸位置測定装置と、前記光軸位置測定装置に前記長尺状器具を支持した状態で前記光軸位置測定装置と前記長尺状器具の３次元表面形状を測定する３次元形状測定装置と、前記ターゲット画像と光軸位置測定用標識体との３次元相対位置関係である第１の３次元相対位置関係が記憶され、前記３次形状測定装置による測定で得られた３次元データを用いて演算処理を行う演算手段とを備え、前記演算手段は、前記３次元形状測定装置による測定で得られる３次元データを処理することで、前記位置姿勢検出用標識体と前記長尺状器具の先端部との３次元相対位置関係である第２の３次元相対位置関係を取得する演算と、前記長尺状器具の先端部が前記ターゲット画像から離間した位置にて前記長尺状器具が撮像した前記ターゲット画像を画像処理して撮像画像の中心位置に相当する前記ターゲット画像上の点を取得する演算と、前記撮像画像の中心位置に相当する前記ターゲット画像上の点を取得するときの前記長尺状器具の支持位置のまま前記３次元形状測定装置による測定で得られる３次元データを処理することで、前記位置姿勢検出用標識体と前記光軸位置測定用標識体との３次元相対位置関係である第３の３次元相対位置関係を取得する演算と、前記第１から第３の３次元相対位置関係と前記撮像画像の中心位置に相当する前記ターゲット画像上の点とに基づき、前記実光軸の位置と前記位置姿勢検出用標識体との３次元相対位置関係を取得する演算とを行うことを特徴とする光軸位置測定システム、がある。

【0022】

上記手段１に記載の発明によると、演算手段にはターゲット画像と光軸位置測定用標識体との３次元相対位置関係が予め記憶されており、演算手段が光軸位置測定装置に長尺状器具を支持した状態で３次元形状測定装置による測定により得られる３次元データを処理することで、位置姿勢検出用標識体と長尺状器具の先端部との３次元相対位置関係、及び位置姿勢検出用標識体と光軸位置測定用標識体との３次元相対位置関係を取得でき、長尺状器具が撮像したターゲット画像を画像処理することで撮像画像の中心位置に相当するターゲット画像上の点を取得できる。そして、演算手段が取得されたこれらの３次元相対位置関係及び撮像画像の中心位置に相当するターゲット画像上の点を用いた演算処理を行うことにより、長尺状器具の実際の光軸である実光軸と位置姿勢検出用標識体との３次元相対位置関係を取得することができる。そして、光軸位置測定装置での長尺状器具の支持は定められた範囲の任意の位置で行うことができ、術者自らの操作により、従来技術の較正用物体に相当するターゲット画像に対する長尺状器具の位置を設定して、３次元形状測定装置による測定と長尺状器具による撮像を行うことができる。それゆえ、従来必須とされていた較正用物体を移動させる手段や、標識部を有する第２の較正用物体を省略することができ、軽量かつシンプルな構造であって操作性や利便性に優れた光軸位置測定装置を用いて実光軸と位置姿勢検出用標識体との３次元相対位置関係を測定することが可能となる。そして、このような光軸位置測定装置を使用した場合であっても、長軸部先端を起点とする光軸を有する内視鏡等の長尺状器具における光軸位置と位置姿勢検出用標識体との３次元相対位置関係を精度よく測定することができる。なお、撮像手段を有する長尺状器具における実光軸とは、撮像手段が対象物を撮像したときの撮像画像の中心位置に相当する対象物の点を撮像中心点とし、この対象物の長尺状器具からの距離を変化させたときの、それぞれの対象物の場所における撮像中心点を結んだラインをいう。この定義は、背景技術に記載されている硬性内視鏡の光軸も同じである。

【0023】

上記光軸位置測定システムにおける前記光軸位置測定装置において、前記支持機構は、ベース部材と、前記ベース部材に設けられた、前記長尺状器具をその長手方向に沿って移動可能な状態で支持するガイド部とを備え、前記ターゲット画像は、前記ベース部材の主面に対して傾斜した状態で設けられたターゲット部材の被撮像面に描かれ、前記長尺状器具を前記ガイド部に支持したとき前記長尺状器具の撮像手段により撮像可能であり、前記光軸位置測定用標識体は、前記３次元形状測定装置による測定により取得された３次元データから前記光軸位置測定装置の位置と姿勢を検出することが可能な立体形状を有し、前記ベース部材及び前記ターゲット部材の少なくともいずれかに設けられていることが好ましい。

【0024】

このような構成の光軸位置測定装置の場合、ベース部材にガイド部が設けられていることに加え、ターゲット画像を有するターゲット部材がベース部材の主面に対して傾斜した状態で設けられている。それゆえ、ガイド部に長尺状器具を支持させた状態で操作することにより、術者が手ぶれすることなく長尺状器具を長尺状器具の長手方向へ直線的に簡単かつ正確に移動させ、長尺状器具をガイド部の任意の位置に支持することができる。さらに、長尺状器具の長手方向に対して実光軸が角度をなしていても、長尺状器具の注視点である画像中心点の位置を徐々にずらすことができる。よって、長尺状器具の長手方向に対して実光軸が平行な場合であっても様々な角度をなしている場合であっても適用可能となり、汎用性が高い光軸位置測定装置とすることができる。例えば、長尺状器具が硬性内視鏡である場合には、実光軸の硬性内視鏡の長手方向に対する角度がほぼ０°の直視鏡、３０°や７０°の斜視鏡、９０°の側視鏡などの測定について適用可能となる。

【0025】

前記ターゲット画像は、格子点パターン、格子線パターンまたはチェッカーパターンであり、前記演算手段が行う画像処理は、歪み補正処理、中心線取得処理及びコーナー取得処理を行ったうえで撮像画像の中心位置に相当する前記ターゲット画像上の点を取得する処理であることが好ましい。

【0026】

これらのようなターゲット画像を用いた場合、ターゲット画像の撮像画像の歪み補正処理を比較的容易に行うことができ、さらにはその後の中心線取得処理及びコーナー取得処理についても精度よく行うことが可能となるため、撮像画像の中心位置に相当するターゲット画像上の点を取得する処理を精度よく行うことができる。これにより、長尺状器具の実際の光軸である実光軸と位置姿勢検出用標識体との３次元相対位置関係をより正確に測定することができる。なお、先に列挙したターゲット画像のなかでも、特にチェッカーパターンを用いることが好適である。

【0027】

前記光軸位置測定システムにより実光軸の位置が測定される長尺状器具は硬性内視鏡であり、前記光軸位置測定システムで取得された実光軸の位置と前記位置姿勢検出用標識体との３次元相対位置関係は、患者の３次元表面形状と前記硬性内視鏡に設けられた前記位置姿勢検出用標識体の３次元形状を測定し、取得される３次元データと予め取得されている前記患者の３次元断層データとを用いて演算処理を行い、演算結果を表示する手術支援システムにおいて、前記患者の前記３次元断層データに基づく画像上に前記実光軸の位置及び前記硬性内視鏡の先端部の位置を付加して表示するために用いられるとよい。

【0028】

そして上記課題を解決するための別の手段（手段２）としては、対象物を撮像する撮像手段を有する長尺状器具であって、前記長尺状器具の位置と姿勢を検出するための位置姿勢検出用標識体が設けられた長尺状器具における、先端部を起点とする前記撮像手段の実際の光軸である実光軸の位置を測定する光軸位置測定方法において、前記長尺状器具を定められた範囲の任意の位置に支持する支持機構と、前記支持機構に前記長尺状器具を支持した状態で前記長尺状器具の撮像手段により撮像可能なターゲット画像と、光軸位置測定用標識体とを有する光軸位置測定装置を準備する準備ステップと、前記ターゲット画像と光軸位置測定用標識体との３次元相対位置関係である第１の３次元相対位置関係を取得するステップと、前記光軸位置測定装置に前記長尺状器具を支持した状態で前記光軸位置測定装置と前記長尺状器具の３次元表面形状を測定し、得られる３次元データを処理することで、前記位置姿勢検出用標識体と前記長尺状器具の先端部との３次元相対位置関係である第２の３次元相対位置関係を取得するステップと、前記光軸位置測定装置に前記長尺状器具を支持した状態で、前記長尺状器具の先端部が前記ターゲット画像から離間した位置にて前記長尺状器具が撮像した前記ターゲット画像を画像処理して撮像画像の中心位置に相当する前記ターゲット画像上の点を取得するステップと、前記撮像画像の中心位置に相当する前記ターゲット画像上の点を取得するステップにおける前記長尺状器具の支持位置のまま前記光軸位置測定装置と前記長尺状器具の３次元表面形状を測定し、得られる３次元データを処理することで、前記位置姿勢検出用標識体と前記光軸位置測定用標識体との３次元相対位置関係である第３の３次元相対位置関係を取得するステップと、前記第１から第３の３次元相対位置関係と前記撮像画像の中心位置に相当する前記ターゲット画像上の点とに基づき、前記実光軸の位置と前記位置姿勢検出用標識体との３次元相対位置関係を取得するステップとを行うことを特徴とする光軸位置測定方法、がある。

【0029】

そして上記課題を解決するためのさらに別の手段（手段３）としては、対象物を撮像する撮像手段を有する長尺状器具であって、前記長尺状器具の位置と姿勢を検出するための位置姿勢検出用標識体が設けられた長尺状器具における、先端部を起点とする前記撮像手段の実際の光軸である実光軸の位置を測定する光軸位置測定システムが備える演算手段により実行される光軸位置測定プログラムにおいて、前記長尺状器具を定められた範囲の任意の位置に支持する支持機構と、前記支持機構に前記長尺状器具を支持した状態で前記長尺状器具の撮像手段により撮像可能なターゲット画像と、光軸位置測定用標識体とを有する光軸位置測定装置における前記ターゲット画像と光軸位置測定用標識体との３次元相対位置関係である第１の３次元相対位置関係が予め記憶されており、前記光軸位置測定装置に前記長尺状器具を支持した状態で前記光軸位置測定装置と前記長尺状器具の３次元表面形状を測定した際に得られる３次元データを処理して、前記位置姿勢検出用標識体と前記長尺状器具の先端部との３次元相対位置関係である第２の３次元相対位置関係を取得する演算と、前記光軸位置測定装置に前記長尺状器具を支持した状態で、前記長尺状器具の先端部が前記ターゲット画像から離間した位置にて前記長尺状器具が撮像した前記ターゲット画像を画像処理して撮像画像の中心位置に相当する前記ターゲット画像上の点を取得する演算と、前記撮像画像の中心位置に相当する前記ターゲット画像上の点を取得するときの前記長尺状器具の支持位置のまま前記光軸位置測定装置と前記長尺状器具の３次元表面形状を測定した際に得られる３次元データを処理して、前記位置姿勢検出用標識体と前記光軸位置測定用標識体との３次元相対位置関係である第３の３次元相対位置関係を取得する演算と、前記第１から第３の３次元相対位置関係と前記撮像画像の中心位置に相当する前記ターゲット画像上の点とに基づき、前記実光軸の位置と前記位置姿勢検出用標識体との３次元相対位置関係を取得する演算とを行うことを特徴とする光軸位置測定プログラム、がある。

【0030】

そして上記課題を解決するためのさらに別の手段（手段４）としては、対象物を撮像する撮像手段を有する長尺状器具であって、前記長尺状器具の位置と姿勢を検出するための位置姿勢検出用標識体が設けられた長尺状器具における、先端部を起点とする前記撮像手段の実際の光軸である実光軸の位置を測定する際に使用される光軸位置測定装置において、ベース部材と、前記ベース部材に設けられた、前記長尺状器具をその長手方向に沿って移動可能な状態で支持するガイド部とを備える支持機構と、前記ベース部材の主面に対して傾斜した状態で設けられ、前記長尺状器具を前記ガイド部に支持したとき前記長尺状器具の撮像手段により撮像可能であるターゲット画像が被撮像面に描かれたターゲット部材と、３次元形状測定装置により測定されることにより取得された３次元データから前記光軸位置測定装置の位置と姿勢を検出することが可能な立体形状を有し、前記ベース部材及び前記ターゲット部材の少なくともいずれかに設けられ、前記ターゲット画像との３次元相対位置関係が既知である光軸位置測定用標識体とを備えることを特徴とする光軸位置測定装置、がある。

【0031】

上記手段４に記載の発明によると、光軸位置測定装置での長尺状器具の支持はガイド部の任意の位置で行うことができ、術者自らの操作により、従来技術の較正用物体に相当するターゲット画像に対する長尺状器具の位置を設定して、３次元形状測定装置による測定と長尺状器具による撮像を行うことができる。それゆえ、従来必須とされていた較正用物体を移動させる手段や、標識部を有する第２の較正用物体を省略することができ、軽量かつシンプルな構造であって操作性や利便性に優れた光軸位置測定装置とすることができる。また、ベース部材にガイド部が設けられていることに加え、ターゲット画像を有するターゲット部材がベース部材の主面に対して傾斜した状態で設けられている。それゆえ、ガイド部に長尺状器具を支持させた状態で操作することにより、術者が手ぶれすることなく長尺状器具を長尺状器具の長手方向へ直線的に簡単かつ正確に移動させ、長尺状器具をガイド部の任意の位置に支持することができる。さらに、長尺状器具の長手方向に対して実光軸が角度をなしていても、長尺状器具の注視点である撮像画像の中心位置を徐々にずらすことができる。よって、長尺状器具の長手方向に対して実光軸が平行な場合であっても、様々な角度をなしている場合であっても適用可能となり、汎用性が高い光軸位置測定装置とすることができる。例えば、長尺状器具が硬性内視鏡である場合には、実光軸の硬性内視鏡の長手方向に対する角度がほぼ０°の直視鏡、３０°や７０°の斜視鏡、９０°の側視鏡などの測定について適用可能となる。以上のことから、器具の先端を起点とする光軸を有する硬性内視鏡等の長尺状器具における実光軸の位置と該長尺状器具の位置姿勢を定義する位置姿勢検出用標識体との３次元相対位置関係を精度よく測定可能な上記の光軸位置測定システムでの使用に適した光軸位置測定装置とすることができる。

【発明の効果】

【0032】

以上詳述したように、請求項１〜６に記載の発明によると、較正用物体を移動させる手段及び標識部を有する第２の較正用物体が不要なため軽量かつシンプルな構造であって操作性や利便性に優れる光軸位置測定装置を用いての長尺状器具先端を起点とする光軸を有する内視鏡等の長尺状器具における光軸位置と該長尺状器具の位置姿勢を定義する位置姿勢検出用標識体との３次元相対位置関係を精度よく測定することができる光軸位置測定システム、光軸位置測定方法、光軸位置測定プログラムを提供することができる。また、請求項７に記載の発明によると、上記の光軸位置測定システム、光軸位置測定方法にて使用するのに好適な光軸位置測定装置を提供することができる。そして、長尺状器具先端を起点とする光軸を有する物体が硬性内視鏡である場合には、操作性及び利便性よく光軸位置を遠方まで精度よく測定することができ、これにより高い精度の手術ナビゲーションを行うことができるようになる。

【図面の簡単な説明】

【0033】

【図1】本発明の実施形態に係る手術支援システムの構成を示す概略図。

【図2】硬性内視鏡（直視鏡）の光軸ずれを説明するための図。

【図3】硬性内視鏡（直視鏡）の光軸ずれを説明するための図。

【図4】本発明の実施形態に係る手術支援システムでの処理を示すフローチャート。

【図5】硬性内視鏡の光軸及び交点の表示例を表す図。

【図6】本実施形態の光軸位置測定装置の全体構成を表す写真。

【図7】（ａ）は本実施形態の光軸位置測定装置の正面図、（ｂ）はその背面図、（ｃ）はその側面図、（ｄ）はその平面図。

【図8】本実施形態の光軸位置測定装置の使用時の様子を示す斜視図。

【図9】（ａ）は使用時において内視鏡先端部をターゲット画像に当接させた様子を示す図、（ｂ）は内視鏡先端部をターゲット画像から離間させた様子を示す図、（ｃ）は内視鏡先端部をターゲット画像からさらに離間させた様子を示す図。

【図10】本実施形態において行う画像処理を説明するための硬性内視鏡の撮像画像。

【図11】本実施形態において行う画像処理を説明するための硬性内視鏡の撮像画像。

【図12】本実施形態において行う画像処理を説明するための硬性内視鏡の撮像画像。

【図13】本実施形態において行う３次元相対位置関係を求める演算を視覚的に示す図。

【発明を実施するための形態】

【0034】

本発明は、硬性内視鏡のように撮像手段を備える長尺状器具における、先端部を起点とする撮像手段の実際の光軸である実光軸の位置を測定する光軸位置測定システム及び光軸位置測定方法であるが、該システム及び方法を説明する前に、長尺状器具の実光軸の位置を精度よく取得する必要性を説明するため、本発明により取得された実光軸の位置が適用される手術支援システムについて、図１〜図５に基づいて説明する。

【0035】

図１は、本発明により取得された実光軸の位置が適用される手術支援システム１の実施形態を概略的に示す構成図である。手術支援システム１は、患者６０に対する手術の際に、硬性内視鏡１１により撮像された画像に関する情報を術者７５等に提供する装置である。手術支援システム１が用いられる手術は、例えば、耳鼻咽頭科における副鼻腔の内視鏡手術等のように、硬性内視鏡１１による撮像が行われるものを対象とする。

【0036】

図１に示すように、手術支援システム１は、長尺状器具としての硬性内視鏡１１と、標識球１２と、３次元形状測定装置２０と、ＣＴ装置３０と、演算手段としてのＰＣ（Personal Computer）４０と、表示装置５０とを含んで構成されている。また、３次元形状測定装置２０の測定範囲内に後述する光軸位置測定装置８０を配置すれば、硬性内視鏡１１の実光軸と標識球１２（位置姿勢検出用標識体）との３次元相対位置関係を測定する本発明による光軸位置測定システムにすることもできる。

【0037】

硬性内視鏡１１は、術者７５により操作され、患者６０（対象物）の内部に挿入されて当該内部を撮像する装置である。硬性内視鏡１１は、患者６０の生体内に挿入できるように細長い形状をしており、その先端部には患者６０の内部を撮像するための機構が設けられている。その機構は、例えば、被撮像部に向くように位置決めして設けられたレンズ及び、レンズの結像位置に設けられたＣＣＤイメージセンサ（Charge Coupled Device Image Sensor）等の撮像素子である。なお、ＣＣＤイメージセンサの代わりにＣＭＯＳイメージセンサ(Complementary Metal Oxide Semiconductor Image Sensor）を用いてもよい。硬性内視鏡１１の位置決めのされ方によって、硬性内視鏡１１の撮像方向Ａが決まる。通常は、レンズの光軸方向が、硬性内視鏡１１の撮像方向Ａとなる。硬性内視鏡１１により撮像された画像の情報は、ケーブルにより硬性内視鏡１１と電気的に接続されたＰＣ４０に出力される。なお、上記の硬性内視鏡１１としては、特殊な構成を有している必要はなく、従来から用いられている硬性内視鏡１１を用いることができる。

【0038】

標識球１２は、硬性内視鏡１１の撮像方向Ａ（実光軸）に対してあらかじめ定められた相対的な位置関係の位置に固定されて設けられる３つ以上の定点を定義可能な物体である。標識球１２は、３次元形状測定装置２０によりスキャンされて、スキャンにより得られたデータから表面の複数点の３次元座標を求められ、これらの複数の３次元座標から球体中心座標が求められる。具体的には、標識球１２は、硬性内視鏡１１に対して棒状部材１３を介して固定される球状の部材であって、それぞれ大きさが異なっている。大きさが異なるようにしているのは、３次元形状測定装置２０によりスキャンにより得られたデータから複数点の３次元座標（以下、３次元データという）を算出し、３次元データから球体の３次元データを抽出して球体中心座標を算出する際、球体の径も算出し、それぞれの球体中心座標を区別して検出するためである。

【0039】

標識球１２が硬性内視鏡１１に設けられる位置は、患者６０に挿入される部分からさらに後方の、患者６０に挿入されない位置である。また、標識球１２と硬性内視鏡１１の先端部からの撮像方向Ａ（実光軸）との位置関係が一定となるように、硬性内視鏡１１における、患者６０の内部に挿入される部分から標識球１２が設けられる部分までは、硬質の材質で形成されており屈曲できないようになっている。

【0040】

なお、硬性内視鏡１１に設けられる３つ以上の定点を定義可能な物体は、硬性内視鏡１１の先端部からの撮像方向Ａ（実光軸）に対して定められた相対的な位置関係の位置にあり、３次元形状測定装置２０によるスキャンにより得られたデータから３つ以上の定点座標を区別して求められるものであればよい。従って、必ずしも図１の標識球１２のような球状のものでなくてもよく、直方体、円柱体、円錐体といった形状のものでもよい。また、硬性内視鏡１１の位置と姿勢を検出することができればよく、３つ以上の定点座標に替えて２つ以上の定点座標と１つ以上のベクトルまたは１つ以上の定点座標と２つ以上のベクトルを検出することができる形状であってもよい。

【0041】

３次元形状測定装置２０は、患者６０に硬性内視鏡１１が差し込まれるときに、患者６０の表面及び標識球１２を３次元スキャンする装置である。図１に示すように、患者６０の鼻の穴から硬性内視鏡１１を挿入して、硬性内視鏡１１により患者６０の頭部を形状測定する場合には、患者６０の顔面と標識球１２とが形状測定できるような位置に３次元形状測定装置２０が設けられる。３次元形状測定装置２０は、ＰＣ４０と電気的に接続されており、スキャンして得られた３次元データの元になるデータをＰＣ４０に送信する。

【0042】

３次元形状測定装置２０によるスキャンにより得られたデータは、ＰＣ４０内にてスキャンされたものの表面の複数点の３次元座標（３次元データ）と位置姿勢の情報を算出するために用いられる。３次元形状測定装置２０としては、例えば、特開２００３−２５４７３２号公報に記載された位相シフト法による装置を用いることができる。これは、キセノンライトから発せられる自然太陽光に似た白色光に似た格子模様を投影して３次元スキャンするものである。

【0043】

なお、位相シフト法による３次元形状測定装置であるパルステック工業（株）製のＦｓｃａｎを用いれば、１秒未満の計測時間で、９０±１０ｃｍの距離から形状測定が可能となる。また、分解能は０．１〜０．６ｍｍであり、通常のデジタルカメラとしての機能も備える。即ち、１秒未満で３次元データを持った解像度の高い画像が取得できる。また、使用される光は可視光であり、レーザ等を使うことがないため安全に人体の３次元形状測定を行うことができる。

【0044】

ＣＴ装置３０は、硬性内視鏡１１が挿入される患者６０の３次元断層データを取得するものである。ＣＴ装置３０による患者６０の３次元断層データを第１座標系によるデータとする。

【0045】

ＣＴ装置３０は、放射線等を利用して物体を走査し、コンピュータを用いて処理された内部構造を等間隔（例えば、１ｍｍ）毎に輪切りにしたような画像（ＣＴ画像）を、患者６０の内部の３次元形状を示す情報である３次元断層データとして作成するものであり、既存のＣＴ装置を用いることができる。ＣＴ装置３０はＰＣ４０と電気的に接続されており、取得した患者６０の３次元断層データを、ＰＣ４０に送信する。なお、ＣＴ装置３０は、３次元形状測定装置２０と同じ場所に設置されている必要はなく、通常、３次元形状測定装置２０によるスキャンと、ＣＴ装置３０による３次元断層データの取得とは別々に行われる。なお、ＣＴ画像からの３次元断層データの作成には、例えば特開２００５−２７８９９２号公報に記載の方法を用いることができる。

【0046】

なお、手術支援システム１では、患者６０の内部を含む３次元形状を示す情報が取得できればよいので、患者の内部の形状取得手段（３次元断層データ取得手段）として必ずしもＣＴ装置３０に限られず、例えば、ＭＲＩ装置や超音波診断装置を用いてもよい。

【0047】

ＰＣ４０は、３次元形状測定装置２０によるスキャンにより得られたデータ及びＣＴ装置３０により取得された患者６０の３次元断層データを受信して、これらの情報に対して情報処理を行う装置である。ＰＣ４０は、具体的には、ＣＰＵ（Central Processing Unit）、メモリ等のハードウェアにより構成され、これらの情報処理装置が動作することにより、下記のＰＣ４０の機能が実現される。図１に示すように、ＰＣ４０は、機能的な構成要素として、患者形状取得部４１と、撮像画像取得部４２と、表面形状算出部４３と、座標軸一致部４４と、内視鏡ベクトル算出部４５と、交点算出部４６と、出力部４７とを備えている。

【0048】

患者形状取得部４１は、ＣＴ装置３０から送信される、患者６０の３次元断層データを受信する手段である。患者形状取得部４１は、受信した患者６０の３次元断層データを、必要に応じて座標軸一致部４４及び交点算出部４６等に出力する。なお、手術支援システム１では、必ずしも図１に示すように、患者形状取得手段としてＣＴ装置３０自体を備えている必要はなく、患者形状取得部４１により（手術支援システム１に含まれないＣＴ装置で撮像等された）患者６０の３次元断層データが受信さえされればよい。

【0049】

撮像画像取得部４２は、３次元形状測定装置２０によるスキャンにより得られたデータを受信する手段である。撮像画像取得部４２は、受信したデータを表面形状算出部４３及び内視鏡ベクトル算出部４５等に出力する。

【0050】

表面形状算出部４３は、３次元形状測定装置２０によるスキャンにより得られたデータから、患者６０の表面の３次元形状を表す複数の座標データを算出する表面形状算出手段である。患者６０の表面は、この手術支援システム１の適用形態の場合、患者６０の顔面である。表面形状算出部４３により取得される３次元形状を表す複数の座標データは、例えば３次元形状測定装置２０に設定されている座標系における座標データとして算出される。この座標系は、上述した第１座標系とは異なるものであり、この座標系を第２座標系とする。即ち、３次元形状測定装置２０によるスキャンにより得られたデータにより算出された患者６０の３次元形状を表す複数の座標データは、第２座標系におけるデータである。表面形状算出部４３は、算出した患者６０の表面の３次元形状を示すデータを、座標軸一致部４４に出力する。

【0051】

座標軸一致部４４は、患者形状取得部４１により取得された患者６０の３次元断層データと表面形状算出部４３により算出された患者６０の表面の３次元形状を示すデータとのいずれかまたは両方を座標変換して、第１座標系によるデータと第２座標系によるデータとを座標軸を一致させたデータにする座標軸一致手段である。即ち、座標軸一致部４４は、ＣＴ装置３０による３次元断層データと、３次元形状測定装置２０によるスキャンにより得られたデータから算出された３次元形状を示すデータとを同じ座標系によるデータにして処理できるようにするための手段である。

【0052】

具体的には、座標軸一致部４４は、ＣＴ装置３０による３次元断層データ、及び３次元形状測定装置２０によるスキャンにより得られたデータから算出された３次元形状を示すデータの双方に共通する患者６０の顔面の位置を対応させることによって座標軸の一致を行うための座標変換係数を算出する。共通する顔面の位置を対応させる処理は、例えばパターンマッチングの方法を用いることにより行われ、当該処理の結果として第１座標系及び第２座標系のいずれか一方の座標系のデータをもう一方の座標系のデータに座標変換する座標変換係数が算出される。座標軸一致部４４は、算出された座標変換係数等を、必要に応じて内視鏡ベクトル算出部４５、交点算出部４６及び出力部４７等に出力する。上記の座標軸を一致させる処理以降は、内視鏡ベクトル算出部４５、交点算出部４６及び出力部４７等において上記の座標変換係数等が、３次元形状を示すデータに適用されることによって、ＣＴ装置３０による３次元断層データと、３次元形状測定装置２０によるスキャンにより得られたデータから算出された３次元形状を示すデータとは同じ座標系で処理される。以下、この座標系を座標系Ｆという。

【0053】

内視鏡ベクトル算出部４５は、３次元形状測定装置２０によりスキャンされた標識球１２の複数の座標データから標識球１２の中心座標を算出し、座標軸一致部４４で算出された座標系Ｆによるデータにするための座標変換係数により座標変換して、この座標変換された標識球１２の中心座標と予め記憶されている標識球１２の中心と硬性内視鏡１１の先端部からの撮像方向との位置関係とから座標軸一致部４４で算出された座標系Ｆによる硬性内視鏡１１の撮像方向ベクトルＡを算出する内視鏡ベクトル算出手段である。なお、ここで言う撮像方向ベクトルＡには、ベクトルの起点となる位置も含まれる。即ち、硬性内視鏡１１の撮像方向Ａのベクトルは、どの点からどの方向に撮像が行われるかを示したものである。内視鏡ベクトル算出部４５は、標識球１２の中心と硬性内視鏡１１の撮像方向ベクトルＡとの位置関係を示す情報をあらかじめ記憶している。当該位置関係を示す情報としては、具体的には例えば、同一の座標系における硬性内視鏡１１の先端部の座標と硬性内視鏡１１の光軸（撮像方向ベクトルＡ）が当たるターゲットの座標と標識球１２の中心座標である。内視鏡ベクトル算出部４５は、算出した座標系Ｆによる撮像方向ベクトルＡのデータを、交点算出部４６に出力する。

【0054】

ここで、硬性内視鏡１１の光軸（撮像方向における撮像中心を示す直線）が、メーカーが公表している公称値通りであればよいが、実際には公称値からずれている。例えば、視野角１２０度の内視鏡の場合、最大で約６度（視野角の５％）程度の光軸方向の誤差が生じ得る。したがって、公称値通りであることを前提にして撮像方向ベクトルＡを決定してしまうと、実際の内視鏡の視野とナビゲーションされる情報とに齟齬を生じてしまう。したがって、あらかじめ記憶しておく標識球１２の中心と硬性内視鏡１１の撮像方向ベクトルＡとの位置関係は、実際の光軸位置（撮像方向ベクトルＡ）を標識球１２の中心座標とともに同一の座標系で測定し、記憶しておく必要がある。

【0055】

硬性内視鏡１１が直視鏡である場合の、光軸ずれの例を、図２及び図３を用いて説明する。直視鏡であれば、光軸（撮像方向における撮像中心を示す直線）は、鏡筒中心線と一致するはずであるが、実際には様々な要因により少しずれが生じる。図２は対物レンズ等の要因により、鏡筒先端部で角度ずれが生じる例である。図２は、光軸が、鏡筒中心に対してθ度ずれており（図２（Ａ）参照）、そのずれている方向が天頂方向からφ度である（図２（Ｂ）参照）例である。図２の例は、鏡筒の先端面と鏡筒中心との交点から光軸ずれが生じることを前提にしたが、光軸ずれは必ずしもこの点からずれるとは限らず、図３（Ａ）のようにより接眼レンズに近い側でずれ始めることもあるし、図３（Ｂ）のように、光軸（撮像方向における撮像中心を示す直線）が鏡筒の先端面と鏡筒中心との交点を通らないこともある。光軸位置の測定は、後述する３次元形状測定装置２０を用いた光軸位置測定システムを用いて行われる。なお、図２及び図３では、直視鏡の場合について説明したが、斜視鏡や側視鏡でも同様の光軸ずれが生じる得ることは言うまでもない。

【0056】

交点算出部４６は、内視鏡ベクトル算出部４５により算出された座標系Ｆによる硬性内視鏡１１の撮像方向ベクトルＡと患者形状取得部４１により取得された３次元形状を示す情報に係る患者６０の内部を構成する面との交点を算出する交点算出手段である。この交点は、ＣＴ装置３０による３次元形状を示す情報における、硬性内視鏡１１が撮像を行っている点（中心点）である。具体的には、交点算出部４６は、患者６０の内部を構成する面を三次元立体データにして、当該三次元立体データを構成する各面と硬性内視鏡１１の撮像方向ベクトルＡとの交点座標を算出する。交点座標の算出については、より詳細には後述する。交点算出部４６は、算出した交点座標のデータを出力部４７に出力する。

【0057】

出力部４７は、交点算出部４６により算出された交点座標のデータを、患者形状取得部４１により取得された患者６０の内部を構成する面を示す情報であるＣＴ画像データに重畳して、表示装置５０に出力する出力手段である。また、出力部４７は、硬性内視鏡１１により撮像されてＰＣ４０に入力された内視鏡画像データを併せて、表示装置５０に出力するようにしてもよい。

【0058】

表示装置５０は、ＰＣ４０から入力された情報を表示する。術者は表示装置５０を参照することにより、硬性内視鏡１１が患者６０内部のどの部分を撮像しているのかを知ることができる。

【0059】

引き続いて、手術支援システム１の動作について、図４のフローチャートを参照して説明する。この動作は、例えば、患者６０に対する手術の際に硬性内視鏡１１を挿入して治療等を行うときの動作である。この説明においては、手術前の処理と手術時の処理とに分けて説明する。

【0060】

まず手術前に、ＣＴ装置３０を用いた、患者６０に対するＣＴスキャン撮影が行われる（ステップＳ１０参照）。このＣＴスキャン撮影は、硬性内視鏡１１が挿入される患者６０の部位に対して行われる。これにより、患者６０の表面である顔面と、硬性内視鏡１１が挿入される患者６０の内部を構成する面との３次元形状を示す情報が取得される。ＣＴスキャン撮影により取得された患者６０の内部の３次元形状を示す情報（３次元断層データ）は、ＰＣ４０に送信される。ＰＣ４０では、患者形状取得部４１により当該情報が取得されて、ＰＣ４０内に格納される（ステップＳ２０参照）。上記が手術前の処理であり、例えば、手術の前日等に行われる。

【0061】

引き続いて、手術時の処理を説明する。まず、患者６０を手術室に入室させて、図１に示すように、硬性内視鏡１１を鼻の穴から挿入できるように手術台７０の上の仰向けに配置する。患者６０を配置した後、硬性内視鏡１１を挿入する前に、３次元形状測定装置２０によって、配置された患者６０がスキャンされる（ステップＳ３０参照）。スキャンにより得られたデータは、３次元形状測定装置２０からＰＣ４０に送信されて、ＰＣ４０において撮像画像取得部４２によって受信される。受信されたデータは、撮像画像取得部４２から表面形状算出部４３に出力される。

【0062】

表面形状算出部４３では、当該データから患者６０の表面である顔面の３次元形状を示すデータが算出される（ステップＳ４０参照）。算出された患者６０の顔面の３次元形状を示すデータは、表面形状算出部４３から座標軸一致部４４に出力される。これと同じタイミングで、ＰＣ４０内に格納されていた、ＣＴ装置３０による患者６０の内部の３次元形状を示すデータ（３次元断層データ）が、患者形状取得部４１から座標軸一致部４４に出力される。

【0063】

この時点ではＣＴ装置３０による患者６０の３次元形状を示すデータと、３次元形状測定装置２０によるデータから患者６０の表面である顔面の３次元形状を示すデータとに係るそれぞれの座標系の座標軸は、一致していない。ＣＴ装置３０によるデータと、３次元形状測定装置２０のデータとは個々の座標系による値になっている状態である。

【0064】

ここで、座標軸一致部４４によって、これら２つのデータにおける顔面の形状がマッチングされることにより座標変換係数が算出され、データが座標変換されて、２つのデータが一致された座標軸である座標系Ｆによるデータになる（ステップＳ５０参照）。顔面の形状のマッチングは、上述したようにパターンマッチングの手法により行われる。なお、マッチングする部位は、顔面全体や顔面の鼻や頬等の特徴ある部位等、あらかじめ設定しておく。座標系Ｆによるデータにするための座標変換係数は、座標軸一致部４４から、内視鏡ベクトル算出部４５、交点算出部４６及び出力部４７にそれぞれ出力されてデータの座標変換等が行われて、これ以降、座標系Ｆによるデータを基準として３次元形状に対する情報処理が行われる。上記が手術開始までの処理である。

【0065】

また、手術開始前までに、後述する光軸位置測定装置８０を用いて、硬性内視鏡１１の実際の光軸位置を測定して記憶しておく。

【0066】

続いて、手術が開始され、術者７５によって、硬性内視鏡１１が患者６０に挿入される。この際、患者６０の頭部は、ステップＳ３０〜Ｓ５５の処理を行ったときから大きく動かさないようにする。これは既に得られている座標系Ｆによる患者表面の３次元データと手術中に得られる患者表面の３次元データを座標系Ｆによるデータにしたときのずれが大きくなることを防止するためである。なお、微小なずれは、手術中に得られる患者表面の３次元データを用いて座標系Ｆによるデータにするための座標変換係数を補正すれば、問題ない。硬性内視鏡１１が患者６０に挿入されてから以降継続して、３次元形状測定装置２０によって、患者６０及び標識球１２がスキャンされる（ステップＳ６０参照）。スキャンされたデータは、３次元形状測定装置２０からＰＣ４０に送信されて、ＰＣ４０において撮像画像取得部４２によって受信される。受信されたデータは、撮像画像取得部４２から内視鏡ベクトル算出部４５に出力される。

【0067】

続いて、内視鏡ベクトル算出部４５によって、標識球１２の中心の３次元座標が算出される（ステップＳ７０）。続いて、内視鏡ベクトル算出部４５によって、算出された標識球１２の中心の３次元座標から、あらかじめ記憶していた標識球１２の中心座標と硬性内視鏡１１の撮像方向ベクトルＡとの位置関係を示す情報に基づいて、座標系Ｆによるデータとして硬性内視鏡１１の撮像方向ベクトルＡが算出される（ステップＳ８０参照）。この際、あらかじめ記憶されている内視鏡ごとの標識球１２の中心座標と実際の光軸位置（撮像方向ベクトルＡ）との位置関係を示す情報を用いて、座標系Ｆによる硬性内視鏡１１の撮像方向ベクトルＡを算出する。

【0068】

算出された撮像方向ベクトルＡの情報は、内視鏡ベクトル算出部４５から交点算出部４６に出力される。これと同じタイミングで、ＰＣ４０内に格納されていたＣＴ装置３０による患者６０の３次元形状を示す情報が、患者形状取得部４１から交点算出部４６に出力される。続いて、交点算出部４６によって、硬性内視鏡１１の撮像方向ベクトルＡと、患者６０の内部を構成する面との交点が算出される（ステップＳ９０参照）。

【0069】

交点の算出は、以下のように行われる。まず、交点算出部４６によって、ＣＴ装置３０による患者６０の３次元形状を示す情報が、三次元立体データに変換される。なお、三次元立体データへの変換は手術前に行い、あらかじめＰＣ４０に格納しておいてもよい。三次元立体データが例えばポリゴンデータである場合には患者６０の内部が多数の三角面で構成され、ボクセルデータである場合には患者６０の内部が多数の六面体で構成される。次に、このような三角面や六面体の面と、硬性内視鏡１１の撮像方向ベクトルＡとの交点が算出される。なお、この交点の算出については、例えば特許５５６１４５８号公報に開示された方法を用いることができる。

【0070】

算出された交点の座標の情報は、交点算出部４６から出力部４７に出力される。このタイミングで、患者６０の内部を構成する面を示す情報であるＣＴ画像が、患者形状取得部４１から出力部４７に出力される。交点の情報は、出力部４７によって、患者６０の内部を構成する面を示す情報であるＣＴ画像に当該交点の座標に応じた箇所に重畳されて、表示装置５０に入力される。入力された画像は、表示装置５０によって表示される（ステップＳ１００参照）。交点の情報は、例えば図５に示されているように、硬性内視鏡１１の光軸と併せて、３次元断層データ及び内視鏡撮像画像上に表示される。術者７５は表示された画像を参照することにより、硬性内視鏡１１が患者６０内部のどの部分を撮像しているのかを知ることができる。

【0071】

また、硬性内視鏡１１により撮像された画像も、ＰＣ４０によって受信されて出力部４７から表示装置５０に出力されるようにして、上記の硬性内視鏡１１により撮像されている箇所がどの点に位置しているかの表示と併せて表示されるようにすることが望ましい。

【0072】

上記のステップＳ６０〜Ｓ１００までの処理は、例えば、１秒間間隔等の等間隔で繰り返し行われる。なお、ＰＣ４０におけるステップＳ３０〜Ｓ５０の処理と、ステップＳ６０〜Ｓ１００の処理とは異なっているが、例えば、ステップＳ５０の座標軸の一致の処理が行われたら、自動的にステップＳ６０以降の処理に移るようにしてもよい。また、術者７５等の操作により処理の切替が行われてもよい。

【0073】

上述したように本発明により取得された実光軸の位置が適用される手術支援システム１では、ＣＴ装置３０による患者６０の内部を構成する面及び患者の表面の３次元形状を示す情報（３次元断層データ）と、３次元形状測定装置２０により外部から患者６０をスキャンして得られたデータとを用いて、硬性内視鏡１１で撮像している部分が、患者６０のどの部位に相当するかを表示することができる。従って、手術支援システム１によれば、新たに特殊な内視鏡を用いることなく、上記の表示を行うことができる。また、手術支援システム１によれば、上記の表示において、患者６０の体内の脳脊髄液等のような液体の影響を受けることがないので、正確に上記の表示を行うことができる。従って、手術支援システム１を用いれば、安全かつ正確に手術を行うことができる。

【0074】

また、ＣＴスキャン撮影（ステップＳ１０）の際に、患者６０にマーク等をつける必要がなく、通常通りのＣＴスキャン撮影を行えばよいので、簡便である。また、位置合わせ等のために患者６０をピンなどで固定する必要がない。患者６０を手術中に動かしたとしても、容易に位置合わせを行うことができる。上記の手術支援システム１の各構成要素は、比較的安価であり、低コストで実現することができる。

【0075】

以上は、本発明による光軸位置測定システムにより取得された硬性内視鏡１１の実光軸の位置が適用される手術支援システム１についての説明であるが、上述したように硬性内視鏡１１の実光軸の位置が精度よく得られていないと、硬性内視鏡１１で撮像している患者６０の部位を精度よく表示することはできなくなり、安全かつ正確に手術を行うことができなくなる。本発明は、軽量かつシンプルな構造であって操作性や利便性に優れた光軸位置測定装置８０を用いて硬性内視鏡１１の実光軸の位置を精度よく取得することができる光軸位置測定システム及び光軸位置測定方法である。

【0076】

光軸位置測定システムは、３次元形状測定装置、光軸位置測定装置８０及び後述する演算処理を行うプログラムがインストールされているＰＣ（Personal Computer）からなる。図１に示すように３次元形状測定装置及びＰＣは、手術支援システム１の３次元形状測定装置２０とＰＣ４０をそのまま用いることができる。ただし、３次元形状測定を精度よく行うことができるならば、手術支援システム１の３次元形状測定装置２０とは別の３次元形状測定装置を使用することもでき、後述する演算処理を行うプログラムがインストールされているならば、手術支援システム１のＰＣ４０とは別のＰＣを用いることもできる。以下に、図６〜図１３に基づいて、本発明の実施形態である光軸位置測定システムにおける光軸位置測定装置８０及びそれを使用した光軸位置測定方法について説明する。この説明においては、３次元形状測定装置２０とＰＣ４０は手術支援システム１のものがそのまま使用されるとする。

【0077】

この光軸位置測定装置８０は、長尺状器具である硬性内視鏡１１の実光軸の位置をキャリブレ―ションするため、すなわち、実光軸の位置と位置姿勢検出用標識体である標識球１２との３次元相対位置関係を測定するため、硬性内視鏡１１が支持される装置である。そして、硬性内視鏡１１が支持された状態で３次元形状測定装置２０により３次元形状が測定され、３次元形状測定装置２０からＰＣ４０に入力したデータをＰＣ４０にて演算処理することで、光軸位置測定装置８０と硬性内視鏡１１の立体形状を表す３次元データ（x，y，zからなる座標値データの群）が取得される。

【0078】

まず、光軸位置測定装置８０の構造について説明する。図６〜図９に示されるように、この光軸位置測定装置８０は、ステンレス等の金属板材からなるベース部材８１を備えている。このベース部材８１の前端における両側には一対の腕部８４が形成され、それら腕部８４の間には軽量化等のために肉抜部８３が設けられている。ベース部材８１の上側に位置する面である主面８２の中央部には、Ｖ字溝状のガイド部９５がベース部材８１の前後方向に向かって延びるように設けられている。このガイド部９５は、硬性内視鏡１１の鏡筒１５をその長手方向に沿って移動可能な状態で支持するための部分であり、硬性内視鏡１１の鏡筒１５を支持したとき鏡筒１５の中心軸は主面８２に平行であるとともに、主面８２と後述する被撮像面８６とに垂直な平面に対しても平行ある。

【0079】

ベース部材８１における上記一対の腕部８４の先端には、長方形状をなすターゲット部材８５の下端側が支持固定されている。このターゲット部材８５は、全体的に黒色に着色されたステンレス等の金属板材からなるとともに、ベース部材８１の主面８２に対して傾斜した状態で設けられ、その傾斜角度は例えばθ＝３０°〜７０°の範囲内（本実施形態では６０°）となるように設定されている（図７（ｃ）参照）。ターゲット部材８５において斜め下方を向く面は被撮像面８６であり、その被撮像面８６の中央部には硬性内視鏡１１により撮像可能な所定のターゲット画像８８が描かれている。本実施形態では、ターゲット画像８８として図６に示すようなもの、即ち正方形状をなす白黒のチェッカー部を２列縦隊で配列したチェッカーパターンが描かれている。このチェッカーパターンは、個々のパターンごとに文字（数字）が付されており、ターゲット画像８８の下端側から上端側に向かって細長く直線的に延びている。なお、上述したガイド部９５の先端側の延長線上には、ターゲット画像８８の中心線が存在している。また、定まった断面径の硬性内視鏡１１の鏡筒１５をガイド部９５に支持したとき、鏡筒１５の中心線がターゲット画像８８の中心線にある白黒のチェッカーパターンのコーナーと交差するよう、ターゲット部材８５のベース部材８１への取り付けが調整されている。この調整は、光軸位置測定装置８０の製作時において、同じ断面径の長尺状の円柱体で先端部分の中心軸位置が尖っている物体をガイド部９５に支持し、被撮像面８６に当接させることで行う。

【0080】

ベース部材８１の主面８２上において離間した複数の位置には、３次元形状測定装置２０による立体形状測定により得られた３次元データを処理することで定点座標を取得することが可能であって、ターゲット画像８８との３次元相対位置関係が既知とされている光軸位置測定用標識体９１が設けられている。本実施形態では、このような光軸位置測定用標識体９１として白色の標識球が３つ設けられている。具体的には、ターゲット部材８５において斜め上方を向く面８７をその正面から視たときに、ベース部材８１はターゲット部材８５の左右両側に張り出した部分を有しており、それらの部分に３つの標識球が配置されている。従って、当該方向から３次元形状測定装置２０が光軸位置測定装置８０をスキャンしたときに、ターゲット部材８５に光軸位置測定用標識体９１が隠れにくくなり、光軸位置測定用標識体９１と硬性内視鏡１１の位置姿勢検出用標識体である標識球１２の立体形状の測定が可能となり、光軸位置測定用標識体９１と標識球１２との３次元相対位置関係を取得することが可能となる。

【0081】

また、ベース部材８１における上記一対の腕部８４の上面には、ステンレス等の金属材料からなりターゲット部材８５を支持する側部支持片９６がそれぞれ設けられている。側部支持片９６には上下方向に延びる複数のスリットが等間隔に形成されており、これらのスリットがあることで硬性内視鏡１１の鏡筒１５の移動距離がある程度把握できるようになっている。

【0082】

なお、この光軸位置測定装置８０は、術者７５が片手で把持できて簡単に持ち運べる程度の大きさ・重さとなるように構成されている。

【0083】

次にこの光軸位置測定装置８０を用いた、硬性内視鏡１１の光軸の位置と標識球１２との３次元相対位置関係を測定する方法について説明する。これは端的には、図８に示すように、光軸位置測定装置８０に硬性内視鏡１１を支持した状態で光軸位置測定装置８０の３次元形状測定を行い、取得される３次元データを演算処理することで同一の座標系で硬性内視鏡１１の光軸位置を表す値と標識球１２の定点座標（中心座標）を得ることである。光軸位置を表す値は、例えば硬性内視鏡１１の鏡筒１５の先端部１４における光軸上の座標Ｔと光軸に平行なベクトル成分Ｖであり、これが上述した撮像方向ベクトルＡである。この方法は次の５つの手順から成る。

【0084】

（手順１）
光軸位置測定装置８０のターゲット画像８８と光軸位置測定用標識体９１との３次元相対位置関係を取得する。
（手順２）
光軸位置測定装置８０のＶ字溝状のガイド部９５に、先端部１４がターゲット部材８５に当接するよう硬性内視鏡１１の鏡筒１５をセットしたときの（図９（ａ）の状態にしたときの）、硬性内視鏡１１の先端部１４と標識球１２との３次元相対位置関係を取得する。
（手順３）
光軸位置測定装置８０のＶ字溝状のガイド部９５に硬性内視鏡１１の鏡筒１５を支持した状態で、鏡筒１５を適切な距離移動させたとき（図９（ｂ），図９（ｃ）の状態にしたとき）の、硬性内視鏡１１の撮像画像の中心位置に相当するターゲット画像８８上の点を取得する。
（手順４）
手順３で硬性内視鏡１１の撮像画像の中心位置に相当するターゲット画像８８上の点を取得したときの、光軸位置測定用標識体９１と標識球１２との３次元相対位置関係を取得する。
（手順５）
手順１から手順４で得られた３次元相対位置関係と、硬性内視鏡１１の撮像画像の中心位置に相当するターゲット画像８８上の点とから、硬性内視鏡１１の光軸の位置と、標識球１２との３次元相対位置関係を取得する。

【0085】

まず、手順１の、ターゲット画像８８と光軸位置測定用標識体９１との３次元相対位置関係を取得する方法から説明する。ターゲット画像８８と光軸位置測定用標識体９１との３次元相対位置関係を取得するとは、具体的には同一の座標系で、ターゲット画像８８の各位置における座標と、光軸位置測定用標識体９１の定点座標（中心座標）とを取得することである。ただし、ターゲット画像８８における各位置は無限大にあるため、実質的にすべての位置を同一の座標系で得ることは不可能である。よって、光軸位置測定用標識体９１の中心座標を取得することと、ターゲット画像８８における各位置を被撮像面８６内にＸ，Ｙ軸を設定してｘ，ｙ座標値で表せるようにし、このｘ，ｙ座標値を、光軸位置測定用標識体９１の中心座標を表す座標系の座標値へ座標変換する座標変換係数を取得することを行う。これが、ターゲット画像８８と光軸位置測定用標識体９１との３次元相対位置関係を取得することである。

【0086】

被撮像面８６内に設定するＸ，Ｙ軸は様々な方法が考えられるが、本実施形態では、定まった断面径の硬性内視鏡１１の鏡筒１５をガイド部９５に支持したとき、鏡筒１５の中心軸が被撮像面８６と交差する点を座標原点Ｏとし、白黒のチェッカー部の境界ラインが上端から下端まで連続しているターゲット画像８８の中心線をＹ軸とし、この中心線の垂直方向をＸ軸とする。以後、ターゲット画像８８の各位置における平面座標を表すため被撮像面８６内に設定したＸ，Ｙ座標軸を、座標系Ｓという。そして、座標系Ｓの座標値を座標変換する先の座標系であり、光軸位置測定用標識体９１の中心座標を表す座標系を座標系Ｄといい、座標変換に用いる座標変換係数を座標変換係数Ｆｓｄという。以下、座標系Ｄによる光軸位置測定用標識体９１の中心座標を取得し、座標変換係数Ｆｓｄを取得する方法を説明する。

【0087】

光軸位置測定装置８０のガイド部９５に定まった断面径の硬性内視鏡１１の鏡筒１５又は定まった断面径の長尺状の円柱体を支持し、光軸位置測定装置８０を３次元形状測定装置２０に対し、鏡筒１５（又は円柱体）、光軸位置測定用標識体９１、被撮像面８６、及びベース部材８１の主面８２が３次元形状測定可能になるよう適切な位置に設置する。次に３次元形状測定装置２０による測定を実行し、光軸位置測定装置８０の３次元データを取得する。３次元形状測定装置２０の座標系が座標系Ｄであり、取得した３次元データは座標系Ｄによるデータある。この取得した３次元データを用いて、ＰＣ４０にて次の（１）〜（７）の演算処理を実行する。

【0088】

（１）すべての３次元データの中から、それぞれの光軸位置測定用標識体９１の３次元データを抽出し、抽出した３次元データを用いてそれぞれの光軸位置測定用標識体９１の中心座標を計算する。演算処理を行うＰＣ４０には、光軸位置測定用標識体９１の径が記憶されており、球体という情報および径の数値により３次元データの抽出が行われる。そして、抽出した３次元データを球体の式（ｘ−ａ）^２+（ｙ−ｂ）^２+（ｚ−ｃ）^２＝ｄ^２に当てはめ、最小２乗法により中心座標（ａ，ｂ，ｃ）を求める。この、すべての３次元データの中から光軸位置測定用標識体９１の３次元データのみを抽出する方法は公知技術であり、詳細は特許第３９５２４６７号に記載されているのでそちらを参照する。取得された光軸位置測定用標識体９１の中心座標は、座標系Ｄによる座標である。なお、中心座標を計算して記憶するとともに、それぞれの中心座標を結ぶことで形成される三角形の辺の長さと角度も計算して記憶しておく。これは、３つの光軸位置測定用標識体９１の位置関係からそれぞれの光軸位置測定用標識体９１を識別することができるようにするためであり、この後、別の座標系で光軸位置測定用標識体９１の中心座標を取得するときも常にそのようにする。これは異なる座標系同士で３つの光軸位置測定用標識体９１の中心座標をそれぞれ対応できるようにし、座標変換係数を計算することができるようにするためである。

【0089】

（２）すべての３次元データの中から、ベース部材８１の主面８２の３次元データを抽出し、ベース部材８１の主面８２の法線ベクトルを計算する。これは、次の順に演算処理を行うことで行う。まず、すべての３次元データから（１）で抽出した３次元データを除いた残りのデータの中から、１つの光軸位置測定用標識体９１の中心座標の近傍にある一部の３次元データを抽出し、平面の式ａ・ｘ＋ｂ・ｙ＋ｃ・ｚ＋１＝０に代入して最小２乗法により係数ａ，ｂ，ｃを計算する。このとき（１）で計算した中心座標を結ぶベクトルの成分とベクトル（ａ，ｂ，ｃ）との成す角度が略垂直になっていれば、すべての３次元データから平面の式ａ・ｘ＋ｂ・ｙ＋ｃ・ｚ＋１＝０による平面からの距離が所定の微小範囲内にある３次元データを抽出する。このとき抽出された３次元データが所定数以上あれば、最初に抽出した３次元データはすべて主面８２のものと判定して、抽出した３次元データすべてを、平面の式ａ・ｘ＋ｂ・ｙ＋ｃ・ｚ＋１＝０に代入して最小２乗法により係数ａ，ｂ，ｃを計算する。もし、（１）で計算した中心座標を結ぶベクトルの成分とベクトル（ａ，ｂ，ｃ）とが略垂直でなかったり、抽出された３次元データが所定数未満であれば、最初に抽出した３次元データは主面８２以外のものを含むと判定して、最初に抽出した３次元データの近傍にあるデータを抽出して同一の処理を行う。この処理を係数ａ，ｂ，ｃが計算されるまで行う。計算されたａ，ｂ，ｃが主面８２の法線ベクトルの成分（ａ，ｂ，ｃ）である。なお、法線ベクトルは（ａ，ｂ，ｃ），（−ａ，−ｂ，−ｃ）の２つがあり、主面８２の上方に向かう法線ベクトルを選定する。それには、３次元形状測定装置２０の原点座標から光軸位置測定用標識体９１のいずれかに向かうベクトルと（ａ，ｂ，ｃ），（−ａ，−ｂ，−ｃ）の法線ベクトルとの成す角度をベクトルの内積の式により計算し、角度が９０度未満である方の法線ベクトルを選定する。

【0090】

（３）すべての３次元データの中から、被撮像面８６の３次元データを抽出し、被撮像面８６の法線ベクトルを計算する。これは、次の順に演算処理を行うことで行う。まず、すべての３次元データから（１）と（２）で抽出した３次元データを除いた残りのデータの中から、光軸位置測定用標識体９１の中心座標の近傍から所定距離以上離れた位置にある一部の３次元データを抽出し、平面の式ｅ・ｘ＋ｆ・ｙ＋ｇ・ｚ＋１＝０に代入して最小２乗法により係数ｅ，ｆ，ｇを計算する。このとき（２）で計算した法線ベクトル（ａ，ｂ，ｃ）とベクトル（ｅ，ｆ，ｇ）との成す角度がベース部材８１の主面８２と被撮像面８６が成す角度θ又は（１８０°−該角度θ）になっていれば（本実施形態では略６０°又は略１２０°になっていれば）、すべての３次元データから平面の式ｅ・ｘ＋ｆ・ｙ＋ｇ・ｚ＋１＝０による平面からの距離が所定の微小範囲内にある３次元データを抽出する。このとき抽出された３次元データが所定数以上あれば、最初に抽出した３次元データはすべて被撮像面８６のものと判定して、抽出した３次元データすべてを、平面の式ｅ・ｘ＋ｆ・ｙ＋ｇ・ｚ＋１＝０に代入して最小２乗法により係数ｅ，ｆ，ｇを計算する。もし、（２）で計算した法線ベクトル（ａ，ｂ，ｃ）とベクトル（ｅ，ｆ，ｇ）との成す角度が所定の角度でなかったり、抽出された３次元データが所定数未満であれば、最初に抽出した３次元データは被撮像面８６以外のものを含むと判定して、最初に抽出した３次元データの近傍にあるデータを抽出して同一の処理を行う。この処理を係数ｅ，ｆ，ｇが計算されるまで行う。計算されたｅ，ｆ，ｇが被撮像面８６の法線ベクトルの成分（ｅ，ｆ，ｇ）である。なお、法線ベクトルは（ｅ，ｆ，ｇ），（−ｅ，−ｆ，−ｇ）の２つがあり、被撮像面８６からベース部材８１の主面８２に向かう法線ベクトルを選定する。それには、（２）で計算した法線ベクトル（ａ，ｂ，ｃ）と、（ｅ，ｆ，ｇ），（−ｅ，−ｆ，−ｇ）の法線ベクトルとの成す角度を計算し、角度が９０°を超える方の法線ベクトルを選定する。本実施形態では、略６０°か略１２０°のどちらかになるので、略１２０°になる方を選定する。

【0091】

（４）法線ベクトル（ａ，ｂ，ｃ）と法線ベクトル（ｅ，ｆ，ｇ）の外積によるベクトルを計算し、このベクトルの単位ベクトルαｄを計算する。これは、座標系Ｄにおけるベース部材８１の主面８２と被撮像面８６の両方に垂直な平面の法線ベクトルの単位ベクトルαｄを計算することである。この単位ベクトルαｄは被撮像面８６に設定したＸ軸と平行である。
（５）（４）で計算した単位ベクトルαｄと（３）で計算した法線ベクトル（ｅ，ｆ，ｇ）の外積によるベクトルを計算し、このベクトルの単位ベクトルβｄを計算する。これは、被撮像面８６にあるターゲット画像８８の中心線に平行なベクトルの単位ベクトルβｄを計算することである。この単位ベクトルβｄは被撮像面８６に設定したＹ軸と平行である。

【0092】

（６）定まった断面径ｒ０の硬性内視鏡１１の鏡筒１５又は定まった断面径ｒ０の円柱体の中心軸が被撮像面８６と交差する点の座標値Ｏｄを計算する。これは、次の順に演算処理を行うことで行う。まず、単位ベクトルαｄを法線ベクトルとし、被撮像面８６に向かって右側前方と左側にある光軸位置測定用標識体９１の中心座標の中間点の座標を含む平面の式を計算する。次にすべての３次元データの中から、（１）〜（３）で抽出した光軸位置測定用標識体９１、主面８２及び被撮像面８６の３次元データを除き、残ったデータにおいて計算した平面から設定された距離内にある３次元データを抽出する。これにより硬性内視鏡１１の鏡筒１５又は定まった断面径の円柱体の３次元データを含むデータが抽出される。次に単位ベクトルαｄと主面８２の法線ベクトルの外積によるベクトルを計算し、このベクトルを法線ベクトルとし、被撮像面８６に向かって右側前方と左側にある光軸位置測定用標識体９１の中心座標の中間点の座標を含む平面と、この平面を法線ベクトルの方向に所定の距離づつ移動したときの複数の平面の式を計算する。次に、抽出した３次元データの中からこれらの平面からの距離が微小範囲内にある３次元データを、各平面ごとに抽出する。これにより、定まった断面径の硬性内視鏡１１の鏡筒１５又は円柱体を中心軸方向に複数の箇所で輪切りしたときの切り口に相当する箇所の３次元データが抽出される。次に、各平面ごとに抽出された３次元データを球体の式（ｘ−ａ）^２+（ｙ−ｂ）^２+（ｚ−ｃ）^２＝ｒ０^２に当てはめ、最小２乗法により中心座標（ａ，ｂ，ｃ）を求める。得られた複数の中心座標は硬性内視鏡１１の鏡筒１５又は円柱体の中心軸上の座標とみなせるので、これらの複数の座標を通る直線の式を最小２乗法で計算する。次に計算された直線の式と（３）で計算した被撮像面８６の平面の式から成る連立方程式を解くことで、定まった断面径ｒ０の鏡筒１５又は円柱体の中心軸が被撮像面８６と交差する点の座標値Ｏｄを取得する。

【0093】

（７）（４）〜（６）で得られた単位ベクトルαｄ、単位ベクトルβｄ、定まった断面径ｒ０の鏡筒１５又は円柱体の中心軸が被撮像面８６と交差する点の座標値Ｏｄから、座標系Ｓによる座標値を座標系Ｄによる座標値に変換するための座標変換係数Ｆｓｄを計算する。（４）〜（６）で得られた単位ベクトルαｄ、単位ベクトルβｄ、座標値Ｏｄは座標系Ｄによる値であり、これらの座標系Ｓによる値は、単位ベクトルαはＸ軸に平行な単位ベクトルであるため（１，０，０）、単位ベクトルβはＹ軸に平行な単位ベクトルであるため（０，１，０）、座標値Ｏは座標原点であるため（０，０，０）である。２つのベクトルの成分と１つの点の座標値が座標系Ｄ、座標系Ｓでそれぞれ得られているので、これらの値を座標変換の式に代入して連立方程式を解けば、座標変換係数Ｆｓｄを計算することができる。この計算は公知技術であり、詳細は例えば特許第４２９１１７８号等に記載されているのでそちらを参照する。

【0094】

これにより、座標系Ｄによる光軸位置測定用標識体９１の中心座標と、座標系Ｓによる座標値を座標系Ｄによる座標値に変換する座標変換係数Ｆｓｄを取得することができる。すなわち、光軸位置測定装置８０のターゲット画像８８と、光軸位置測定用標識体９１との３次元相対位置関係を取得することができる。なお、ターゲット画像８８を撮影したときの撮像画像の指定した位置の座標を、座標系Ｓによる座標値で取得することができるよう、白黒のチェッカーパターンのコーナーの座標系Ｓによる座標値は予めＰＣ（Personal Computer）４０に記憶されている。これは、上述した定まった断面径ｒ０の鏡筒１５又は円柱体の中心軸が被撮像面８６と交差する白黒のチェッカーパターンのコーナーを座標原点とし、ターゲット画像８８の中心線をＹ軸、座標原点でＹ軸と直交する軸をＸ軸とした平面座標を想定し、白黒のチェッカーパターンのコーナーごとに、座標原点からのＸ軸方向距離とＹ軸方向距離を精度よく測定すればよい。また、ターゲット画像８８を被撮像面８６に描く際、それぞれの白黒のチェッカーパターンの各辺の長さを精度よく描くことができれば、設定値をそのままＸ軸方向距離とＹ軸方向距離にすることができる。

【0095】

手順１は硬性内視鏡１１の光軸位置をキャリブレーションするための準備であり、一度行って必要なデータをＰＣ（Personal Computer）４０に記憶すれば２回目以降は行う必要はない。すなわち手順１の準備作業が完了すれば、手順２以降の作業を繰り返し行い、硬性内視鏡１１ごとに光軸位置をキャリブレーションすることができる。

【0096】

次に、手順２の、光軸位置測定装置８０のＶ字溝状のガイド部９５に、先端部１４がターゲット部材８５に当接するよう、硬性内視鏡１１の鏡筒１５をセットしたときの（図９（ａ）の状態にしたときの）、硬性内視鏡１１の先端部１４と、標識球１２との３次元相対位置関係を取得する方法について説明する。硬性内視鏡１１の先端部１４と、標識球１２との３次元相対位置関係を取得するとは、具体的には同一の座標系で硬性内視鏡１１の先端部１４の座標と標識球１２の中心座標とを取得することである。この同一の座標系を座標系Ｐとする。なお、図３に示すように硬性内視鏡１１の実光軸が先端部１４の面と鏡筒１５の中心軸との交点を通らない場合は、硬性内視鏡１１の先端部１４の座標に替えて硬性内視鏡１１の先端部１４の座標を含み、硬性内視鏡１１の鏡筒１５の中心軸に垂直な平面の式を取得するようにする。

【0097】

光軸位置測定装置８０のガイド部９５に、先端部１４がターゲット部材８５に当接するよう、キャリブレーション対象の硬性内視鏡１１の鏡筒１５を支持し（図９（ａ）の状態にし）、光軸位置測定装置８０を３次元形状測定装置２０に対し、鏡筒１５、光軸位置測定用標識体９１及び標識球１２が３次元形状測定可能になるよう適切な位置に設置する。鏡筒１５が定まった断面径ｒ０であれば、光軸位置測定用標識体９１及び標識球１２が３次元形状測定可能であればよいので、図１に示すように光軸位置測定装置８０を斜め上方を向く面８７の側から３次元形状測定を行う位置に設置してもよい。次に３次元形状測定装置２０による測定を実行し、光軸位置測定装置８０及び硬性内視鏡１１の３次元データを取得する。この３次元形状測定装置２０の座標系が座標系Ｐであり、取得した３次元データは座標系Ｐによるデータである。この取得した３次元データを用いて次の（１）〜（４）の演算処理を実行する。

【0098】

（１）すべての３次元データの中から、それぞれの光軸位置測定用標識体９１の３次元データを抽出し、抽出した３次元データを用いてそれぞれの光軸位置測定用標識体９１の中心座標を計算する。これは、手順１の（１）で行った演算処理と同一である。
（２）すべての３次元データの中から、それぞれの標識球１２の３次元データを抽出し、抽出した３次元データを用いてそれぞれの標識球１２の中心座標を計算する。これも、抽出に用いる球体の径の情報が手順２の（１）と異なるのみで、手順１の（１）で行った演算処理と同一である。

【0099】

（３）手順１の（１）及び手順２の（１）で取得した光軸位置測定用標識体９１の中心座標と、手順１の（６）の演算処理の途中で求めた、定まった断面径の鏡筒１５又は円柱体の中心軸方向のベクトル成分を用いて、座標系Ｐによる硬性内視鏡１１の鏡筒１５の中心軸方向のベクトルの成分を計算する。これは、次の順に演算処理を行うことで行う。まず、手順２の（１）で取得された座標系Ｐによる光軸位置測定用標識体９１の中心座標と、手順１の（１）で取得されている座標系Ｄによる光軸位置測定用標識体９１の中心座標とを座標変換の式に代入し連立方程式を解くことで、座標系Ｄによる値を座標系Ｐによる値に変換する座標変換係数Ｆｄｐを取得する。次に、手順１の（６）の演算処理の途中で求めた座標系Ｄによる定まった断面径ｒ０の鏡筒１５の中心軸方向のベクトル成分は、鏡筒１５の断面径が異なっても同一であるので、このベクトル成分を座標変換係数Ｆｄｐにより座標変換して座標系Ｐによるベクトル成分にする。これで、硬性内視鏡１１の鏡筒１５の中心軸方向のベクトルの成分が取得される。

【0100】

（４）手順１で取得したデータ、及び手順２の（３）で取得した座標変換係数Ｆｄｐと鏡筒１５の中心軸方向のベクトルの成分を用いて、又は手順１で取得したデータと手順２で取得した３次元データを用いて、先端部１４の中心軸上の座標Ｔｐを計算する。この演算処理は、硬性内視鏡１１の鏡筒１５の断面径が定まった断面径ｒ０である場合と、この断面径ｒ０と異なる場合又は未知なる場合とで処理方法が異なる。硬性内視鏡１１の鏡筒１５の断面径が定まった断面径ｒ０である場合は、まず、手順１の（６）で取得した被撮像面８６の座標系Ｄによる座標系Ｓの原点の座標Ｏｄを、手順２の（３）で取得した座標変換係数Ｆｄｐで座標変換して座標系Ｐによる座標Ｏｐにする。次に、座標Ｏｐから先端部１４の中心軸上の座標Ｔｐまでの距離Ｌを、Ｌ＝ｒ０／ｔａｎθの計算式で計算する。θは主面８２と被撮像面８６の成す角度であり、手順１の（３）の演算処理の途中で取得した値を用いるか、光軸位置測定用標識体９１が設定値通り精度よく制作されていれば、設定値を用いる。次に、手順２の（３）で取得した鏡筒１５の中心軸方向のベクトルの単位ベクトルγｐの成分を計算し、ベクトルγｐの向きが被撮像面８６側を向いていれば、座標ＯｐからＬ×γｐのベクトル成分を減算する。また、反対側を向いていれば加算する。これにより、先端部１４の中心軸上の座標Ｔｐが得られる。

【0101】

硬性内視鏡１１の鏡筒１５の断面径ｒが定まった断面径ｒ０でない場合、又は断面径ｒが未知なる場合は、まず、手順２の（１）と（３）で取得した光軸位置測定用標識体９１の中心座標と鏡筒１５の中心軸方向のベクトルとを用いて、手順１の（６）で行った演算処理と同じ演算処理を行い、鏡筒１５を複数の箇所で輪切りにしたときの切り口に相当する箇所の３次元データを抽出する。次に手順２の（３）で取得した座標変換係数Ｆｄｐにより、手順１の（４）で取得した単位ベクトルαｄを座標変換して座標系Ｐによる単位ベクトルαｐにする。そして、手順２の（３）で取得した鏡筒１５の中心軸方向のベクトルの単位ベクトルγｐを計算する。次に単位ベクトルαｐ、単位ベクトルγｐ及び任意の３次元データ（座標）をベクトル（１，０，０）、ベクトル（０，０，１）及び座標（０，０，０）に変換するための座標変換係数Ｆｐｋを計算し、この座標変換係数Ｆｐｋにより抽出した３次元データを座標変換する。これにより抽出した３次元データはＺ軸方向が硬性内視鏡１１の鏡筒１５の中心軸方向に平行な座標系による値となり、抽出した３次元データは鏡筒１５の輪切りの箇所ごとにｚ座標値が略同一の値となり、ｘ，ｙ座標値の平面座標で処理することができる。次に、円の式（ｘ−ａ）^２+（ｙ−ｂ）^２＝ｒ^２に、輪切りの箇所ごとに３次元データを代入し、最小２乗法により鏡筒１５の円の中心座標（ａ，ｂ）と半径値ｒを計算する。計算した半径値ｒの平均値ｒａｖが定まった断面径ｒ０と許容範囲内で一致していれば、上述した鏡筒１５の断面径ｒが定まった断面径ｒ０である場合の処理を行う。

【0102】

平均値ｒａｖが定まった断面径ｒ０と許容範囲内で一致していない場合は、鏡筒１５の輪切りの箇所ごとに略同一の値であるｚ座標値を平均し、このｚ座標値の平均値ｚ’を円の中心座標（ａ，ｂ）に加えて３次元座標（ａ，ｂ，ｚ’）にし、この座標値を座標変換係数Ｆｐｋの逆の座標変換係数である座標変換係数Ｆｋｐにより座標変換して座標径Ｐによる座標値にする。次に、得られた複数の中心座標は座標系Ｐによる硬性内視鏡１１の鏡筒１５の中心軸上の座標とみなせるので、これらの複数の座標を通る直線の式を最小２乗法で計算する。次に、手順１の（３）により取得されている被撮像面８６の平面の式を、手順２の（３）で取得した座標変換係数Ｆｄｐにより座標変換することで座標系Ｐによる平面の式にし、計算された直線の式と被撮像面８６の平面の式から成る連立方程式を解くことで、鏡筒１５の中心軸が被撮像面８６と交差する点の座標値Ｃｐを取得する。次に、座標Ｃｐから先端部１４の中心軸上の座標までの距離Ｌを、Ｌ＝ｒａｖ／ｔａｎθの計算式で計算する。θは上述したように主面８２と被撮像面８６の成す角度である。次に、既に取得されている単位ベクトルγｐの向きを考慮して、座標ＣｐからＬ×γｐのベクトル成分を減算又は座標ＣｐにＬ×γｐのベクトル成分を加算する。これにより、先端部１４の中心軸上の座標Ｔｐが得られる。

【0103】

なお、硬性内視鏡１１の先端部１４の座標に替えて硬性内視鏡１１の先端部１４の座標を含み、硬性内視鏡１１の鏡筒１５の中心軸に垂直な平面の式を取得する場合は、手順２の（３）で取得した鏡筒１５の中心軸方向のベクトルを法線ベクトルとし、先端部１４の中心軸上の座標Ｔｐを含む平面の式を計算すればよい。

【0104】

次に、手順３の、光軸位置測定装置８０のＶ字溝状のガイド部９５に硬性内視鏡１１の鏡筒１５を支持した状態で、鏡筒１５を適切な距離移動させたときの（図９（ｂ）の状態にしたときの）、硬性内視鏡１１の撮像画像の中心位置に相当するターゲット画像８８上の点を取得する方法について説明する。硬性内視鏡１１の撮像システムを作動させ、鏡筒１５を適切な距離移動させると、表示装置５０には図１０のような硬性内視鏡１１によるターゲット画像８８の撮像画像が表示される。図１０（ａ）は撮像データからそのまま画像を作成したもので、この撮像データに歪み補正処理を行うことで撮像画像は図１０（ｂ）のように適正な画像になる。この図１０（ｂ）の画像データを処理することで、ターゲット画像８８において白黒のチェッカーパターンが切り替わるラインである中心線を検出する。この中心線が座標系ＳのＹ軸に相当する。次に、画像データを処理し、図１０（ｄ）に示すように白黒のチェッカーパターンのコーナーの画像位置を検出する。そして、このコーナーの画像位置に予め記憶されている座標系Ｓの座標値をあてはめる。この座標値をあてはめる際、それぞれの白黒のチェッカーパターンが何番目のパターンであるかを認識する必要がある。それには、作業者が入力装置から撮像画像上の白黒のチェッカーパターンの１つを指定し、それが何番目のパターンであるかを入力すればよいが、硬性内視鏡１１の先端部１４が被撮像面８６から離れると、ターゲット画像８８の撮像画像が小さくなり、白黒のチェッカーパターンに付した番号を認識しにくくなる。そこで、硬性内視鏡１１の先端部１４を被撮像面８６から少し離した時点で、作業者は入力装置から撮像画像上の白黒のチェッカーパターンの１つを指定し、それが何番目のパターンであるかを入力する。そして、硬性内視鏡１１の先端部１４を被撮像面８６から離していく過程で画像データを処理して、図１０（ｃ）に示すように指定した白黒のチェッカーパターンをトラッキング処理し、鏡筒１５を適切な距離移動させ終わった段階で、指定した白黒のチェッカーパターンがどこにあるかを認識できるようにする。

【0105】

硬性内視鏡１１が直視鏡であれば、指定した白黒のチェッカーパターンは硬性内視鏡１１の鏡筒１５を移動させる過程で常に撮像画像内にあるが、硬性内視鏡１１が斜視鏡や側視鏡である場合は、指定した白黒のチェッカーパターンは撮像画像から消えてしまう。そこで図１２に示すように、指定した白黒のチェッカーパターンの上下のチェッカーパターンを含めてトラッキング処理する。すなわち、指定した白黒のチェッカーパターンが画像の上方又は下方の所定位置より上方または下方になるとトラッキング処理する対象を１つ下又は１つ上のチェッカーパターンにし、入力されたチェッカーパターンの番号を１つ上げる又は１つ下げるようにする。これにより、硬性内視鏡１１が斜視鏡や側視鏡である場合でも、鏡筒１５を適切な距離移動させ終わった段階で、トラッキング処理した対象の白黒のチェッカーパターンが何番目のパターンであるか認識できるようにする。

【0106】

白黒のチェッカーパターンのコーナーの画像位置に、予め記憶されている座標系Ｓの座標値をあてはめた後、図１１に示すように撮像画像の中心点が、ターゲット画像８８のどの位置にあるか、すなわち、撮像画像の中心点のｘ，ｙ座標値が被撮像面８６内に設定した平面座標である座標系Ｓにおいていくつであるかを計算する。これは、ターゲット画像８８の中心線がＹ軸であり、白黒のチェッカーパターンのコーナーの位置の座標値がわかっているので、撮像画像の中心点が、ターゲット画像８８の中心線方向のどの位置にあり、この中心線の垂直方向のどの位置にあるかにより計算することができる。取得した撮像画像の中心点の座標値は、座標系Ｓによる硬性内視鏡１１の光軸が被撮像面８６と交差する点の座標値Ｇｓである。

【0107】

次に、手順４の、手順３で硬性内視鏡１１の撮像画像の中心位置に相当するターゲット画像８８上の点を取得したときの、光軸位置測定用標識体９１と標識球１２との３次元相対位置関係を取得する方法について説明する。光軸位置測定用標識体９１と標識球１２との３次元相対位置関係を取得するとは、具体的には同一の座標系で、光軸位置測定用標識体９１の中心座標と、標識球１２の中心座標とを取得することである。この同一の座標系を座標系Ｗとする。

【0108】

手順３で硬性内視鏡１１の撮像画像の中心位置に相当するターゲット画像８８上の点を取得したときの状態で、３次元形状測定装置２０による測定を実行し、光軸位置測定装置８０及び硬性内視鏡１１の３次元データを取得する。３次元形状測定装置２０の座標系が座標系Ｗであり、取得した３次元データは座標系Ｗによるデータある。この取得した３次元データを用いて次の（１）と（２）の演算処理を実行する。

【0109】

（１）すべての３次元データの中から、それぞれの光軸位置測定用標識体９１の３次元データを抽出し、抽出した３次元データを用いてそれぞれの光軸位置測定用標識体９１の中心座標を計算する。これは、手順１の（１）及び手順２の（１）で行った演算処理と同一である。
（２）すべての３次元データの中から、それぞれの標識球１２の３次元データを抽出し、抽出した３次元データを用いてそれぞれの標識球１２の中心座標を計算する。これは、手順２の（２）で行った演算処理と同一である。

【0110】

次に、手順５の、手順１から手順４で得られた３次元相対位置関係と、硬性内視鏡１１の撮像画像の中心位置に相当するターゲット画像８８上の点とから、硬性内視鏡１１の光軸の位置と標識球１２との３次元相対位置関係を求める方法について説明する。硬性内視鏡１１の光軸の位置と標識球１２との３次元相対位置関係を求めるとは、具体的には同一の座標系で、硬性内視鏡１１の光軸の位置を表す値と標識球１２の中心座標を得ることであり、硬性内視鏡１１の光軸の位置を表す値は、硬性内視鏡１１の光軸に平行なベクトルＶの成分と硬性内視鏡１１の先端部１４における光軸上の点Ｔの座標値である。これには以下の（１）〜（３）の演算処理を行う。

【0111】

（１）手順２の（２）で得られた座標系Ｐによる標識球１２の中心座標と手順４の（２）で得られた座標系Ｗによる標識球１２の中心座標とを、座標変換の式に代入し連立方程式を解くことで、座標系Ｗによる値を座標系Ｐによる値に変換するための座標変換係数Ｆｗｐを取得する。そして、この座標変換係数Ｆｗｐにより手順４の（１）で得られた座標系Ｗによる光軸位置測定用標識体９１の中心座標を座標変換し、座標系Ｐによる座標にする。

【0112】

（２）手順５の（１）で得られた座標系Ｐによる光軸位置測定用標識体９１の中心座標と、手順１の（１）で得られた座標系Ｄによる光軸位置測定用標識体９１の中心座標とを、座標変換の式に代入し連立方程式を解くことで、座標系Ｄによる値を座標系Ｐによる値に変換するための座標変換係数Ｆｄｐ’を取得する。手順５の（１）で得られた座標系Ｐによる光軸位置測定用標識体９１の中心座標は、視覚的に考えると、手順２での標識球１２の位置と手順４での標識球１２の位置は変化しないとした場合の座標系Ｐによる座標であるので、手順２で得られた座標系Ｐによる光軸位置測定用標識体９１の中心座標とは異なっている。よって、座標変換係数Ｆｄｐ’は座標変換係数Ｆｄｐとは異なる。

【0113】

（３）手順３で取得した撮像画像の中心点の座標Ｇｓは、座標系Ｓによる平面座標であるため、この座標Ｇｓを座標変換により座標系Ｐによる３次元座標Ｇｐにする。そのためには、まず、取得した撮像画像の中心点の座標Ｇｓを（ｘ，ｙ，０）の３次元座標にし、手順１の（７）で取得した座標変換係数Ｆｓｄにより座標変換を行い、座標系Ｄによる３次元座標Ｇｄにする。次に手順５の（２）で取得した座標変換係数Ｆｄｐ’により座標変換を行い、座標系Ｐによる３次元座標Ｇｐにする。これにより、撮像画像の中心点の座標、すなわち硬性内視鏡１１の光軸が被撮像面８６と交差する点の座標が、座標系Ｐによる座標値Ｇｐとして得られる。また、手順２の（４）で得られている硬性内視鏡１１の先端部１４における光軸上の座標Ｔｐは、座標系Ｐによる座標であるので、座標Ｇｐから座標Ｔｐを減算することで硬性内視鏡１１の光軸と平行なベクトルＶｐを座標系Ｐによる成分として得ることができる。これで、硬性内視鏡１１の光軸の位置を表す値が座標系Ｐによる値として得られる。また、手順２の（２）で得られている標識球１２の中心座標は座標系Ｐによる座標であるので、これにより、同一の座標系で、硬性内視鏡１１の光軸の位置を表す値と標識球１２の中心座標が得られる。

【0114】

ただし、上述した手順５の演算処理による、硬性内視鏡１１の光軸の位置を表す値の計算は、硬性内視鏡１１の先端部１４において、光軸上の点の座標と鏡筒１５の中心軸上の点の座標とが一致していることを前提にしている。実際は図３に示すように、先端部１４において光軸上の点の座標と鏡筒１５の中心軸上の点の座標は一致していないことが多く、特に硬性内視鏡１１が斜視鏡や側視鏡である場合はその可能性が高い。そこで、更に精度のよい光軸の位置のキャリブレーションのためには、図９（ｃ）に示すように、光軸位置測定装置８０のＶ字溝状のガイド部９５に硬性内視鏡１１の鏡筒１５を支持した状態で、さらに鏡筒１５を適切な距離移動させ、手順３〜手順５を再度行う。以降の説明において、先端部１４において、光軸上の点の座標をＭｐとし、鏡筒１５の中心軸上の点の座標をこれまで通りＴｐとして区別する。

【0115】

手順３〜手順５を再度行うことにより、もう１つの硬性内視鏡１１の光軸が被撮像面８６と交差する点の座標が、座標系Ｐによる座標値Ｇｐとして得られる。先に取得された座標をＧｐ１とし、２回目に取得された座標をＧｐ２とすると、座標Ｇｐ２から座標Ｇｐ１を減算すれば、硬性内視鏡１１の光軸に平行なベクトルＶｐが得られ、座標Ｇｐ２と座標Ｇｐ１を通る直線の式も取得される。そして、手順２の（４）で先端部１４における鏡筒１５の中心軸上の点の座標Ｔｐを含み、鏡筒１５の中心軸に垂直な平面の式が得られているので、この平面の式と取得された直線の式とからなる連立方程式を解くことで、先端部１４における光軸上の点の座標Ｍｐを取得することができる。これにより、同一の座標系で、硬性内視鏡１１の光軸の位置を表す値と標識球１２の中心座標を更に精度よく得ることができる。

【0116】

手順２を行い、手順３〜手順５を硬性内視鏡１１の鏡筒１５の位置を変えて２回行うことにより、同一の座標系で硬性内視鏡１１の光軸の位置を表す値と標識球１２の中心座標とを取得することを視覚的に示したものが図１３である。硬性内視鏡１１は、光軸位置のキャリブレーションの作業全体を通して動かないものとし、硬性内視鏡１１の先端部１４を被撮像面８６に接触させた状態、鏡筒１５を適切な距離移動させた２つの状態は、光軸位置測定装置８０が移動したものとする。そして、被撮像面８６に先端部１４が接触した状態で先端部１４における鏡筒１５の中心軸上の点を含む平面を取得し、被撮像面８６が先端部１４から異なる距離離れた２つの状態で硬性内視鏡１１の光軸が被撮像面８６と交差する点（注視点）の座標Ｇｐ１及びＧｐ２を取得し、この２つの座標を結ぶ直線から、先端部１４における光軸上の点の座標Ｍｐを取得する。

【0117】

上述した手順１〜手順５の測定作業及び演算処理により得られた座標系Ｐによる硬性内視鏡１１の光軸の位置を表す値と標識球１２の中心座標とはＰＣ４０に記憶される。そして、上述したように手術中における硬性内視鏡１１の撮像方向ベクトルＡと硬性内視鏡１１の撮像位置を演算処理により求め、表示装置５０に表示するのに使用され、高い精度の手術ナビゲーションを行うことができるようになる。

【0118】

上記の、本実施形態の光軸位置測定装置８０を用いた光軸位置測定システム及び光軸位置測定方法によれば以下の効果を得ることができる。

【0119】

（１）本実施形態の光軸位置測定システム及び光軸位置測定方法の場合、手順１に示されているように３次元形状測定装置２０による測定により得られる３次元データを処理することで、ターゲット画像８８と光軸位置測定用標識体９１との３次元相対位置関係を予め取得することができ、手順２及び手順４に示されているように光軸位置測定装置８０に長尺状器具である硬性内視鏡１１を支持した状態で３次元形状測定装置２０による測定により得られる３次元データを処理することで、位置姿勢検出用標識体である標識球１２と硬性内視鏡１１の先端部１４との３次元相対位置関係、及び標識球１２と光軸位置測定用標識体９１との３次元相対位置関係が取得でき、手順３に示されているように硬性内視鏡１１が撮像したターゲット画像８８を画像処理することで撮像画像の中心位置に相当するターゲット画像８８上の点を取得できる。そして、手順５に示されているように、これらの３次元相対位置関係及び撮像画像の中心位置に相当するターゲット画像８８上の点を用いた演算処理により、硬性内視鏡１１の実際の光軸である実光軸と標識球１２との３次元相対位置関係を取得することができる。そして、光軸位置測定装置８０での硬性内視鏡１１の支持は定められた範囲の任意の位置で行うことができ、術者７５自らの操作により、従来技術の較正用物体に相当するターゲット画像８８に対する硬性内視鏡１１の位置を設定して、３次元形状測定装置２０による測定と硬性内視鏡１１による撮像を行うものとされている。それゆえ、従来必須とされていた較正用物体を移動させる手段や、標識部を有する第２の較正用物体を省略することができ、軽量かつシンプルな構造であって操作性や利便性に優れた光軸位置測定装置８０を用いて硬性内視鏡１１の実光軸と標識球１２との３次元相対位置関係を測定することが可能となる。そして、このような光軸位置測定装置８０を使用した場合であっても、先端部を起点とする光軸を有する硬性内視鏡１１等の長尺状器具における実光軸の位置と標識球１２等の位置姿勢検出用標識体との３次元相対位置関係を精度よく測定することができる。

【0120】

（２）また、この光軸位置測定システム及び光軸位置測定方法における光軸位置測定装置８０は、較正用物体移動手段と標識部を有する第２の較正用物体の省略によって小型軽量かつシンプルな構造とされているため、術者７５が一人で簡単に持ち運べるものになり、可搬性や操作性が向上する。従って、例えば３次元形状測定装置２０の撮像可能範囲内にその光軸位置測定装置８０が確実に入るように配置することができ、またその際の移動や位置調整を困難なく行うことができる。加えて、硬性内視鏡１１の光軸をターゲット中心に合致させるための事前位置調整作業が不要になることから、煩雑さが解消され、操作性や利便性が向上する。また、可動部分を備えていないことから問題なく滅菌を行うことができる。

【0121】

（３）また、この光軸位置測定システムにおける光軸位置測定装置８０では、ベース部材８１にガイド部９５が設けられていることに加え、ターゲット画像８８を有するターゲット部材８５がベース部材８１の主面８２に対して傾斜した状態で設けられている。それゆえ、ガイド部９５に硬性内視鏡１１の鏡筒１５を支持させた状態で操作することにより、術者７５が手ぶれすることなく硬性内視鏡１１を鏡筒１５の中心軸方向へ直線的に簡単かつ正確に移動させ、硬性内視鏡１１の鏡筒１５をガイド部９５の任意の位置に支持することができる。さらに、硬性内視鏡１１の鏡筒１５の中心軸方向に対して実光軸が角度をなしていても、硬性内視鏡１１の注視点である画像中心点の位置を徐々にずらすことができる。よって、硬性内視鏡１１の鏡筒１５の中心軸方向に対して光軸が平行な場合であっても、様々な角度をなしている場合であっても適用可能となり、汎用性が高い光軸位置測定装置８０とすることができる。つまり、光軸の角度がほぼ０°の直視鏡、３０°や７０°の斜視鏡、９０°の側視鏡などの測定について適用可能なものとすることができる（図８参照）。

【0122】

（４）また、この光軸位置測定システムにおける光軸位置測定装置８０では、ターゲット部材８５において斜め下方を向く被撮像面８６にターゲット画像８８が描かれているため、硬性内視鏡１１による撮像は被撮像面８６の側から行われる。それに対し、硬性内視鏡１１の鏡筒１５が定まった断面径ｒ０であれば３次元形状測定装置２０による測定は斜め上方を向く面８７の側から行うことができる。このため、３次元形状測定装置２０による立体形状測定時に入射光が発せられても、ターゲット部材８５自身によってその光が遮られることから、被撮像面８６のターゲット画像８８が反射により光ることがなく、撮像画像を正確に認識することができる。また、斜め上方を向く面８７の正面側から視たときに、複数ある光軸位置測定用標識体９１がターゲット部材８５に隠れにくくなり、３次元形状測定装置２０による立体形状測定において必要な３次元データを確実に取得することができる。

【0123】

なお、本発明の各実施の形態は以下のように変更してもよい。

【0124】

・上記実施形態では、実光軸の位置を測定する長尺状器具は標識球１２が設けられた硬性内視鏡１１とし、本発明は手術支援システム１に使用される該硬性内視鏡１１の実光軸の位置を精度よく求めることを目的とした。しかし、先端部から撮像機能における光軸を有し、位置姿勢検出用標識体が設けられた長尺状器具であれば、どのようなものであっても本発明は適用することができる。例えば工業用製品の内部を撮像機能のある長尺状器具で観察する際の撮像位置を外部から精度よく検出するシステムにおいても本発明は適用することができる。

【0125】

・上記実施形態では、長尺状器具の位置姿勢検出用標識体は３つ以上の標識球１２とした。しかし、３次元形状測定が可能で、３次元形状測定により取得される３次元データを演算処理することで、３つ以上の定点、２つ以上の定点と１つ以上のベクトル、又は２つ以上のベクトルと１つ以上の定点を検出することができる立体形状のものであればどのような形状のものでもよい。例えば、直方体、円柱体、円錐体、角錐体、多面体等の形状であってもよい。

【0126】

・上記実施形態の光軸位置測定装置８０では、３つの光軸位置測定用標識体９１全てをベース部材８１上に設けたが、３次元形状測定装置２０による立体形状測定を被撮像面８６側から測定するようにすれば、これら全てをターゲット部材８５上に設けてもよく、あるいは３つの内の一部をベース部材８１上に設けかつ残りのものをターゲット部材８５上に設けるようにしてもよい。

【0127】

・上記実施形態の光軸位置測定装置８０では、光軸位置測定用標識体９１を３つの球体としたが、３次元形状測定が可能で、３次元形状測定により取得される３次元データを演算処理することで、３つ以上の定点、２つ以上の定点と１つ以上のベクトル、又は２つ以上のベクトルと１つ以上の定点を検出することができる立体形状のものであればどのような形状のものでもよい。例えば、直方体、円柱体、円錐体、角錐体、多面体等の形状であってもよい。

【0128】

・上記実施形態の光軸位置測定装置８０では、ベース部材８１の主面８２に対するターゲット部材８５の傾斜角度θを６０°としたが、これに限定されず、例えば、３０°や７０°にしても勿論よい。

【0129】

・上記実施形態の光軸位置測定装置８０では、ガイド部９５が溝状であったが、これに限定されず例えば筒状などであってもよい。また、ベース部材８１の主面８２に一対の凸部を設けることでガイド部としてもよい。

【0130】

・上記実施形態の光軸位置測定装置８０では、被撮像面８６のターゲット画像８８は中心線がある白黒のチェッカーパターンに下から順に番号を付したものにしたが、硬性内視鏡１１の撮像画像から撮像画像の中心を被撮像面８６に定義した平面座標である座標系Ｓの座標値で得ることができるならば、ターゲット画像８８はどのようなものにしてもよい。例えば、線の色又は反射率を１つづつ変化させた縦横の格子線でもよいし、上記実施形態の白黒のチェッカーパターンのコーナーの箇所に中心が合致するような色又は反射率を変化させた微小な円（格子点）を配置したパターンでもよい。

【0131】

・上記実施形態では、定まった断面径の鏡筒１５又は円柱体をベース部材８１のガイド部９５に支持したとき、鏡筒１５又は円柱体の中心軸がターゲット画像８８の中心線にある白黒のチェッカーパターンのコーナーと交差するようにし、定まった断面径の鏡筒１５又は円柱体をベース部材８１のガイド部９５に支持した状態で３次元形状測定を行って取得した３次元データを処理することで、ターゲット画像８８と光軸位置測定用標識体９１との３次元相対位置関係、すなわち座標系Ｄによる光軸位置測定用標識体９１の中心座標と、被撮像面８６に定義した平面座標である座標系Ｓによる座標値を座標系Ｄによる座標値に変換する座標変換係数Ｆｓｄを取得した。しかし、ターゲット画像８８と光軸位置測定用標識体９１との３次元相対位置関係を取得できるならば、どのような方法を用いてもよい。例えば、定まった断面径の鏡筒１５又は円柱体をベース部材８１のガイド部９５に支持したときの鏡筒１５の中心軸が交差する被撮像面８６の位置は調整せず、ターゲット画像８８の白黒のチェッカーパターンのコーナーの１つに反射率の異なる印をつけ、３次元形状測定の際、３次元データとともに反射光強度データも同時に検出して、１つの点における座標系Ｓによる座標値と座標系Ｄによる座標値を得るようにし、上記実施形態と同様に座標系Ｓと座標系Ｄによる２つのベクトルと１つの点の座標値とから座標変換係数Ｆｓｄを計算してもよい。また、３次元データからベース部材８１と被撮像面８６の平面の法線ベクトルを取得する代わりに、ターゲット画像８８の白黒のチェッカーパターンのコーナーの３つに反射率の異なる印をつけ、座標系Ｓと座標系Ｄによる３つの点の座標値から座標変換係数Ｆｓｄを計算してもよい。また、白黒のチェッカーパターンのコーナーの１つに反射率の異なる印をつける代わりに、チェッカーパターンのコーナーにおける被撮像面８６の垂線が球体中心を通るよう球体を被撮像面８６に取り付け、同一点における座標系Ｓによる座標値と座標系Ｄによる座標値を取得するようにしてもよい。

【0132】

・上記実施形態では、硬性内視鏡１１の先端部１４を被撮像面８６に当接させた状態で３次元形状測定を行い、取得された３次元データを処理することで、硬性内視鏡１１の先端部１４と標識球１２との３次元相対位置関係、すなわち座標系Ｐによる硬性内視鏡１１の先端部１４の座標又は該座標を含む平面の式と標識球１２の中心座標を取得した。しかし、硬性内視鏡１１の先端部１４と標識球１２との３次元相対位置関係を取得することができるならば、硬性内視鏡１１の先端部１４は被撮像面８６に当接させなくてもよい。例えば、硬性内視鏡１１の先端部１４を撮像面８６に当接させた状態から、鏡筒１５の中心軸方向に既知の距離だけ移動させた状態で３次元形状測定し、取得された３次元データを処理するようにしてもよい。既知の距離は精度よく得られている必要があるので、例えば硬性内視鏡１１の先端部１４はベース部材８１の肉抜部８３における縁に合う位置とし、肉抜部８３における縁から鏡筒１５の中心軸方向における被撮像面８６までの距離を精度よく取得しておくようにするとよい。精度よく取得する方法としては、ベース部材８１の肉抜部８３における側面にブロックゲージを押し当てた状態で３次元形状測定を行い、ベース部材８１の主面８２、被撮像面８６及びブロックゲージの該側面に押し当てた面の３次元データを抽出し、これらの平面の３次元データからそれぞれの平面の式を計算し、これらの平面の式から肉抜部８３における縁から鏡筒１５の中心軸方向における被撮像面８６までの距離を計算するようにすればよい。

【0133】

・上記実施形態では、硬性内視鏡１１の先端部１４における実光軸の点と鏡筒１５の中心軸の点が一致している場合は手順３〜手順５を１回だけ行い、一致していない場合又は一致しているか不明な場合は、鏡筒１５の位置（先端部１４の位置）を変えて手順３〜手順５を２回行ったが、鏡筒１５の位置を変えて手順３〜手順５を３回以上行ってもよい。この場合は実光軸が被撮像面８６と交差する座標Ｇｐは３つ以上得られるので、最小２乗法により実光軸に平行なベクトルＶｐの成分及び実光軸を表す直線の式を計算すればよい。この場合も先端部１４における実光軸の点の座標Ｍｐは上記実施形態と同様に計算できる。

【符号の説明】

【0134】

１…手術支援システム
１１…長尺状器具としての硬性内視鏡
１２…位置姿勢検出用標識体としての標識球
１４…先端部
２０…３次元形状測定装置
４０…演算手段としてのＰＣ
５０…表示装置
６０…対象物としての患者
８０…光軸位置測定装置
８１…ベース部材
８２…（ベース部材の）主面
８５…ターゲット部材
８６…被撮像面
８８…ターゲット画像
９１…光軸位置測定用標識体
９５…ガイド部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】