特開 2016-158911 画像表示装置を使った外科手術方法及び、その外科手術に用いる装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2016-158911(P2016-158911A)

(43)【公開日】2016年9月5日

(54)【発明の名称】画像表示装置を使った外科手術方法及び、その外科手術に用いる装置

(51)【国際特許分類】

   A61B 90/00 20160101AFI20160808BHJP

   G06T 19/00 20110101ALI20160808BHJP

   G06T 1/00 20060101ALI20160808BHJP

   A61B 1/00 20060101ALI20160808BHJP

   A61B 1/04 20060101ALI20160808BHJP

   G02B 21/22 20060101ALI20160808BHJP

【ＦＩ】

   A61B19/00 502

   G06T19/00 600

   G06T1/00 290

   A61B1/00 320Z

   A61B1/04 370

   G02B21/22

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

【全頁数】35

(21)【出願番号】特願2015-41029(P2015-41029)

(22)【出願日】2015年3月3日

(71)【出願人】

【識別番号】512092782

【氏名又は名称】株式会社クレッセント

(71)【出願人】

【識別番号】505246789

【氏名又は名称】学校法人自治医科大学

(74)【代理人】

【識別番号】110001508

【氏名又は名称】特許業務法人 津国

(72)【発明者】

【氏名】小谷 創

(72)【発明者】

【氏名】冨田 元將

(72)【発明者】

【氏名】西 健爾

(72)【発明者】

【氏名】渡辺 英寿

【テーマコード（参考）】

2H052

4C161

5B050

5B057

【Ｆターム（参考）】

2H052AA13

2H052AB20

2H052AF21

2H052AF25

4C161AA23

4C161AA24

4C161CC06

4C161FF11

4C161HH55

4C161JJ17

5B050AA02

5B050BA03

5B050BA08

5B050BA13

5B050EA13

5B050EA19

5B050FA02

5B050FA09

5B057AA07

5B057CA12

5B057CA16

5B057CB12

5B057CB16

5B057CE08

(57)【要約】

【課題】全ての外科手術において、患者の画像と必要な情報の重畳画像の表示ができる画像処理装置を有する外科手術システムを提供する。
【解決手段】手術室の所定の位置に赤外線を射出し、所定の間隔で配置されたマーカー群からの反射光を受光する撮像部を有するモーションキャプチャー装置を少なくとも３カ所に配置し、手術を受ける患者の患部にＣＴやＭＲＩ等より得られた画像を重畳表示する画像表示装置を使い、前記モーションキャプチャー装置で計測された前記マーカー群の座標位置及びマーカー群の回転量に応じて患者の患部に対して重畳表示した画像を正確に変化させる画像表示装置を有する外科手術システムを提供する。
【選択図】図３０

【特許請求の範囲】

【請求項1】

手術室の所定の位置に赤外線を射出し、所定の間隔で配置されたマーカー群からの反射光を受光する撮像部を有するモーションキャプチャー装置を少なくとも３カ所に配置し、
手術を受ける患者の患部に所定の第１画像を重畳表示する画像表示装置を有し、前記モーションキャプチャー装置で計測された前記マーカー群の座標位置及び回転量に応じて患者の患部と重畳表示画像を変化させる画像表示装置を有する外科手術システムにおいて、
前記画像表示装置は、前記患部の画像を撮るカメラ部、及び前記患部の深度を計測するディプスカメラ部、更には前記第１マーカー群を有する
ことを特徴とした外科手術システム用画像表示装置。

【請求項2】

手術室の所定の位置に赤外線を射出し、所定の間隔で配置されたマーカー群からの反射光を受光する撮像部を有するモーションキャプチャー装置を配置し、手術を受ける患者の患部に所定の第１画像を重畳表示する画像表示装置を有し、前記モーションキャプチャー装置で計測された前記マーカー群の座標位置及び回転量に応じて患者の患部と重畳表示画像を変化させる画像表示装置を有する外科手術システムにおいて、
先端部が凹レンズで構成されている第１内視鏡に第１マーカー群を有し、前記第１内視鏡で撮られた臓器全体の画像より、患部を特定するステップと、患者の患部の拡大画像を表示する為の第２内視鏡若しくは手術用器具は、第２マーカー群を有し、前記第２内視鏡若しくは手術用器具の挿入方向若しくは先端部の位置と前記特定された患部の位置との相対位置の状態を表示する
ことを特徴とした外科手術システム用内視鏡装置。

【請求項3】

手術室の所定の位置に赤外線を射出し、所定の間隔で配置されたマーカー群からの反射光を受光する撮像部を有するモーションキャプチャー装置を少なくとも３カ所に配置し、手術を受ける患者の患部に所定の第１画像を重畳表示する画像表示装置を有し、前記モーションキャプチャー装置で計測された前記マーカー群の座標位置及び回転量に応じて患者の患部と重畳表示画像を変化させる画像表示装置を有する外科手術システムにおいて、
患者の患部に術を施す医療装置には脱着可能な第１マーカー群を有し、
前記医療装置の作用部及びそれ以外の少なくとも２点で支持できるキャリブレーション装置は、第２マーカー群を有し、前記医療装置の作用部と接触する部分と、第２マーカー群の相対座標位置を予め記憶すると共に、前記キャリブレーション装置上に前記医療装置が置かれた時の第１マーカー群と第２マーカー群の位置座標を前記モーションキャプチャー装置で計測し、記憶する
ことを特徴とした外科手術方法。

【請求項4】

手術室の所定の位置に赤外線を射出し、所定の間隔で配置されたマーカー群からの反射光を受光する撮像部を有するモーションキャプチャー装置を配置し、手術を受ける患者の患部に所定の第１画像を重畳表示する画像表示装置を有し、前記モーションキャプチャー装置で計測された前記マーカー群の座標位置及び回転量に応じて患者の患部と重畳表示画像を変化させる画像表示装置を有する外科手術システムにおいて、
前記画像表示装置は前記患部の画像を撮るカメラ及び前記第１マーカー群を有しており、前記カメラで撮られた第２画像と前記第１画像を重畳表示する為に、患者の患部を覆う透明シート貼り付け領域に、少なくとも一つ以上の第２マーカーを取り付ける
ことを特徴とした外科手術方法。

【請求項5】

手術室の所定の位置に赤外線を射出し、所定の間隔で配置されたマーカー群からの反射光を受光する撮像部を有するモーションキャプチャー装置を少なくとも３カ所に配置し、手術を受ける患者の患部に所定の第１画像を重畳表示する画像表示装置を有し、前記モーションキャプチャー装置で計測された前記マーカー群の座標位置及び回転量に応じて患者の患部と重畳表示画像を変化させる画像表示装置を有する外科手術システムにおいて、
前記画像表示装置は、前記患部の画像を撮るカメラ及び前記第１マーカー群を有しており、前記カメラで撮られた第２画像と前記第１画像を重畳表示する為に、患者の患部から関節部を介さない患者の一部に、第２マーカー群を固定可能なコネクタ部を取り付ける
ことを特徴とした外科手術システム用マーカーのコネクタ装置。

【請求項6】

手術室の所定の位置に赤外線を射出し、所定の間隔で配置されたマーカー群からの反射光を受光する撮像部を有するモーションキャプチャー装置を少なくとも３カ所に配置し、手術を受ける患者の患部に所定の第１画像を重畳表示する画像表示装置を有し、前記モーションキャプチャー装置で計測された前記マーカー群の座標位置及びマーク群の回転量に応じて患者の患部と重畳表示画像を変化させる画像表示装置を有する外科手術システムにおいて、
前記画像表示装置は、前記患部を左右の目で独立に見る為の第１及び第２拡大光学系を有しており、前記第１、第２拡大光学系と目の間に、前記患部の投影像と前記第１画像を重畳表示する為の第１、第２合成ミラーを有し、更には第１マーカー群を有している
ことを特徴とした外科手術システム用画像表示装置。

【請求項7】

手術室の所定の位置に赤外線を射出し、所定の間隔で配置されたマーカー群からの反射光を受光する撮像部を有するモーションキャプチャー装置を少なくとも３カ所に配置し、前記モーションキャプチャー装置で計測された前記マーカー群の座標位置及びマーク群の回転量に応じて患者の患部の表示画像を変化させる画像表示装置を有する外科手術システムにおいて、
前記画像表示装置は、第１マーカー群が配置されたヘッドマウントディスプレイであり、
患者の患部を撮像する立体顕微鏡には、その第１結像面に患部の画像を受光する２次元画像センサーが配置されており、ヘッドマウントディスプレイの装着者の顔の動きに応じて、患部を回転中心とした前記立体顕微鏡の回転及びシフト量を制御する制御機構を有し、且つ前記装着者の顔の動きに応じて前記立体顕微鏡の回転及びシフト量を制御する
ことを特徴とした外科手術装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、手術を受ける患者の患部にＣＴやＭＲＩ等より得られた画像を重畳表示する画像表示装置を使った外科手術方法及び、その外科手術に用いる装置に関する。

【背景技術】

【0002】

光学式モーションキャプチャシステムの原理は、1980年にRashidらによって提案された。このシステムは、体の各部位にマーカーを取り付け、その位置を複数のカメラで撮影し、ステレオ（三角法）の原理で3次元位置を推定するものであり、現在の光学式モーションキャプチャシステムも、基本的に同様の手法を使っている。

【0003】

現在市販されている主な商用モーションキャプチャシステムでは、複数の赤外線カメラおよび赤外線投光器を用い、人（アクター）は反射素材でできたマーカーを体に取り付ける。赤外線カメラには、赤外線投光器の光を反射したマーカーの像が投影される。各カメラで得られたマーカーの投影画像をカメラ間で対応付けし、ステレオ法によりマーカー個々の3次元位置を求める。得られたマーカー群から、あらかじめ定義した人体の多関節モデルにマッピング（インバースキネマティクス）することで、人の位置、関節角度などを求めることができる。

【0004】

本手法の長所としては、第１にマーカー自体が小型・軽量でありワイヤーなどの接続物がないため、アクターの動きが比較的自由である、第２にカメラのシャッタスピードを変化させて、高い周波数で計測を行うことができる、第３に位置の検出精度が高い、等があげられ、一般的に広く用いられている。

【0005】

用途としては、パソコンゲームや特撮映画の３Ｄのアバタ−の作成、３Ｄ−ＣＡＤにて設計した製品を大画面のテレビやプロジェクター、特許文献１に示されている様なヘッドマウントディスプレイ（ＨＭＤ)を用いて実物大の画像として検証・評価する試作レスシステム等がある。更に、特許文献２に示す様なスポーツ分野の身体能力測定及び、特許文献３に示す様な医学分野の患者に対するリハビリ支援用計測等に用いられている。

【0006】

上記の様な開発・研究分野における検証用若しくは、修正が可能な３Ｄデータ作成にはモーションキャプチャー技術が多く用いられているが、失敗が許されない現場ではあまり採用されていない。この最も端的な分野が医療の中でも手術である。

【0007】

オリエンテーション（患部の場所を探し出す事）が簡単な手術ならば裸眼（若しくはルーペ）で行われ、モーションキャプチャー技術は不要である。しかし、手術対象が体の深部になり、オリエンテーションの難易度が上がるにつれて、ＣＴやＭＲＩのデータ等に基づき詳細な手術計画を立てる事が多くなる。

【0008】

この様な外科手術の場合は、以下の手順で行われる。
（１）患者の患部のＣＴやＭＲＩを撮影し、これらの画像に基づき、患者に最善の結果をもたらすと考えられる手術計画を作成する。
（２）手術計画により決められた場所を切開する（内視鏡の場合は内視鏡挿入部及びロボットハンドの挿入部分）、
（３）広い視野で行う作業として、患部に到達する前の骨や臓器に処置を施して患部を露出させる（内視鏡の場合は、ガスを入れて内部を膨らませ、それぞれの挿入部分を動かしやすい様に処置し、挿入部の手術用機器の先端（作用部）を患部に位置合わせ（アライメント）する）。
（４）患部を裸眼で見るのではなく、立体視が可能なガリレオ式双眼ルーペ（拡大倍率１．５〜３）やケプラー式双眼ルーペ（拡大倍率４〜６）を図３１（ｂ）の様にメガネ型固定部１１２に取り付けて使用する。より細かい処置では図３１（ｃ）の手術用顕微鏡３８（拡大倍率は変倍で３〜１８）を用いて患部を拡大し、手術用顕微鏡３８の接眼部より立体視する事で処置を行う。

【0009】

また、手術の途中でも図３１（ａ）のＰＣモニター１１１上で、図３３（ａ）の様なＣＴやＭＲＩ等のデータを確認しつつ処置が行われる事が多くなる。更に、この様な高度な手術になると、患者の患部と手術器具の3次元的位置をリアルタイムに計測し、これを術前に撮影したＣＴやＭＲＩの画像の上に重畳表示させ、安全性・確実性を確保したいという要求が高くなっている。特に、脳神経外科や、頭頸部外科、整形外科領域でその様な試みが始まっており、その実現には、前記モーションキャプチャー技術の導入が必要となってくる。

【0010】

しかしながら、前述の様に、高度な手術には立体的に患部を拡大して見る手段が必要であり、これとＣＴやＭＲＩの画像を重畳表示する事は容易ではない。この問題を解決する手段として、特許文献４に記載されている様に、ヘッドマウントディスプレイを使い、患部も画像として取り込み、ＣＴやＭＲＩの撮影画像と画像同士で重畳して目の前に表示する方法が考案されている。

【0011】

この分野にマーカーを用いるモーションキャプチャー技術を用いる場合、ＣＴやＭＲＩの撮影画像上にマーカーの位置を表示する為には、予めＣＴやＭＲＩの撮影時にマーカーを装着して撮影する必要があり、手術時には撮影時と同一位置にマーカーを再装着し、3次元的位置をリアルタイムに計測する必要がある。しかし、その作業は手間がかかるので、ＣＴやＭＲＩにより撮られた撮影画像に対し、画像データとしてマーカーを患者の特徴点に設置し、術前に患者と画像位置のイニシャライズ登録作業（レジストレーション）を行う場合もある。

【0012】

図３１（ａ）及び図３２（ａ）〜（ｃ）ではその具体的方法を示している。図３１（ａ）において、３次元計測装置１０７は射出したレーザ光を患者１００の頭部に固定されたマーカー群１０５に照射、マーカー群１０５からの反射光位置変位量を計測する事で、マーカー群１０５のワールド座標位置を正確に計測できるシステムである。また、患者１００の頭部を上から撮像する手術記録用ビデオカメラ１１０が設置され、その画像はＰＣモニター１１１上に表示されている。尚、マーカー群とは、所定の配置で複数のマーカーを配置し、その形状を登録する為に使われる複数のマーカーの集まりと定義している。

【0013】

図３２（ａ）はその患者１００の頭部に手術を行う時の状態を示している。患者１００の頭部の手術では切開後、患部に到達する為、頭蓋骨と筋肉の剥離や頭蓋骨に穴を開ける作業が必要であり、かなりの力が患者にかかる。その為、患者１００の頭部を３点固定具１０４により術台１０９に対し強固に固定する。一方、術前には患部の状況を確認する為、図３２（ｃ）に示す様なＭＲＩ画像１０１が取られる。ＭＲＩ１１３は人体を輪切り状にしてその内部映像を画像データとして記憶している。よって、人体の表面情報は外周の画像を組み合わせる画像処理を行なう事で、図３２（ｂ）の様な３次元の人体の表面３Ｄ画像１０２を得る事ができる。

【0014】

この時点では図３２（ａ）の術中の患者１００の頭部とＭＲＩ画像で作られた図３２（ｂ）表面３Ｄ画像１０２は関連性が無い。この２つを重畳表示するには、まず、事前準備として、図３２（ｂ）の表面３Ｄ画像１０２上に仮想マーカー１０３を設置する。この仮想マーカー１０３の設置場所は、キャリブレーター１０６を用い、図３２（ａ）の患者１００の頭部の特徴点１０８を順次指定していくので、特徴のある耳たぶや鼻根部等が選択される。

【0015】

キャリブレーター１０６であるが、尖った触手を行う先端部分ａとマーカー群部分ｂで構成されており、その相対位置関係は予め計測されている。患者１００の頭部は３点固定具１０４により強固に固定されているので、３点固定具１０４に設置されたマーカー群１０５とは所定の位置関係にある想定である。

【0016】

図３２（ａ）に示す様に、キャリブレーター１０６の先端部分で患者１００の頭部の特徴点１０８を順次タッチし、その時のマーカー群部分ｂのワールド座標位置（ワールド座標位置とは、モーションキャプチャー装置により定められた、その計測可能領域内での絶対座標系を指す）を順次記憶していく。マーカー群１０５とマーカー群部分ｂのワールド座標位置は３次元計測装置１０７で計測されているので、キャリブレーター１０６のローカル座標（ローカス座標とは、所定の２箇所の相対座標を指す。一方のワールド座標が決まっていれば、ローカル座標を差し引く事で、もう一方のワールド座標位置も決定できる）をそれぞれのワールド座標位置から差し引く事で、特徴点１０８のワールド座標位置が確定する。

【0017】

特徴点１０８は、それぞれ仮想マーカー群１０２に対応しているので、図３３（ｂ）に示した実際の患者の患部にキャリブレーター１０６の先端部分ｂで接触すると、図３３（ａ）に示したＭＲＩの出力画像上に、その位置が白い丸印として表示される。この様に、異なる座標軸を持つものに対し、座標軸の変換パラメータを決定し、両方の画像を合成した際に、重畳表示できる様にする作業がイニシャライズ登録作業（レジストレーション）である。

【0018】

しかし、患者１００の頭部の位置を動かす際にも、正確なトラッキング（ここでは、マーカーを付けた物体の動きに応じてそれぞれの画像が重畳表示される様に追尾制御する事を指している）を行うには、マーカー固定方法、固定位置の再現性の問題などに加えて、上記の様に、患者と画像位置のイニシャライズ登録作業（レジストレーション）には、煩雑な調整作業を要し、実際のトラッキング精度はセンサー自体の精度に依存する上に、拡大画像上で処置を行う場合のトラッキング精度は、患部画像の拡大率に比例して高精度が要求される事になる。

【0019】

まだ問題点は多いが、その他にも、各手術の段階においても、患部の上にＣＴやＭＲＩの画像を重畳表示できると以下の様な利点があるので、手術に対する重畳表示への期待は大きい。重畳表示により以下の様な術中の作業にもメリットが発生すると考えられる。

【0020】

従来の技術に記載した（２）の段階では、切開する場所を実際に患者の皮膚上に書くが、その目印を画像として患者の上に重畳表示できれば、書く作業が不要となる。

【0021】

従来の技術に記載した（３）の段階では、内視鏡を使う場合は、内視鏡の視界が狭いので、その先端を患部にアライメントする作業が必要となる。内視鏡を自由に動かし、患部にアクセスする為には、ガスを注入し、患部と皮膚間に空洞を作る必要がある。この際、臓器は空洞内を移動する為に、ＣＴやＭＲＩで取り込んだ臓器の位置が実際の術中の位置と異なってしまう場合が多く、その位置を特定するのに時間がかかってしまう。この先端部と移動した患部の位置を画像で患者の上に重畳表示できる方法があれば、アライメント作業が大幅に短縮される。

【0022】

従来の技術に記載した（４）の段階では（１）で撮ったＣＴやＭＲＩの画像を必要に応じて患部に正確に重畳表示できれば良いが、実際は図３４の様に、感染症を防ぐ為、患部以外は患者を無菌カバー３１で覆い、透明シート（酸素や水蒸気の透過性に優れ、水・バクテリア・ウイルスを通さず外部からの汚染を防ぐフィルムロール。褥瘡を引き起こす摩擦対策として皮膚を被覆、無菌操作を必要としない等の効果がある）３２で患部が覆われる。術中に３点固定具１０４に固定されたマーカー１０５は透明ドレープ越しに観察できるが、頭の仮想マーカー群１０２に対応した特徴点１０８が見えなくなるので、再レジストレーションができなくなってしまう。術中は色々な処置が行われるので、３点固定具１０４に対し、患者の位置が変わってしまう事が時に起こるので、この場合、重畳表示画像がずれてしまって使い物にならなくなる。術中にも重畳表示画像のレジストレーションが行えれば、手術の誘導が続けられる（ナビゲーション）。

【0023】

また、高度な手術では二人観察用の手術用顕微鏡３８を用いる。その為、二人が同時に患部の立体像を見る事ができ、更には重畳表示画像を同時に見る事が望ましいが、その機構は構造が複雑になってしまう。特許文献５にはその複雑な機構を改善する提案がなされているが、ＰＣモニター１１１を３Ｄで見る技術自体は実際の見えと整合するものが無く、更には、顕微鏡３８により見る角度や位置を変えた場合、精度よく重畳表示ができる簡単な方法がなかった。

【先行技術文献】

【特許文献】

【0024】

【特許文献1】特開２０１３−２１８５３５号公報

【特許文献2】特開２０１３−１９２５９１号公報

【特許文献3】国際公開第２００５／０９６９３９号

【特許文献4】特許第５３９０３７７号公報

【特許文献5】特開２００６−２１８２０６号公報

【発明の概要】

【発明が解決しようとする課題】

【0025】

この様に、これら全ての手術過程において、必要な重畳画像の表示を精度良く効率的に行える様な手術システムやそのシステムを構成する装置の提案はあまり多くない。

【0026】

本発明は上記問題に鑑みてなされたものであり、手術時に手術の操作をしている患者と手術器具の3次元的位置をリアルタイムに計測し、この結果に基づき術前に撮影したＣＴやＭＲＩの画像を患部の上に重畳表示させる事を容易に行えるだけでなく、全ての外科手術の段階において、患者若しくは患者の画像と、必要な情報の重畳表示ができる画像処理装置を有する外科手術システムを提供する事を目的とする。

【課題を解決するための手段】

【0027】

上記問題点を解決するための第１の形態では、手術室の所定の位置に赤外線を射出し、所定の間隔で配置されたマーカー群からの反射光を受光する撮像部を有するモーションキャプチャー装置を少なくとも３カ所に配置し、手術を受ける患者の患部に所定の第１画像を重畳表示する画像表示装置を有し、前記モーションキャプチャー装置で計測された前記マーカー群の座標位置及び回転量に応じて患者の患部と重畳表示画像を変化させる画像表示装置を有する外科手術システムにおいて、前記画像表示装置は前記患部の画像を撮るカメラ部及び、前記患部の深度を計測するディプスカメラ部、更には前記第１マーカー群を有する事を特徴としている。

【0028】

モーションキャプチャー用センサー部１は最低２個あれば良いが、術中は第１執刀医及び第２執刀医、更にはサポートを行う看護師も患者１００の周りにいるので、センサー部１のいずれかの光路を遮蔽する位置に立つ場合も多い。この様な複数箇所に分かれたステレオ画像処理法による位置計測は、少なくともいずれか３つのモーションキャプチャー用センサー部１の光路が遮蔽されなければ正確にその位置座標を測定する事が可能なので、従来の様な計測位置が制限される３次元計測装置１０７を使う方法と比べて術中の制約が少なくなり、３次元計測装置１０７の置き場所等のスペース確保も不要となる。

【0029】

更に図２に示す様に、通常市販されているタブレット４には内蔵のカメラがあり、そのタブレット４の内蔵カメラで患者１００の頭部を撮ると、画面に患者１００の頭部画像が表示される。一方、ＭＲＩは人体を輪切り状にしてその内部映像を画像データとして記憶している。よって、人体の表面情報は外周の画像を点群データとし、それをポリゴンデータ９に変換処理する事ができる。従来技術と同様に、レジストレーション測定を行う事で、タブレット４の画面上で患者１００の頭部画像とＭＲＩのポリゴンデータによる重畳表示画像５を観察する事ができる様になる。

【0030】

ＰＣモニター１１１上に重畳表示画像５を出す事も可能だが、タブレット４を用いる事で、術中の視線で直接確認する事が可能なので、標的の腫瘍や保護が必要な静動脈や神経の位置の把握が容易となる効果がある。更には、このタブレット４を固定する工具や看護師により保持した状態では、患部への術作業を行いつつ静動脈や神経の位置が把握できるので、手術の効率及び、安全性を高める事が可能となる。

【0031】

また、図４ではこの内蔵カメラの代わりに、タブレット４に取り付けたディプスカメラ６を使う場合の実際の作業風景を示している。ディプスカメラ６は最も簡単で性能が良い方法としてTime of Flightが提案されている。これは図３に示す様に、ＬＥＤ照明７を所定のｓｉｎカーブで点滅させ、対象物からの反射光の位相遅れＤを検出する事で、対象物までの距離を計測する方法である。即ち、対物レンズ付の２次元受光素子８を有するディプスカメラ６の場合、素子毎に位相遅れを検出する事が可能であり、対象物の表面までの距離は素子の分割数の細かさで検出できる。元々、ディプスカメラ６自体のレンズ付の２次元受光素子８は上下左右の位置情報は持っているので、更にその奥行情報をTime of Flight計測で撮る事で、３次元の対象物１００の表面情報を得る事ができる。

【0032】

ディプスカメラ６についてもう少し詳しく説明すると、光速は３０万ｋｍ／ｓｅｃなので、例えばＬＥＤ変調周波数を２０ＭＨｚとすると、光変調波長は１５ｍとなる。ディプスカメラのＣＣＤ受光部のノイズ量にも依るが、一般の位相検出では波長の２５６〜１０２４分割が精度と考えられるので、ディプスカメラのＺ方向の計測精度は、１５〜６０ｍｍＺ程度である。但し、最近では、ＰＣのクロック周波数はＣＭＯＳ対応で２５０ＭＨｚのものが販売されており、このクロックでＬＥＤの変調ができ、ＣＭＯＳのサンプリング周波数もこれで対応可能ならば、位相検出に必用な４分割を考えると約６０ＭＨｚで１回１ドットの位相検出ができる事になる。光変調波長は５ｍとなり、波長が短い程、位相検出の精度を上げる事ができる。本発明ではレジストレーションに関しては時間をある程度かけても良いので、Ｚ方向の計測も高精度が期待できる。

【0033】

図３２（ａ）〜（ｃ）に示した様に、従来の技術では有限の仮想マーカー１０２を患者１００の頭部の特徴点１０８と目測で一致させる為、重畳表示の精度が大きく劣化する。しかし、ディプスカメラ６を用いた３次元の人体の表面情報は、その計測方向から見て、図５の１１に示す様な点群データとして計測され、距離が異なる周辺画像とは完全に分別した点群データとなる。一方、ＭＲＩで求められた３次元の人体の表面情報は、３次元表示を行う場合、ポリゴンデータ９の様に変換処理されているが、ＭＲＩ自体のデータとしては、点群データ１０の様な画像の積層で構成されている。よって、そのパターンマッチングを行う際にも、特徴点の抽出や外観の縦や横の長さを比較する方法を用いる際、周辺画像とは完全に分別した点群データである上に、多くの点を用いる事から、精度の高い座標位置と高い平均化効果により高精度のレジストレーションが可能となる。

【0034】

第２の形態では、手術室の所定の位置に赤外線を射出し、所定の間隔で配置されたマーカー群からの反射光を受光する撮像部を有するモーションキャプチャー装置を配置し、手術を受ける患者の患部に所定の第１画像を重畳表示する画像表示装置を有し、前記モーションキャプチャー装置で計測された前記マーカー群の座標位置及び回転量に応じて患者の患部と重畳表示画像を変化させる画像表示装置を有する外科手術システムにおいて、先端部が凹レンズで構成されている第１内視鏡に第１マーカー群を有し、前記第１内視鏡で撮られた臓器全体の画像より、患部を特定するステップと、患者の患部の拡大画像を表示する為の第２内視鏡若しくは手術用器具は、第２マーカー群を有し、前記第２内視鏡若しくは手術用器具の挿入方向若しくは先端部の位置と前記特定された患部の位置との相対位置の状態を表示する事を特徴としている。

【0035】

本発明である広角腹腔鏡１２は図８（ａ）に示す様に、先端の受光部に凹レンズ１２ｂを採用する事で、図６の様に切開した穴の位置から広い視野を観察する事が可能な装置である。また、図６に示す様に、挿入する細い部分が、腹腔鏡１３の部分と比べてもトロッカー１５の先端からぎりぎり先端部が出る程度に短い。よって、差し込んだ状態で安定する構造であり、広い視野を映し出すのに適している事が判る。図７（ｂ）はその広い視野で患部を見ながら、他の手術器具が挿入されている様子を示している。迷うこと無く、短時間で腹腔鏡１３及び、鉗子１４の先端を患部まで挿入できている。この状態で全ての手術器具を挿入し、アライメントした時点で、腹腔鏡１３の映像にモニター図７（ａ）に切り替えるので、どの様に臓器の位置が変わっても、アライメント作業を短縮し、スムーズに術作業を行う事ができる。

【0036】

第３の形態では、手術室の所定の位置に赤外線を射出し、所定の間隔で配置されたマーカー群からの反射光を受光する撮像部を有するモーションキャプチャー装置を少なくとも３カ所に配置し、手術を受ける患者の患部に所定の第１画像を重畳表示する画像表示装置を有し、前記モーションキャプチャー装置で計測された前記マーカー群の座標位置及び回転量に応じて患者の患部と重畳表示画像を変化させる画像表示装置を有する外科手術システムにおいて、患者の患部に術を施す医療装置には脱着可能な第１マーカー群を有し、前記医療装置の作用部及びそれ以外の少なくとも２点で支持できるキャリブレーション装置は、第２マーカー群を有し、前記医療装置の先端部（作用部）と接触する部分と、第２マーカー群の相対座標位置を予め記憶すると共に、前記キャリブレーション装置上に前記医療装置が置かれた時の第１マーカー群と第２マーカー群の位置座標を前記モーションキャプチャー装置で計測し、記憶する事を特徴としている。

【0037】

キャリブレーター１０６と同様に、尖った触手を行う先端部分ａを手術器具の先端（作用部）として、マーカー群部分ｂを設置し、その間隔をローカル座標として予め計測しておけば、モーションキャプチャー用センサー部１でそのマーカー群の位置座標を調べる事で、手術器具の先端（作用部）のワールド座標位置を特定する事ができる。しかし、これらの手術器具は常に殺菌消毒され、繰り返し使われるものである。一方、マーカー群は構造がいびつで、マーカー部は汚れが取り難い為、手術器具に取り付けた場合は、使い捨てとするか、取り外して別に洗浄殺菌する可能性が高い。

【0038】

本発明においては、洗浄等の為に手術用器具からマーカー群を外しても、手術用器具にマーカー群を貼り付け、キャリブレーション装置に載せただけで瞬時に手術用器具の先端（作用部）とマーカー群のローカル座標を計測できるので、感染症や二次感染を予防できるだけでなく、それぞれ効率の良い洗浄ができ、機材の洗浄効率が良くなる。また、手術室にて難しい作業なく、手術前に計測を行うので、環境の変化やマーカー群の摩耗によるドリフト等の可能性を軽減できるという効果がある。

【0039】

更に、第２及び第３の形態を組み合わせる事で、次の新たな機能も導入する事が可能となる。図１２で示す様に、まず、広角腹腔鏡１２を挿入した際に、臓器の全体画像を確認し、何処に患部（図では黒×印）があるかを確認する。図１３（ａ）はその時の画像の見えであるが、画像の中心には予め○印２４が表示される様になっているので、その○印２４の中に患部が来るように広角腹腔鏡１２の角度と位置を動かし、その場所で広角腹腔鏡１２からホール１２ｃに患部測定棒１２ｐを患部に先端が達するまで挿入する。先端が○印２４に入ったのを確認して、患部測定棒１２ｐの先端部のワールド座標位置と画像を記憶する。即ち、患部測定棒１２ｐの先端部が患部に接しているので、その座標が患部のワールド座標位置になる。

【0040】

記憶された画像を図１３（ｂ）に示しているが、既に記憶された画像であり、広角腹腔鏡１２をトロッカー１５から引き抜いてもモニター上には記憶画像が表示され続ける。次に、腹腔鏡１３を挿入するが、既に腹腔鏡１３の先端部（受光部）はワールド座標位置が求まっているので、その先端座標位置を図１３（ｂ）では十字印で重畳表示する。その患部と腹腔鏡１３の先端部（受光部）の位置はＡ（０，０，＋５）の様に、位置の差分情報としても表示される。同様にして、例えば鉗子１４や電気メス１８を別のトロッカー１５から挿入してもそれぞれ先端部は異なる模様の○印２５や△印２６で表示され、その患部と鉗子１４、電気メス１８の先端部の位置はそれぞれＢ（＋３０，＋４０，＋２０）、Ｃ（―２０，＋２０，＋１０）の様に、位置の差分情報としても表示される。これらの印がほぼ円の中に入った時点で、図１３（ｂ）の画像を腹腔鏡１３で受光した画像図７（ａ）に切り替えれば、瞬時のアライメント時間だけで、全て挿入した手術器具をその狭い視野内で確認する事ができる。広角腹腔鏡１２を引き抜いて別の手術用器具を挿入できるので、少ない切開数済み、且つ素早いアライメント作業が可能となる。

【0041】

第４の形態では、手術室の所定の位置に赤外線を射出し、所定の間隔で配置されたマーカー群からの反射光を受光する撮像部を有するモーションキャプチャー装置を配置し、手術を受ける患者の患部に所定の第１画像を重畳表示する画像表示装置を有し、前記モーションキャプチャー装置で計測された前記マーカー群の座標位置及び回転量に応じて患者の患部と重畳表示画像を変化させる画像表示装置を有する外科手術システムにおいて、前記画像表示装置は前記患部の画像を撮るカメラ及び前記第１マーカー群を有しており、前記カメラで撮られた第２画像と前記第１画像を重畳表示する為に、患者の患部を覆う透明シート貼り付け領域に少なくとも一つ以上の第２マーカーを取り付ける事を特徴としている。

【0042】

従来の技術で説明した（４）の段階では、図３４の様に、感染症を防ぐ為、患部以外は無菌カバー３１で覆い、更に透明シート３２で患部が覆われる為、術中に患者に固定されたマーカー１０５を見る事ができなくなる。術中は色々な処置が行われるので、患者の位置が変わってしまう事が多いが、本発明によれば、透明シート３２部分に第２マーカーが貼り付けられているので、術中でも第２マーカーにより患者の位置を確認する事が可能となり、患者の位置が変わっても、その第２マーカーを確認する事により、重畳画像表示がズレない様に制御する事が可能となる。

【0043】

図１４では分かり易い様に、患者１００及び３点固定具１０４に対し、透明シート３２と無菌カバー３１、術作業の為の開口部３１ａ、患部２９（切開部分）及びマーカー３０の大きさの関係が判る様に長方形で全て示している。まず、無菌カバー３１で患者１００を覆う前に、第１から第２の形態を用いてレジストレーションを実施する。この時点では重畳表示は問題無く行われている。次に、患部２９の近傍にマーカー３０を貼り付ける。第１から第２の形態で用いたカメラを使って、マーカー３０の位置を画像認識する。既にマーカー群１０５とＭＲＩ重畳画像９のローカル座標値は求まっているので、第２マーカー３０とマーカー群１０５とのローカル座標値が求まれば、マーカー３０とＭＲＩ画像９のローカル座標値も求まる事になる。即ち、マーカー３０は患者１００の頭部に貼り付けられているので、マーカー３０のローカル座標値変動を調べ補正する事で、ＭＲＩ画像９と患者１００の頭部画像を正確に重畳表示する事ができる。

【0044】

図１７では、患部２９とマーカー３０が開口部３１ａから露出する様に無菌カバー３１を位置合わせし、それ以外の患者１００と３点固定具１０４、マーカー群１０５は完全に無菌カバー３１で覆い、更に透明シート３２で患部とマーカー３０が覆われる様子を示している。マーカー群１０５が隠れてしまうので、モーションキャプチャー用センサー部１による患者１００の頭部位置検出はできなくなるが、患者１００の頭部の位置がドリフトしても、カメラを用いて透明シート３２上で透けて見えるマーカー３０のローカル座標値の変動を調べ、補正する事で、感染症のリスクを軽減したままでＭＲＩ画像９と患者１００の頭部画像を正確にモニター上に重畳表示する事ができる。

【0045】

尚、今回はＡＲマーカーを例にしたが、ＡＲマーカーは本来、画像認識用に使われ、位置精度自体はそれ程高くない。元々、術中に患者１００の頭部が動いてしまう量はそれ程大きくないので、ＡＲマーカーの代わりに図１５（ｂ）の様な黒枠の大きな正方形パターンを用いても良い。このパターンを２次元画像データとして取り込み、点線の様に分割して分割領域毎に縦及び横に加算処理する事で、１次元データＸ１，Ｘ２，Ｙ１，Ｙ２を形成する。黒枠部分のスロープ信号を検出し、そのそれぞれのスロープ位置を解析する事で、ｘ，ｙのシフト量は勿論、回転量、ピッチング、ローリング誤差まで精度良く検出する事が可能となる。パターンが単純なので、画像認識には不向きだが、ある程度パターンの位置が定まっている状況（患者１００の頭部ドリフトの量が小さい条件）ならば、加算処理する事で、平均化効果の高いこのパターンの方が高い精度で重畳表示状態を維持する事ができる。

【0046】

更に、第５の形態では、手術室の所定の位置に赤外線を射出し、所定の間隔で配置されたマーカー群からの反射光を受光する撮像部を有するモーションキャプチャー装置を少なくとも３カ所に配置し、手術を受ける患者の患部に所定の第１画像を重畳表示する画像表示装置を有し、前記モーションキャプチャー装置で計測された前記マーカー群の座標位置及び回転量に応じて患者の患部と重畳表示画像を変化させる画像表示装置を有する外科手術システムにおいて、前記画像表示装置は前記患部の画像を撮るカメラ及び前記第１マーカー群を有しており、前記カメラで撮られた第２画像と前記第１画像を重畳表示する為に、患者の患部から関節部を介さない患者の一部に、第２マーカー群を固定可能なコネクタ部を取り付ける事を特徴としている。

【0047】

図１６に示す様に、コネクタ部３３からマーカー群３４を取り外し、無菌カバー３１で覆い、透明シート３２をコネクタ部３３の上から貼るが、コネクタ部３３にはマーカー群３４を取り付ける凸部３３ｂと、広い貼り付け面積を持つ平面部３３ａが存在する。透明シート３２をコネクタ部３３の上から貼ると、点線で示した様な凸部３３ｂ空洞部分が平面部３３ａに発生する。この点線に沿って、透明シート３２を切り取ると、凸部３３ｂが露出する。但し、点線３２ａまでは平面部３３ａと透明シート３２の粘着裏面がしっかり粘着されているので、コネクタ部３３とマーカー群３４を殺菌消毒しておけば、裏側の菌が術中に表面に露出する様な不具合は発生しない。

【0048】

図１８では、患部２９とコネクタ部３３が開口部３１ａから露出する様に無菌カバー３１を位置合わせし、それ以外の患者１００と３点固定具１０４、マーカー群１０５は完全に無菌カバー３１で覆い、更に透明シート３２で患部とマーカー３０が覆われた後に、コネクタ部３３の凸部３３ｂ部分を含む点線３２ａで切り取り、凸部３３ｂを露出させている様子を示している。マーカー群１０５が隠れてしまうので、モーションキャプチャー用センサー部１による患者１００の頭部位置検出はできなくなるが、患者１００の頭部の位置がドリフトしても、凸部３３ｂにマーカー群３４を取り付け、複数のモーションキャプチャー用センサー部１を用いてマーカー群３４の変動量を調べ、補正する事で、ＭＲＩ画像９と患者１００の頭部画像を正確にモニター上に重畳表示する事ができる。

【0049】

次の図１９では第５の形態を別の方法で実現している。患部２９の近傍は手術の際に重要な領域であり、そこにマーカー３０やコネクタ部３３を取り付ける事は難しい場合がある。そこで図１９では患部２９から離れた頭部を切開し、頭蓋骨にネジ穴を掘り、もう少し強度の高いコネクタ部３５を埋め込んでいる。しかし、患者１００全体は無菌カバー３１で覆われているので、そのコネクタ部３５に接続できるアーム部３６を差し込み、無菌カバーの外側で、且つ手術の邪魔にならない位置までリレーする。その先端にコネクタ部としてマーカー群３７を取り付けられる様にしている。設置自体は、ほとんど時間のかからない処理であり、設置の間、アーム部を人が支える事で、ネジ穴を掘った頭蓋骨部分に負荷は発生しない。

【0050】

画像合成装置を用いて、ＭＲＩから得た３Ｄ画像と前記画像入力部から得られたビデオデータをモーションキャプチャー装置の結果に応じて重畳表示するが、ＰＣモニター１１１で見る重畳表示画像は、手術の視線からＰＣモニター１１１に視線を移す必要があり、手術を行いながら即在に動静脈や神経の場所を把握する事を難しくしている。第６の形態では、手術室の所定の位置に赤外線を射出し、所定の間隔で配置されたマーカー群からの反射光を受光する撮像部を有するモーションキャプチャー装置を配置し、手術を受ける患者の患部に所定の第１画像を重畳表示する画像表示装置を有し、前記モーションキャプチャー装置で計測された前記マーカー群の座標位置及びマーク群の回転量に応じて患者の患部と重畳表示画像を変化させる画像表示装置を有する外科手術システムにおいて、前記画像表示装置は前記患部を左右の目で独立に見る為の第１及び第２拡大光学系を有しており、前記第１、第２拡大光学系と目の間に、前記患部の投影像と前記第１画像を重畳表示する為の第１、第２合成ミラーを有し、更には第１マーカー群を有している事を特徴としている。

【0051】

図２２が第６の形態の実施例を装着した時の斜視図であり、図２３が第６の形態の実施例の側面図である。ケプラー式（拡大倍率４〜６）のルーペ部（ガリレオ式双眼ルーペタイプでも可）４２と、対物レンズ部４４が画像合成部４５により接合された構造である。ルーペ部４２の合焦点と対物レンズ４４の先に取り付けられた２次元画像表示用液晶部４３と眼の網膜が共役な位置にあり、右眼と左眼用に一対で構成されている。これらの光学部分を脱着部４１で保持しており、取り付け可能なメガネ型固定部１１２に着脱部４１をコネクトする事で、この画像出力装置４０全体が安定して両目の位置に位置合わせできる構成になっている。また、脱着部４１には一対の内蔵カメラ６３も設置されており、そこで得られた情報は、２次元画像表示用液晶部４３にて見る事が可能である。

【0052】

また、ルーペ部とメガネ型固定部１１２の重量だけでも７０〜９０ｇあり、対物レンズ部４４が画像合成部４５、２次元画像表示用液晶部４３を全て合わせると装重量は１５０〜２００ｇ程度となる。これをメガネと同様に耳と鼻の横で支えるのは厳しい。そこでこの画像出力装置４０では着脱部４１に形状記憶合金で作られた弾性棒６０が取り付けられており、頭の頭部にある支持面５８から出た支点部５９を支点として、画像出力装置４０の重量とバランサー６１が「やじろべえ」の様な形で釣り合わす事で、バランスが保たれている。弾性棒６０と支点の位置、バランサー６１の位置や重さは微調整ができる構造であり、メガネと同等の数十ｇ程度の重量を残す形でバランスを取れば、顔の動きに異存せず、双眼ルーペを装着した時に感じる鼻の横の支持部が重さで痛くなる様な不具合は無く、安定して装着し続ける事が可能となる。

【0053】

この構造だと、支点部５９の下にある支持面５８に全ての重量がかかってくるが、頭部全体にかかる重量なので、首への負担は殆ど無い。また、バランサーの重量を合わせても工事用ヘルメット程度の重さであり、支持面５８の面積が広いので、頭部全体で重量を支える事になる。双眼ルーペやヘッドマウントディスプレイの様なバランスの偏りや締め付けによる不快感は無く、手術でも長時間装着する事ができる。

【0054】

また、図２３に示す様に、通常の双眼ルーペと同様に、コネクタ部を折り曲げる事で、双眼ルーペと同様に、眼の視線からルーペ部４２を退避させる事ができ、広い視界（裸眼若しくはメガネ）で手術を継続する事も可能である。

【0055】

画像出力装置４０の脱着部４１にはマーカー群３４も取り付けてあるので、レジストレーションを行う事ができる。レジストレーションにより内蔵カメラ６３からの画像とＭＲＩから得た３Ｄ画像を重畳画像として２次元画像表示用液晶部４３に表示すれば、第１及び第５の形態を実施するのに必要な条件が全て整っている。更に、内蔵カメラ６３をディプスカメラ６に変更すれば、第２の形態を実施する事も可能となる。内蔵カメラ６３によりＡＲマーカーを検出できる様にする事で、第４の形態を実施する事もできる。

【0056】

更には、腹腔鏡１３のＣＣＤカメラからの映像と手術器具の先端部情報を重畳画像として２次元画像表示用液晶部４３に表示すれば、第３の形態を実施する事もできる。但し、この場合は、ルーペ部４２の見えは邪魔になる。画像出力装置４０は図２５、図２６に示す様に、分割ミラー（ハーフミラー）４５とルーペ部４４の間に出し入れ可能な遮蔽板４６が配置されている。内視鏡手術の様に腹腔鏡１３のＣＣＤカメラからの映像のみ見たい場合は、図２６の様に遮蔽板４６を挿入する。

【0057】

分割ミラーを偏光ミラーとし、４６の部分に透過型液晶素子を入れても良い。偏光ミラーの透過光はＰ偏光であり、２次元画像表示用液晶部４３から来る画像はＳ偏光なので、透過型液晶素子部で電気的にＰ偏光を遮蔽すれば同様の事ができる。一方、ルーペ部４２の実像のみ見たい時は、２次元画像表示用液晶部４３の画像をｏｆｆし、図２５の様に遮光板４６を退避させてば良い。透過型液晶素子部を使う場合は、電気的にＰ偏光を透過する様にすれば良い。

【0058】

またこの画像出力装置４０は、ルーペ部４２から実際の術中の状態を観察できるので、その実像に２次元画像表示用液晶部４３の画像を重畳表示する事も可能である。この使用法に関しては、別途レジストレーション作業が必要となる。一対のルーペ４２の間隔と、一対で配置された内蔵カメラ６３の間隔はほぼ等しいので、これらを重畳表示すると、ハーフミラーで両方の画像が見える。ルーペ部４２の視界中心を見た場合、内蔵カメラの視界の中心と並行になる様に設計されており、その見えや倍率が合う様に２次元画像表示用液晶部４３の画像の位置及び倍率を調整する。左右の目共に見えが一致すればレジストレーション作業は終了である。

【0059】

図２４（ａ）は画像出力装置４０と同じ拡大倍率を持つ双眼ルーペ１１４で見た時の患部であり、（ｂ）はその視線から見た時のＭＲＩの立体画像である。画像出力装置４０を装着する事で、（ｃ）の様に、ルーペ部４２と画像とＭＲＩから得た３Ｄ画像の重畳表示も精度良く重ねる事が可能となる。ルーペ部４２により立体視が可能であり、手術を行いながら、視線を変えずに腫瘍Ｖの位置、静脈Ｊ等の位置を確認できるという利点がある。一般にレンズを介して物体を見る場合、周りを見渡す場合は必ず眼の瞳位置が変化する。これによりレンズを通る主光線の位置が変わり、ディストーションも変化してしまう。このディストーションの変化に対応して重畳画像を変化させる事は容易ではないが、本発明では視野の狭いルーペを用いている上に、モーションキャプチャーを用いる事で、画像のトラッキングができるので、常に物体をルーペのレンズ中心付近で見る事が可能である。中心付近の画像には殆どディストーションが発生していないので、重畳させる画像のディスト−ション等の補正も殆ど必要無い。

【0060】

最後に残るのが、高度な手術で二人観察用の手術用顕微を用いる場合である。第一執刀医と第二執刀医の二人が同時に患部の立体像を見る事ができ、更には重畳表示画像を同時に見る事ができれば、効率良く安全なナビゲーションが可能となる。それを実現する為に、第７の形態では、手術室の所定の位置に赤外線を射出し、所定の間隔で配置されたマーカー群からの反射光を受光する撮像部を有するモーションキャプチャー装置を少なくとも３カ所に配置し、前記モーションキャプチャー装置で計測された前記マーカー群の座標位置及びマーク群の回転量に応じて患者の患部の表示画像を変化させる画像表示装置を有する外科手術システムにおいて、前記画像表示装置は第１マーカー群が配置されたヘッドマウントディスプレイであり、患者の患部を撮像する立体顕微鏡には、その第１結像面に患部の画像を受光する２次元画像センサーが配置されており、ヘッドマウントディスプレイの装着者の顔の動きに応じて、患部を回転中心とした前記立体顕微鏡の回転及びシフト量を制御する制御機構を有し、且つ前記装着者の顔の動きに応じて前記立体顕微鏡の回転及びシフト量を制御する事を特徴としている。

【0061】

図２７（ａ）〜（ｂ）が第７の形態における実施例であり、（ａ）が正面図であり、（ｂ）が側面図である。ＬＥＤ照明６２の光が観察ターゲットＴを照射すると、ターゲットＴからの拡散反射光は所定の傾きを持った光束として偏向レンズ４８を介して平行光束となる。その後、ズーム光学系４９、対物・フォーカス調整レンズ５０を経てターゲットＴの像は２次元ＣＣＤ５１上に投影される。これは偏向レンズ４８での光束の間隔は人の両目の間隔である６２ｍｍ近傍に設定されており、両目を偏向レンズ４８の位置に置いてターゲットＴを見た時の立体視とほぼ同じ条件である。

【0062】

即ち、２次元ＣＣＤ５１の画像を、例えば第６の形態で説明したヘッドマウントディスプレイ型の画像表示装置４０で見ると、両目を偏向レンズ４８の位置に置いてターゲットＴを見ながら手術を行っているのとほぼ同等の条件となる。２次元ＣＣＤ５１の画像は電気的に分配可能なので、ヘッドマウントディスプレイ型の画像表示装置を装着している人全てが同一条件で立体画像を見る事が可能となる。また、一般に、第２執刀医は第１執刀医の術台１０９を挟んで反対側で作業を行う場合が多い。第２執刀医から見れば、第１執刀医の視線は通常見る条件に対して１８０度回転した画像を見ている事になる。これは自分の右手が左側から現れる事を意味し、非常に作業が行い難い。２次元ＣＣＤ５１の画像は画像処理により１８０度回転する事は容易にできるので、第２執刀医に対しては、１８０度回転した画像を見せる事で、サポートの効率を高める事が可能となる。

【0063】

画像表示装置４０はヘッドマウントディスプレイ型なので、任意の位置で画像を見る事が可能である。但し、執刀医が手術を行う時はターゲットＴの位置に患者１００の患部があるので、指先はその位置で作業を行う必要がある。よって、立体顕微鏡４７と画像表示装置４０の位置関係は図２８（ａ）〜（ｂ）の様になる。（ａ）が正面からの様子で、（ｂ）が側面からの様子を示している。ここで偏向レンズ４８とターゲットＴの間隔をＬとすると、執刀医は最も楽な視線状態（個人差もあるが、通常は２０〜３０度下を向いた状態）で仮想ターゲットがその視線でＬ離れたＴＴという事になる。この眼とＴＴの方向が画像表示装置４０の中でのＺ軸方向となり、それに応じてＸ軸及びＹ軸の角度も決定され、これがバーチャル空間での座標軸Ｂとなる。

【0064】

執刀医はその座標軸上でＴＴの位置に患者１００の患部を見ている事になるので、術中も顔を向けた方向と同様の方向に立体顕微鏡４７を制御する事で、執刀医は現実の視線に応じて患部を見る事ができるので、従来技術の手術用立体顕微鏡の様に、大掛かりな立体顕微鏡支持アームをその都度動かして、見る位置や角度を変える様な煩わしさが無くなる。これは作業の効率及び安全性を高めるだけでなく、バーチャル酔いを防止するという効果もある。

【0065】

図２９（ａ）〜（ｂ）は通常の執刀医の顔の動かし方を示している。仮想ターゲットＴＴに対し、座標軸Ｂ基準のＺ軸周りと横の移動は、立体顕微鏡４７の図２９（ａ）の紙面に沿った回転と紙面に沿った横シフトとなるので、Ｚ軸周り回転ステージ５３ｃのＺ軸周り回転駆動と、Ｘ軸移動ステージ５４ＸのＸ駆動のみで対応できる。また、仮想ターゲットＴＴに対し、座標軸Ｂ基準のＸ軸周りと縦の移動は、立体顕微鏡４７の図２９（ｂ）の紙面に沿った回転と紙面に沿った縦シフトとなるので、立体顕微鏡４７のＸ軸周り回転駆動と、Ｚ方向移動軸５６のＺ駆動のみで対応できる。それぞれの駆動系は独立に制御できるので、顔の動きに応じてスムーズな立体顕微鏡４７の駆動制御が可能となる。

【0066】

顔の動きは画像表示装置４０に設置されたマーカー群３４の動きを複数のモーションキャプチャー用センサー部１を用いて計測し、座標軸Ｂ基準に対する変動位置と変動角度に応じて立体顕微鏡４７を駆動制御すれば良い。また、立体顕微鏡４７にマーカー群を設置し、それも複数のモーションキャプチャー用センサー部１を用いて計測する事で、立体顕微鏡４７が想定通りに駆動したかをフィードバック制御する事も可能である。尚、今回は画像表示装置４０を用いたが、無論、通常の手術用ヘッドマウントディスプレイ３９を用いても同様の事が可能となる。

【0067】

立体顕微鏡４７の画像を画像表示装置４０で見る場合の重畳表示についてであるが、立体顕微鏡４７にマーカー群を設置すれば、元々２次元ＣＣＤ５１が内蔵カメラの役割を果たすので、シフト及び回転に関するレジストレーションは第３〜第５の形態の発明を用いて計測可能である。但し、立体顕微鏡４７にはズーム光学系４９が搭載されており、画像の倍率をズーム光学系４９により変化させた場合は、マーカー群を用いた重畳表示制御ができない。この場合は、ターゲットＴ近傍に配置した第４の形態で用いたＡＲマーカーを２次元ＣＣＤ５１にて確認し、倍率や位置変化を補正する事で、安定した重畳表示が可能となる。

【0068】

それ以外にも立体顕微鏡４７の駆動部はそれぞれの方向に干渉せず独立に制御できる構成なので、予め、各エンコーダ値の変動に応じて重畳表示画像がどの程度ドリフトするかを自動計測し、変動誤差をマップとして記憶しておいても良い。メカ公差や立体顕微鏡４７の自重変形による誤差については、その状態での自動計測による変動誤差マップによる補正で、重畳表示画像のドリフトを最小限に抑える事が可能となる。

【発明の効果】

【0069】

以上の様に本発明によれば、従来の技術で説明した外科手術の手順（１）〜（４）で画像の重畳表示が必要な時に第１〜第７の形態を提供する事で、重畳表示画像を精度良く提供できるという効果がある。

【図面の簡単な説明】

【0070】

【図1】本発明による第１の形態による手術システムの構成図。

【図2】本発明による第１の形態で、タブレットを用いた重畳表示の様子。

【図3】本発明による第２の形態で、ディプスカメラの原理説明図。

【図4】本発明による第２の形態で、ディプスカメラ搭載のタブレットを用いた重畳表示の様子。

【図5】（ａ）ＭＲＩで撮られたデータを表面の３Ｄポリゴンデータに変換したもの、（ｂ）ＭＲＩで撮られたデータを表面の３Ｄ点群データに変換したもの、（ｃ）ディプスカメラで撮られた３Ｄ点群データ。

【図6】内視鏡手術での患者の断面図。

【図7】（ａ）腹腔鏡１３を用いた時の画像の見え、（ｂ）広角腹腔鏡１２を用いた時の画像の見え。

【図8】（ａ）広角腹腔鏡１２の先端部の説明図、（ｂ）腹腔鏡１３の先端部の説明図。

【図9】内視鏡手術に用いられる手術器具の説明。

【図10】内視鏡手術に用いられる手術器具にマーカー群と取り付けた時の説明。

【図11】本発明による第３の形態で、キャリブレーション架台１９を用いた各手術器具のローカル座標計測の様子。

【図12】広角腹腔鏡１２を用いた作業を説明した、内視鏡手術での患者の断面図の様子。

【図13】（ａ）広角腹腔鏡１２を用い、患部測定棒１２ｐを挿入した時のＣＣＤの見え、（ｂ）広角腹腔鏡１２を用いた時の記憶画像と、手術用器具の先端位置を示した。

【図14】本発明による第４の形態の説明図１。

【図15】（ａ）ＡＲマーカーの例、（ｂ）黒枠の大きな正方形パターンのマーカー図と計測方法の説明図。

【図16】本発明による第５の形態の第１実施例の説明図１。

【図17】本発明による第４の形態の説明図２。

【図18】本発明による第５の形態の第１実施例の説明図２。

【図19】本発明による第５の形態の第２実施例の概略図。

【図20】画像入力部を有する手術用器具の説明。

【図21】画像出力部を有する手術用器具の説明。

【図22】本発明による第６の形態の実施例を装着した時の斜視図。

【図23】本発明による第６の形態の実施例を装着した時の側面図。

【図24】（ａ）双眼ルーペで見た時の患部の手術の様子、（ｂ）ＭＲＩで撮られた患部の３Ｄポリゴンデータ、（ｃ）本発明による第６の形態の実施例を装着した時の患部の重畳表示結果。

【図25】本発明による第６の形態の実施例で遮蔽部を退避させた時の図。

【図26】本発明による第６の形態の実施例で遮蔽部を挿入させた時の図。

【図27】（ａ）本発明による第７の形態の実施例の正面図、（ｂ）本発明による第７の形態の実施例の側面図。

【図28】（ａ）本発明による第７の形態の実施例の正面図で顔を動かしていない時の様子、（ｂ）本発明による第７の形態の実施例の側面図で顔を動かしていない時の様子。

【図29】（ａ）本発明による第７の形態の実施例の正面図で顔を動かした時に、立体顕微鏡４７が連動して動いている時の様子、（ｂ）本発明による第７の形態の実施例の側面図で顔を動かした時に、立体顕微鏡４７が連動して動いている時の様子。

【図30】本発明による制御装置の説明図。

【図31】（ａ）従来技術による手術システムの説明図、（ｂ）脱着可能な双眼ルーペの斜視図、（ｃ）従来技術による手術用立体顕微鏡の斜視図。

【図32】（ａ）〜（ｃ）従来技術によるレジストレーション測定の手順説明図。

【図33】（ａ）従来技術によるＭＲＩによる計測画像データの表示ソフトの例、（ｂ）従来技術によるレジストレーション測定結果の確認作業の様子。

【図34】感染症防止の為の手術作業の様子。

【発明を実施するための形態】

【0071】

第１の形態では、図１に示す様に、手術室の邪魔にならない位置にポール２を設置し、４つのモーションキャプチャー用センサー部１を取り付けている。モーションキャプチャー用センサー部１には赤外のＬＥＤ照明があり、マーカー群１０５及び、図２に示したタブレット４に取り付けられたマーカー群３を照明する事で、同センサー部１のＣＭＯＳ部で２次元のマーカー群１０５とマーカー群３の画像を取り込める様に制御されている。

【0072】

このモーションキャプチャーの制御はモーションキャプチャー制御装置１ＰＣにより行われる。４つのモーションキャプチャー用センサー部１から取り込んだ画像をステレオ画像処理法により解析し、マーカー群１０５とマーカー群３の位置座標を正確に計測できる。モーションキャプチャー用センサー部１は最低３個あれば良いが、術中は第１執刀医及び第２執刀医、更にはサポートを行う看護師も患者１００の周りにいるので、それも考慮して４〜８個配置している。

【0073】

更に図２に示す様に、通常市販されているタブレット４には内蔵のカメラがあり、そのタブレット４の内蔵カメラで患者１００の頭部を撮ると、画面に患者１００の頭部画像が表示される。一方、ＭＲＩは人体を輪切り状にしてその内部映像を画像データとして記憶している。よって、人体の表面情報は外周の画像を点群データとし、それをポリゴンデータ９に変換処理する事ができる。従来技術と同様に、レジストレーション測定を行う事で、タブレット４の画面上で患者１００の頭部画像とＭＲＩのポリゴンデータによる重畳表示画像５を観察する事ができる様になる。

【0074】

図４ではこの内蔵カメラの代わりに、タブレット４に取り付けたディプスカメラ６を使う場合の実際の作業風景を示している。ディプスカメラ６は最も簡単で性能が良い方法としてTime of Flightが提案されている。これは図３に示す様に、ＬＥＤ照明７を所定のｓｉｎカーブで点滅させ、対象物からの反射光の位相遅れＤを検出する事で、対象物までの距離を計測する方法である。即ち、対物レンズ付の２次元受光素子８を有するディプスカメラ６の場合、素子毎に位相遅れを検出する事が可能であり、対象物の表面までの距離は素子の分割数の細かさで検出できる。元々、ディプスカメラ６自体のレンズ付の２次元受光素子８は上下左右の位置情報は持っているので、更にその奥行情報をTime of Flight計測で撮る事で、３次元の対象物１００の表面情報を得る事ができる。

【0075】

第２の形態について説明する。図６は内視鏡手術での患者の断面図１６である。内視鏡手術は患部へのアクセスを容易にする為、5ミリから2センチ程度の小さな穴を数箇所開け、注入する二酸化炭素ガスが漏れない様に、体腔内と体外を継ぐ連絡路の役割を担うトロッカー１５を穴に設置する。そこから二酸化炭素ガスを注入し、膨らませることにより手術に必要なスペースを確保し、内視鏡と細い手術器具を挿入し手術を行なう。内視鏡は胃カメラのような器具だが、この手術専用のものは腹腔鏡１３と呼ばれ、２次元画像素子に患部の像を投影する事で、患部の様子をモニターに映し出す。しかし従来の腹腔鏡１３は視野が狭く、患部まで腹腔鏡１３やその他の細い手術器具を到達させるアライメントに時間がかかる。

【0076】

本発明である広角腹腔鏡１２は図８（ａ）に示す様に、先端の受光部に凹レンズ１２ｂを採用する事で、図６の様に穴の位置から広い視野を観察する事が可能な装置である。図８（ｂ）に示す通常の腹腔鏡１３の先端部１２ａに、器具の挿入や吸引に使うホール１３ｃ及び照明部１３ｄ及びが付いているのと同様に、図８（ａ）に示す先端部１２ａに、器具の挿入や吸引に使うホール１２ｃ及び照明部１２ｄが付いており、２次元画像素子に患部の像を投影する事で、患部の様子をモニターに映し出せるが、先端の受光部が凸レンズ１３ｂでない部分が異なる。それ以外のＣＣＤ出力部等も通常の腹腔鏡１３と同じ構造である。

【0077】

また、図６に示す様に、挿入する細い部分が、腹腔鏡１３の部分と比べてもトロッカー１５の先端からぎりぎり先端部が出る程度に短い。よって、差し込んだ状態で安定する構造であり、広い視野を映し出すのに適している事が判る。図７（ｂ）はその広い視野で患部を見ながら、他の手術器具が挿入されている様子を示している。迷うこと無く、短時間で腹腔鏡１３及び、鉗子１４の先端を患部まで挿入できている。この状態で全ての手術器具を挿入し、アライメントした時点で、腹腔鏡１３の映像にモニター図７（ａ）に切り替えるので、どの様に臓器の位置が変わっても、アライメント作業を短縮し、スムーズに術作業を行う事ができる。

【0078】

次に第３の形態を説明する。先の発明では、広角腹腔鏡１２を用いた場合、常に一つのトロッカー１５を専有する事になるが、臓器が大きく動くのは、患者を所定の形で固定し、二酸化炭素ガスを注入する事に起因している。よって、最初に広角腹腔鏡１２を挿入し、臓器の位置を確認できれば、図１２に示す様に、広角腹腔鏡１２を引き抜いて、その穴を別の手術器具の挿入用に使う事ができる。しかし、これでは各手術器具を挿入する際にその位置を確認するのが難しい。

【0079】

先に説明したキャリブレーター１０６と同様に、尖った触手を行う先端部分ａを手術器具の先端（作用部）として、マーカー群部分ｂを設置し、その間隔をローカル座標として予め計測しておけば、モーションキャプチャー用センサー部１でそのマーカー群の位置座標を調べる事で、手術器具の先端（作用部）のワールド座標位置を特定する事ができる。しかし、これらの手術器具は常に殺菌消毒され、繰り返し使われるものである。一方、マーカー群は構造がいびつで、マーカー部は汚れが取り難い為、手術器具に取り付けた場合は、使い捨てとするか、取り外して別に洗浄殺菌する可能性が高い。

【0080】

図９では簡単に内視鏡手術に用いられる手術器具を紹介している。腹腔鏡１３は先に説明したので、ここでは説明を省略する。広角腹腔鏡１２は器具の挿入や吸引に使うホール１２ｃが付いており、真っ直ぐな棒状の患部測定棒１２ｐを入れる事ができる。鉗子１４は、物をつかむ把持鉗子、組織を剥離する剥離鉗子、鋏の機能を持った鋏型鉗子などがあり、電気メスの機能が付属しているものもある。超音波凝固切開装置１７は、電気エネルギーを超音波の振動に変換し、凝固・切開に利用する。先端部分を組織に接触させることで摩擦熱を発生させ、凝固（止血）しながら組織を切り離す事ができる。電気メス１８は高周波電流を用いた電気メスである。モノポーラと呼ばれる1つの電極のものと、バイポーラと呼ばれる2つの電極のものがあり、特にバイポーラの場合には、小さな病変部などをピンポイントで焼灼することが可能となり、処置部分以外への熱損傷のリスクが抑えられる。

【0081】

これらの手術器具には先に説明した通り、それぞれの手術器具が特定できる様に、マーカーの配置を少しずつ変えているマーカー群１３ｅ、１４ｅ、１７ｅ、１８ｅを図１０の様に適宜手術前に取り付ける事になる。但し、マーカー群１２ｅについては広角腹腔鏡１２自体に取り付けず、その付属の患部測定棒１２ｐに取り付ける。取り付け位置については両面テープを介して、手術の邪魔にならない位置に取り付けられるので、取り付けた時点では、マーカー群と手術器具の先端（作用部）のローカル座標計測は行われていない。

【0082】

図１１は本発明であるキャリブレーション架台１９を用いた各手術器具のローカル座標計測の様子を示している。キャリブレーション架台１９にはマーカー群２３と作用部設置点２０があり、そのローカル座標位置は予め計測されている。作用部設置点２０は作用部の先が安定して設置できる様に少し窪んでいる。一方、トロッカー１５に挿入する細い部分を支える支持台２１には、安定して置ける様なＶ字状の切り込み２２がある。

【0083】

図１１に示す様に、立てかけた手術工具は作用部設置点２０の１点とＶ字状の切り込み部への円接点２点の計３点支持であり、安定して立てかけられる事になる。先端が鋏形状になっている超音波凝固切開装置１７や電気メス１８については、鋏を閉じた状態で計測が行われる。安定して置かれた段階で、前記モーションキャプチャー装置によりマーカー群１２ｅ、１３ｅ、１４ｅ、１７ｅ、１８ｅとマーカー群２３のワールド座標位置を記憶する。マーカー群２３と作用部設置点２０のローカル座標を差し引く事で、各手術器具の先端（作用部）のワールド座標位置が求められる事になる。

【0084】

図１２で示す様に、広角腹腔鏡１２を挿入した際に、臓器の全体画像を確認し、何処に患部（図では黒×印）があるかを確認する。図１３（ａ）はその時の画像の見えであるが、画像の中心には予め○印２４が表示される様になっているので、その○印２４の中に患部が来るように広角腹腔鏡１２の角度と位置を動かし、その場所で広角腹腔鏡１２からホール１２ｃに患部測定棒１２ｐを患部に先端が達するまで挿入する。先端が○印２４に入ったのを確認して、患部測定棒１２ｐの先端部のワールド座標位置と画像を記憶する。即ち、患部測定棒１２ｐの先端部が患部に接しているので、その座標が患部のワールド座標位置になる。

【0085】

記憶された画像を図１３に示しているが、既に記憶された画像であり、広角腹腔鏡１２をトロッカー１５から引き抜いてもモニター上には記憶画像が表示され続ける。次に、腹腔鏡１３を挿入するが、既に腹腔鏡１３の先端部（受光部）はワールド座標位置が求まっているので、その先端座標位置を図１３では十字印で重畳表示する。その患部と腹腔鏡１３の先端部（受光部）の位置はＡ（０，０，＋５）の様に、位置の差分情報としても表示される。同様にして、例えば鉗子１４や電気メス１８を別のトロッカー１５から挿入してもそれぞれ先端部は異なる模様の○印２５や△印２６で表示され、その患部と鉗子１４、電気メス１８の先端部の位置はそれぞれＢ（＋３０，＋４０，＋２０）、Ｃ（―２０，＋２０，＋１０）の様に、位置の差分情報としても表示される。これらの印がほぼ円の中に入った時点で、図１３の画像を腹腔鏡１３で受光した画像図７（ａ）に切り替えれば、瞬時のアライメント時間だけで、全て挿入した手術器具をその狭い視野内で確認する事ができる。

【0086】

次に第４の形態について説明する。従来の技術で説明した（４）の段階では、図３４の様に、感染症を防ぐ為、患部以外は無菌カバー３１で覆い、更に透明シート３２で患部が覆われる為、術中に患者に固定されたマーカー１０５を見る事ができなくなる。術中は色々な処置が行われるので、患者の位置が変わってしまう事が多いが、本発明によれば、透明シート３２部分に第２マーカーが貼り付けられているので、術中でも第２マーカーにより患者の位置を確認する事が可能となり、重畳画像表示がズレない様に制御する事が可能となる。図１４では分かり易い様に、患者１００及び３点固定具１０４に対し、透明シート３２と無菌カバー３１、術作業の為の開口部３１ａ、患部２９（切開部分）及びマーカー３０の大きさの関係が判る様に長方形で全て示している。

【0087】

まず、無菌カバー３１で患者１００を覆う前に、第１から第２の形態を用いてレジストレーションを実施する。この時点では重畳表示は問題無く行われている。次に、患部２９の近傍にマーカー３０を貼り付ける。第１から第２の形態で用いたカメラを使って、マーカー３０の位置を画像認識する。既にマーカー群１０５とＭＲＩ重畳画像９のローカル座標は求まっているので、第２マーカー３０とマーカー群１０５とのローカル座標が求まれば、マーカー３０とＭＲＩ画像９のローカル座標も求まる事になる。即ち、マーカー３０は患者１００の頭部に貼り付けられているので、マーカー３０のローカル座標変動量を調べ補正する事で、ＭＲＩ画像９と患者１００の頭部画像を正確に重畳表示する事ができる。

【0088】

第２のマーカーであるが、ここでは最も知られている図１５（ａ）に示す様なＡＲマーカーを使っている。ＡＲマーカーとは方形の黒枠で囲われた中に、何かしらのパターンが描かれているものを指し、正方形である事、基本は黒枠、内部の白領域の割合が、1 : 2 : 1になる事、枠線は変更可能だが、一般的に黒枠と白領域の割合は、3 : 14 : 3が最低ラインになる事、黒枠でマーカーの検出を行ない、白領域内のパターンに応じてマーカーを判別する事、白領域内のパターンは、点対称・線対称を避け、デザイン部分に細い線を用いない事等がルールとして決められている。

【0089】

これを画像として取り込み、画像処理する事でパターンファイル化する。パターンファイルとは、マーカーから作成するデータファイルで、例えば白領域内の画像を解像度４×４であるならば、全体を１６分割して数値化する。基本数値は縦横ともに１６を指定する。その後、しきい値に従って白黒の2値画像に変換し、更にその白黒画像を反転させてから、白い四角形の枠とその内部を切り出し、四角形から黒枠の割合分内側の四角形を切り出す。切り出した四角形とパターンファイルの値を比較し、一致率を算出して画像認識を行う手法である。解像度を上げることにより細かいパターンであっても認識率が上がるが、負荷も高くなる。また、ＡＲマーカーを複数個配置すれば、平均化効果により計測精度は向上する。

【0090】

図１７では、患部２９とマーカー３０が開口部３１ａから露出する様に無菌カバー３１を位置合わせし、それ以外の患者１００と３点固定具１０４、マーカー群１０５は完全に無菌カバー３１で覆い、更に透明シート３２で患部とマーカー３０が覆われる様子を示している。マーカー群１０５が隠れてしまうので、モーションキャプチャー用センサー部１による患者１００の頭部位置検出はできなくなるが、患者１００の頭部の位置がドリフトしても、カメラを用いて透明シート３２上で透けて見えるマーカー３０のローカル座標値の変動を調べ、補正する事で、ＭＲＩ画像９と患者１００の頭部画像を正確にモニター上に重畳表示する事ができる。

【0091】

尚、今回はＡＲマーカーを例にしたが、ＡＲマーカーは本来、画像認識用に使われ、位置精度自体はそれ程高くない。元々、術中に患者１００の頭部が動いてしまう量はそれ程大きくないので、ＡＲマーカーの代わりに図１５（ｂ）の様な黒枠の大きな正方形パターンを用いても良い。このパターンを２次元画像データとして取り込み、点線の様に分割して分割領域毎に縦及び横に加算処理する事で、１次元データＸ１，Ｘ２，Ｙ１，Ｙ２を形成する。黒枠部分のスロープ信号を検出し、そのそれぞれのスロープ位置を解析する事で、ｘ，ｙのシフト量は勿論、回転量、ピッチング、ローリング誤差まで精度良く検出する事が可能となる。パターンが単純なので、画像認識には不向きだが、ある程度パターンの位置が定まっている状況（患者１００の頭部ドリフトの量が小さい条件）ならば、加算処理する事で、平均化効果の高いこのパターンの方が高い精度で重畳表示状態を維持する事ができる。

【0092】

更に、第５の形態だが、第４の形態で用いた第２マーカーは平面上に形成されるので、その平面に並行な方向の計測精度は高いものの、それと直交する方向の計測精度は劣化する。本来は立体的に形成されたマーカー群３４を、複数のモーションキャプチャー用センサー部１を用いて計測する方が精度は高い。そこで第５形態では第２マーカーの代わりにマーカー群３４を取り付けるコネクタ部３３を貼り付け、必要に応じてそのコネクタ部３３にマーカー群３４を取り付け、術中でも複数のモーションキャプチャー用センサー部１を用いて患者１００の頭部位置を正確に再計測できる様にしている。コネクタ部３３の凸部３３ｂに精度良い公差で作られた凹部３４ｂがあり、所定の方向のみに再現性良く脱着ができる様になっている。

【0093】

図１６では、無菌カバー３１で患者１００を覆う前に、第１から第２の形態を用いてレジストレーションを実施する。この時点では重畳表示は問題無く行われている。次に、患部２９の近傍にコネクタ部３３を貼り付け、マーカー群３４を取り付ける。複数のモーションキャプチャー用センサー部１を用いてマーカー群１０５とコネクタ部３３に取り付けたマーカー群３４のワールド座標位置を計測すると、既にマーカー群１０５とＭＲＩ重畳画像９のローカル座標値は求まっているので、マーカー群３４とＭＲＩ重畳画像９のローカル座標値が求められる。

【0094】

コネクタ部３３からマーカー群３４を取り外し、無菌カバー３１で覆い、透明シート３２をコネクタ部３３の上から貼るが、コネクタ部３３にはマーカー群３４を取り付ける凸部３３ｂと、広い貼り付け面積を持つ平面部３３ａが存在する。透明シート３２をコネクタ部３３の上から貼ると、点線で示した様な凸部３３ｂ空洞部分が平面部３３ａに発生する。この点線に沿って、透明シート３２を切り取ると、凸部３３ｂが露出する。但し、点線３２ａまでは平面部３３ａと透明シート３２の粘着裏面がしっかり粘着されているので、裏側の菌が術中に表面に露出する様な不具合は発生しない。

【0095】

図１８では、患部２９とコネクタ部３３が開口部３１ａから露出する様に無菌カバー３１を位置合わせし、それ以外の患者１００と３点固定具１０４、マーカー群１０５は完全に無菌カバー３１で覆い、更に透明シート３２で患部とマーカー３０が覆われた後に、コネクタ部３３の凸部３３ｂ部分を含む点線３２ａで切り取り、凸部３３ｂを露出させている様子を示している。マーカー群１０５が隠れてしまうので、モーションキャプチャー用センサー部１による患者１００の頭部位置検出はできなくなるが、患者１００の頭部の位置がドリフトしても、凸部３３ｂにマーカー群３４を取り付け、複数のモーションキャプチャー用センサー部１を用いてマーカー群３４の変動量を調べ、補正する事で、ＭＲＩ画像９と患者１００の頭部画像を正確にモニター上に重畳表示する事ができる。

【0096】

次の図１９では第５の形態を別の方法で実現している。患部２９の近傍は手術の際に重要な領域であり、そこにマーカー３０やコネクタ部３３を取り付ける事は難しい場合がある。そこで図１９では患部２９から離れた頭部を切開し、頭蓋骨にネジ穴を掘り、もう少し強度の高いコネクタ部３５を埋め込んでいる。患者１００全体は無菌カバー３１で覆われているので、そのコネクタ部３５に接続できるアーム部３６を差し込み、無菌カバーの外側で、且つ手術の邪魔にならない位置までリレーする。その先端にコネクタ部としてマーカー群３７を取り付けられる様にしている。設置自体は、ほとんど時間のかからない処理であり、設置の間、アーム部を人が支える事で、ネジ穴を掘った頭蓋骨部分に負荷は発生しない。

【0097】

次に重畳表示の方法であるが、術中に重畳表示した画像を見る為には、画像入力部と画像出力部が必要となる。図２０は画像入力部を有する手術用器具であり、腹腔鏡１３のＣＣＤカメラ、タブレット４の内蔵カメラ、手術記録用ビデオカメラ１１０、手術用顕微鏡３８の記録用カメラ等がある。一方、図２１は画像出力部を有する手術用器具であり、手術用ヘッドマウントディスプレイ３９、タブレット４、ＰＣモニター１１１等である。

【0098】

画像合成装置を用いて、ＭＲＩから得た３Ｄ画像と前記画像入力部から得られた画像データをモーションキャプチャー装置の結果に応じて重畳表示するが、図２２が第６の形態の実施例を装着した時の斜視図であり、図２３が第６の形態の実施例の側面図である。ケプラー式（拡大倍率４〜６）のルーペ部（ガリレオ式双眼ルーペタイプでも可）４２と、対物レンズ部４４が画像合成部４５により接合された構造である。ルーペ部の合焦点と対物レンズ４４の先に取り付けられた２次元画像表示用液晶部４３と眼の網膜が共役な位置にあり、右眼と左眼用に一対で構成されている。これらの光学部分を脱着部４１で保持しており、取り付け可能なメガネ型固定部１１２に着脱部４１をコネクトする事で、この画像出力装置４０全体が安定して両目の位置に位置合わせできる構成になっている。また、脱着部４１には一対の内蔵カメラ６３も設置されており、そこで得られた情報は、２次元画像表示用液晶部４３にて表示する事が可能である。

【0099】

また、ルーペ部とメガネ型固定部１１２の重量だけでも７０〜９０ｇあり、対物レンズ部４４が画像合成部４５、２次元画像表示用液晶部４３を全て合わせると装重量は２００ｇ程度となる。これをメガネと同様に耳と鼻の横で支えるのは厳しい。そこでこの画像出力装置４０では着脱部４１に形状記憶合金で作られた弾性棒６０が取り付けられており、頭の頭部にある支持面５８から出た支点部５９を支点として画像出力装置４０の重量とバランサー６１が「やじろべえ」の様な形で釣り合い、バランスが保たれている。弾性棒６０と支点の位置、バランサー６１の位置や重さは微調整ができる構造であり、メガネと同等の数十ｇ程度の重量を残す形でバランスを取れば、顔の動きに異存せず、安定して装着し続ける事が可能となる。

【0100】

この構造だと、支点部５９の下にある支持面５８に全ての重量がかかってくるが、バランサーの重量を合わせても工事用ヘルメット程度の重さであり、支持面５８の面積が広いので、頭部全体で重量を支える事になる。双眼ルーペやヘッドマウントディスプレイの様なバランスの偏りや締め付けによる不快感は無く、手術でも長時間装着する事ができる。
また、図２３に示す様に、通常の双眼ルーペと同様に、コネクタ部を折り曲げる事で、双眼ルーペと同様に、眼の視線からルーペ部４２を退避させる事ができ、広い視界（裸眼若しくはメガネ）で手術を継続する事も可能である。

【0101】

装着方法であるが、まず画像出力装置４０をメガネ型固定部１１２に取り付け、メガネをかける様に片手で顔面前に装着する。次に通常は手術帽をかぶっているので、もう一方の片手で支持面５８を引き上げ、画像出力装置４０の重量感がほぼ無くなる位置で、支持面５８の裏側に付けた粘着部を手術帽に押し当て手術帽に取り付ける。その上で、支点棒５９の位置とバランサー６１の位置を微調整する事で、伸ばした状態と折り曲げた状態の両方でしっくりする状態を確認すれば良い。

【0102】

画像出力装置４０の脱着部４１にはマーカー群３４も取り付けてあるので、レジストレーションを行う事ができる。レジストレーションにより内蔵カメラ６３からの画像とＭＲＩから得た３Ｄ画像を重畳画像として２次元画像表示用液晶部４３に表示すれば、第１及び第５の形態を実施するのに必要な条件が全て整っている。更に、内蔵カメラ６３をディプスカメラ６に変更すれば、第２の形態を実施する事も可能となる。内蔵カメラ６３によりＡＲマーカーを検出できる様にする事で、第４の形態を実施する事もできる。

【0103】

更には、腹腔鏡１３のＣＣＤカメラからの映像と手術器具の先端部情報を重畳画像として２次元画像表示用液晶部４３に表示すれば、第３の形態を実施する事もできる。但し、この場合は、ルーペ部４２の見えは邪魔になる。画像出力装置４０は図２５、図２６に示す様に、合成ミラー（ハーフミラー）４５とルーペ部４４の間に出し入れ可能な遮蔽板４６が配置されている。内視鏡手術の様に腹腔鏡１３のＣＣＤカメラからの映像のみ見たい場合は、図２６の様に遮蔽板４６を挿入する。分割ミラーを偏光ミラーとし、４６の部分に透過型液晶素子を入れても良い。偏光ミラーの透過光はＰ偏光であり、２次元画像表示用液晶部４３から来る画像はＳ偏光なので、透過型液晶素子部で電気的にＰ偏光を遮蔽すれば同様の事ができる。一方、ルーペ部４２の見えのみ見たい時は、２次元画像表示用液晶部４３の画像をｏｆｆし、図２５の様に遮光板４６を退避させてば良い。透過型液晶素子部を使う場合は、電気的にＰ偏光を透過する様にすれば良い。

【0104】

またこの画像出力装置４０は、ルーペ部４２から実際の術中の状態を観察できるので、その見えに２次元画像表示用液晶部４３の画像を重畳表示する事も可能である。この使用法に関しては、別途レジストレーション作業が必要となる。一対のルーペ４２の間隔と、一対で配置された内蔵カメラ６３の間隔はほぼ等しいので、これらを重畳表示すると、ハーフミラーで両方の画像が見える。ルーペ部４２の視界中心を見た場合、内蔵カメラの視界の中心と並行になる様に設計されており、その見えや倍率が合う様に２次元画像表示用液晶部４３の画像の位置及び倍率を調整する。見えが一致すればレジストレーション作業は終了する。

【0105】

最後に残るのが、高度な手術で二人観察用の手術用顕微を用いる場合である。第一執刀医と第二執刀医の二人が同時に患部の立体像を見る事ができ、更には重畳表示画像を同時に見る事ができれば、効率良く安全なナビゲーションが可能となる。

【0106】

図２７（ａ）〜（ｂ）が第７の形態における実施例であり、（ａ）が正面図であり、（ｂ）が側面図である。ＬＥＤ照明６２の光が観察ターゲットＴを照射すると、ターゲットＴからの拡散反射光は所定の傾きを持った光束として偏向レンズ４８を介して平行光束となる。その後、ズーム光学系４９、対物・フォーカス調整レンズ５０を経てターゲットＴの像は２次元ＣＣＤ５１上に投影される。これは偏向レンズ４８での光束の間隔は人の両目の間隔である６２ｍｍ近傍に設定されており、両目を偏向レンズ４８の位置に置いてターゲットＴを見た時の立体視とほぼ同じ条件である。

【0107】

即ち、２次元ＣＣＤ５１の画像を、例えば第６の形態で説明したヘッドマウントディスプレイ型の画像表示装置４０で見ると、両目を偏向レンズ４８の位置に置いてターゲットＴを見ながら手術を行っているのとほぼ同等の条件となる。２次元ＣＣＤ５１の画像は電気的に分配可能なので、ヘッドマウントディスプレイ型の画像表示装置を装着している人全てが同一条件で立体画像を見る事が可能となる。

【0108】

更に、この立体顕微鏡４７には紙面の左右をＸ軸、上下をＹ軸、奥行をＺ軸とした場合、ＬＭブロック５３ｂ１対が設置されており、Ｚ軸周り回転ステージ５３ｃ上にあるＬＭレール５３ａ上で、ターゲットＴを回転中心として、立体顕微鏡４７がＸ軸周りに回転可能な様に支持され、Ｒガイドを形成している。また、Ｚ軸周り回転ステージ５３ｃ上にはＬＭブロック５２ｂ１対が設置されており、Ｘ軸移動ステージ５４Ｘ上にあるＬＭレール５２ａ上で、ターゲットＴを回転中心として、Ｚ軸周りに回転可能な様に支持され、Ｒガイドを形成している。この２つのガイドにより、立体顕微鏡４７はターゲットＴを回転中心として、Ｘ軸周り及びＺ軸周りに回転できる構成である。

【0109】

更に、Ｘ軸移動ステージ５４Ｘ上にはリニアガイドが配置されており、ベース部５４上のリニアレールに支持されている。ベース部５４は執刀医の邪魔にならない様に、作業領域と立体顕微鏡４７の支持部を分離する為の延長棒５５に支持されており、延長棒５５にはＺ方向移動軸５６が固定されており、支持軸５７に対してリニアガイドによりＺ軸方向に移動が可能となっている。

【0110】

それぞれのガイド部には駆動装置及びエンコーダが取り付けられており、ターゲットＴを回転中心とした任意のＸ軸周り及びＺ軸周りでの回転と、Ｘ軸方向及びＺ軸方向に立体顕微鏡４７を移動できる構成である。尚、支持軸５７は作業領域外に設置された、移動型立体顕微鏡支持部（図示せず）により支持されているが、術台上に立体顕微鏡を設置する為の、各方向に駆動可能なＺ方向駆動部、Ｙ軸周り回転駆動部、車輪等が搭載されている。

【0111】

画像表示装置４０はヘッドマウントディスプレイ型なので、任意の位置で画像を見る事が可能である。但し、執刀医が手術を行う時はターゲットＴの位置に患者１００の患部があるので、指先はその位置で作業を行う必要がある。よって、立体顕微鏡４７と画像表示装置４０の位置関係は図２８（ａ）〜（ｂ）の様になる。（ａ）が正面からの様子で、（ｂ）が側面からの様子を示している。ここで偏向レンズ４８とターゲットＴの間隔をＬとすると、執刀医は最も楽な視線状態（通常は２０〜３０度下を向いた状態）で仮想ターゲットがその視線でＬ離れたＴＴという事になる。この眼とＴＴの方向が画像表示装置４０の中でのＺ軸方向となり、それに応じてＸ軸及びＹ軸の角度も決定され、これがバーチャル空間での座標軸Ｂとなる。

【0112】

執刀医はその座標軸上でＴＴの位置に患者１００の患部を見ている事になるので、術中も顔を向けた方向と同様の方向に立体顕微鏡４７を制御する事で、執刀医は現実の視線に応じて患部を見る事ができるので、作業の効率及び安全性を高めるだけでなく、バーチャル酔いを防止するという効果もある。図２９（ａ）〜（ｂ）は通常の執刀医の顔の動かし方を示している。仮想ターゲットＴＴに対し、座標軸Ｂ基準のＺ軸周りと横の移動は、立体顕微鏡４７の図２９（ａ）の紙面に沿った回転と紙面に沿った横シフトとなるので、Ｚ軸周り回転ステージ５３ｃのＺ軸周り回転駆動と、Ｘ軸移動ステージ５４ＸのＸ駆動のみで対応できる。

【0113】

また、仮想ターゲットＴＴに対し、座標軸Ｂ基準のＸ軸周りと縦の移動は、立体顕微鏡４７の図２９（ｂ）の紙面に沿った回転と紙面に沿った縦シフトとなるので、体顕微鏡４７のＸ軸周り回転駆動と、Ｚ方向移動軸５６のＺ駆動のみで対応できる。それぞれの駆動系は独立に制御できるので、顔の動きに応じてスムーズな立体顕微鏡４７の駆動制御が可能となる。顔を仮想ターゲットに近づけたり、遠ざける動作については、ズーム光学系を制御する事で、倍率自体を可変させる。

【0114】

顔の動きは画像表示装置４０に設置されたマーカー群３４の動きを複数のモーションキャプチャー用センサー部１を用いて計測し、座標軸Ｂ基準に対する変動位置と変動角度に応じて立体顕微鏡４７を駆動制御すれば良い。また、立体顕微鏡４７にマーカー群を設置し、それも複数のモーションキャプチャー用センサー部１を用いて計測する事で、立体顕微鏡４７が想定通りに駆動したかをフィードバック制御する事も可能である。尚、今回は画像表示装置４０を用いたが、無論、通常の手術用ヘッドマウントディスプレイ３９を用いても同様の事が可能となる。

【0115】

立体顕微鏡４７の画像を画像表示装置４０で見る場合の重畳表示についてであるが、立体顕微鏡４７にマーカー群を設置すれば、元々２次元ＣＣＤ５１が内蔵カメラの役割を果たすので、シフト及び回転に関するレジストレーションは第３〜第５の形態の発明を用いて計測可能である。但し、立体顕微鏡４７にはズーム光学系４９が搭載されており、画像の倍率をズーム光学系４９により変化させた場合は、マーカー群を用いた重畳表示制御ができない。この場合は、ターゲットＴ近傍に配置した第４の形態で用いたＡＲマーカーを２次元ＣＣＤ５１にて確認し、倍率や位置変化を補正する事で、安定した重畳表示が可能となる。

【0116】

それ以外にも立体顕微鏡４７の駆動部はそれぞれの方向に干渉せず独立に制御できる構成なので、予め、各エンコーダ値の変動に応じてどの程度重畳表示画像がどの程度ドリフトするかを自動計測し、変動誤差をマップとして記憶しておいても良い。メカ公差や立体顕微鏡４７の自重変形による誤差については、その状態での自動計測による変動誤差マップによる補正で、重畳表示画像のドリフトを最小限に抑える事が可能となる。

【0117】

次に、本発明による第１形態〜第７形態を実現する為の制御方法について図３０にて説明する。ＭＲＩ１１３で撮られた患者１００の画像データは、ＭＲＩ画像変換装置６４により３Ｄ表示が可能なポリゴンデータやマッチングを行う為の表面点群データに変換され、記憶されている。一方、手術用器具やキャリブレーション架台１９、画像出力装置４０等に取り付けられたマーカー群は、その形状をモーションキャプチャー用センサー部１がモーションキャプチャー制御装置１ＰＣからの指令により検出し、モーションキャプチャー制御装置１ＰＣの記憶装置に登録されている。

【0118】

画像表示装置４０は画像入出力制御装置４０ＰＣからの指令に応じて、内蔵カメラ４９で撮ったデータを画像入出力制御装置４０ＰＣに記録する機能と、データを画像入出力制御装置４０ＰＣに記録された画像データを、２次元画像表示用液晶部４３から表示する機能を持っている。手術用立体顕微鏡４７は立体顕微鏡制御装置４７ＰＣからの指令に応じて、２次元ＣＣＤ５１で撮ったデータを立体顕微鏡制御装置４７ＰＣに記録する機能と、手術用立体顕微鏡４７自体の姿勢を定められた位置に駆動する位置制御機能を持っている。

【0119】

モーションキャプチャー制御装置１ＰＣは、計測可能領域において、所定のワールド座標系を作り、その中にある各マーカー群のワールド座標位置をモーションキャプチャー用センサー部１により計測し、その結果をシステム制御装置ＭＰＣに常時出力している。システム制御装置ＭＰＣには、予め、どのマーカー群を使用するか、キャリブレーション架台１９のローカル座標がどの程度かを入力する入力装置を有している。使用するマーカー群がキャリブレーション架台１９に置かれると、自動でそのマーカー群のワールド座標を計測し始め、その値が安定した段階での、ワールド座標位置を記憶する。キャリブレーション架台１９のローカル座標を差し引く事で、各手術用器具の先端部（作用部）のワールド座標位置を検出できる機能を持つ。

【0120】

また、システム制御装置ＭＰＣは画像表示制御装置４０ＰＣ、立体顕微鏡制御装置４７ＰＣ、ＭＲＩ画像変換装置６４に記憶された画像情報を取り込み、マッチングを行う事で、異なる座標軸の変位量を計測するレジストレーション計測機能を有する。更にはその結果に応じて、ＭＲＩ画像変換装置６４に記憶されたポリゴンデータに対し、シフト、回転、倍率補正を行い、画像表示制御装置４０ＰＣ、立体顕微鏡制御装置４７ＰＣから得た画像情報に対し、透過処理を行う事で画像合成し、再び、画像表示制御装置４０ＰＣ、立体顕微鏡制御装置４７ＰＣにその合成データを出力する機能を有する。

【0121】

また、画像表示制御装置４０を用いた立体顕微鏡装置４７の位置制御については、画像出力装置４０に設置されたマーカー群の位置を検出し、その結果に応じて立体顕微鏡制御装置４７ＰＣにどの程度立体顕微鏡装置４７を動かすか決定する事ができる。その制御には、執刀医の足元に、位置制御のｏｎ／ｏｆｆを指示するペダルがあり、ｏｎの時は顔の動きに応じて駆動するが、ｏｆｆの時は顔の動きで制御されない様な条件を設ける事もできる。また、顔を傾けての作業が窮屈な場合、リセットボタンによりお互いの座標軸の設定を変える事もできる。

【符号の説明】

【0122】

１・・・モーションキャプチャー用センサー部、
１ＰＣ・・・モーションキャプチャー制御装置、
２・・・ポール、
３，１２ｅ，１３ｅ，１４ｅ，１７ｅ，１８ｅ，２３，３４，３７，１０５・・・マーカー群、
４・・・タブレット、
５・・・重畳表示画像、
６・・・ディプスカメラ、
８・・・対物レンズ付の２次元受光素子、
９・・・ポリゴンデータ、
１２・・・広角腹腔鏡、
１２ｐ・・・患部測定棒、
１３・・・腹腔鏡、
１４・・・鉗子、
１５・・・トロッカー、
１７・・・超音波凝固切開装置、
１８・・・電気メス、
１９・・・キャリブレーション架台、
２０・・・作用部設置点、
２２・・・Ｖ字状の切り込み、
２９・・・患部、
３０・・・マーカー、
３１・・・無菌カバー、
３２・・・透明シート、
３３，３５・・・コネクタ部、
３６・・・アーム部、
３８・・・手術用顕微鏡、
３９・・・手術用ヘッドマウントディスプレイ、
４０・・・画像出力装置、
４０ＰＣ・・・画像入出力制御装置、
４１・・・脱着部、
４２・・・ルーペ部、
４３・・・２次元画像表示用液晶部、
４４・・・対物レンズ部、
４５・・・画像合成部、
４６・・・遮蔽板、
４７・・・立体顕微鏡、
４７ＰＣ・・・立体顕微鏡制御部、
４８・・・偏向レンズ、
４９・・・ズーム光学系、
５０・・・対物／フォーカス調整レンズ、
５１・・・２次元ＣＣＤ、
５４・・・ベース部、
５４Ｘ・・・Ｘ軸移動ステージ、
５８・・・支持面、
５９・・・支点部、
６０・・・弾性棒、
６１・・・バランサー、
６２・・・ＬＥＤ照明、
６３・・・内蔵カメラ、
６４・・・ＭＲＩ画像変換装置、
１００・・・患者、
１０４・・・３点固定具、
１０６・・・キャリブレーター，
１０７・・・３次元計測装置、
１０９・・・術台、
１１０・・・手術記録用ビデオカメラ、
１１１・・・ＰＣモニター、
１１２・・・メガネ型固定部、
１１３・・・ＭＲＩ
ＭＰＣ・・・システム制御装置、

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】