特許 6290723 手術支援装置および手術支援システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6290723

(24)【登録日】2018年2月16日

(45)【発行日】2018年3月7日

(54)【発明の名称】手術支援装置および手術支援システム

(51)【国際特許分類】

   A61B 34/00 20160101AFI20180226BHJP

   A61B 90/20 20160101ALI20180226BHJP

【ＦＩ】

   A61B34/00

   A61B90/20

【請求項の数】5

【全頁数】19

(21)【出願番号】特願2014-128555(P2014-128555)

(22)【出願日】2014年6月23日

(65)【公開番号】特開2016-7277(P2016-7277A)

(43)【公開日】2016年1月18日

【審査請求日】2017年5月9日

(73)【特許権者】

【識別番号】508236240

【氏名又は名称】公立大学法人公立はこだて未来大学

(73)【特許権者】

【識別番号】591173198

【氏名又は名称】学校法人東京女子医科大学

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(72)【発明者】

【氏名】佐藤 生馬

(72)【発明者】

【氏名】藤野 雄一

(72)【発明者】

【氏名】鈴木 孝司

(72)【発明者】

【氏名】村垣 善浩

【審査官】 木村 立人

(56)【参考文献】

【文献】 特開平１０−１４３６５２（ＪＰ，Ａ）

【文献】 特開２００５−５８３７８（ＪＰ，Ａ）

【文献】 特表２００８−５３２６０２（ＪＰ，Ａ）

【文献】 岡正倫ほか５名，“耳鼻咽喉科日常診療における顕微鏡画像重畳ナビゲーションの臨床応用の試み”，日本コンピュータ外科学会誌，２０１０年，第１２巻，第３号，ｐ．２４０−２４１

【文献】 井上大輔ほか９名，“脳神経外科手術における顕微鏡重畳ナビゲーションの将来性とその課題〜商用システムの輪郭重畳表示と比較して〜”，日本コンピュータ外科学会誌，２０１１年，第１３巻，第３号，ｐ．２７８−２７９

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ３４／００ ― ３４／３７

Ａ６１Ｂ ９０／２０ ― ９０／２５

Ｇ０２Ｂ ２１／００ ― ２１／３６

ＣｉＮｉｉ

(57)【特許請求の範囲】

【請求項1】

被術者の術部を含む領域の再構成画像を取得する医用画像取得部と、
手術に用いられる術具の３次元的な位置座標を取得する３次元座標取得部と、
前記再構成画像に設定された画像座標系の座標を、前記３次元座標取得部が位置座標計測に用いる座標系の座標に変換する第１変換行列を取得する第１変換行列取得部と、
被術者の術野を撮影した２次元動画像を取得する動画取得部と、
前記動画取得部が取得した動画像に設定された２次元座標系における術具の２次元的な位置座標を取得する画像解析部と、
前記３次元座標取得部が取得した術具の３次元的な位置座標と、前記画像解析部が取得した術具の２次元的な位置座標とをもとに、前記３次元的な位置座標を前記２次元的な位置座標に変換する第２変換行列を推定する第２変換行列取得部と、
前記第１変換行列と前記第２変換行列とを用いて、前記再構成画像の少なくとも一部を前記２次元動画像上に２次元画像として重畳する画像重畳部とを備え、
前記画像解析部は、前記動画取得部が取得する動画像を解析して前記動画像の画角または視線方向の少なくとも一方が変更されたか否かを検出し、
前記第２変換行列取得部は、前記画像解析部が画角または視線方向の少なくとも一方の変更を検出することを契機として、前記第２変換行列を推定することを特徴とする手術支援装置。

【請求項2】

前記画像解析部は、
前記動画像のフレーム毎に背景領域を特定する背景領域特定部と、
前記背景領域特定部が特定した異なるフレーム間の背景画像の差分画像を取得する差分画像取得部と、
前記差分画像取得部が取得して差分画像を解析して、前記動画像の画角または視線方向の少なくとも一方が変更されたか否かを検出する差分画像解析部とを備えることを特徴とする請求項１に記載の手術支援装置。

【請求項3】

前記３次元座標取得部が取得する術具の位置座標は、当該術具に備えられた計測の基準となるマーカをもとに計測される位置座標であることを特徴とする請求項１または２に記載の手術支援装置。

【請求項4】

コンピュータに手術支援機能を実現させるプログラムであって、前記手術支援機能は、
被術者の術部を含む領域の再構成画像を取得する機能と、
手術に用いられる術具の３次元的な位置座標を取得する機能と、
被術者の術野を撮影した２次元動画像を取得する機能と、
前記再構成画像に設定された画像座標系の座標を、３次元的な位置座標の計測に用いる座標系の座標に変換する第１変換行列を取得する機能と、
前記動画像に設定された２次元座標系における術具の２次元的な位置座標を取得する機能と、
前記動画像を解析して取得した２次元動画像の画角または視線方向の少なくとも一方が変更されたか否かを検出する機能と、
前記画角または視線方向の少なくとも一方の変更を検出することを契機として、前記３次元的な位置座標と、前記２次元的な位置座標とをもとに、前記３次元的な位置座標を前記２次元的な位置座標に変換する第２変換行列を推定する機能と、
前記第１変換行列と前記第２変換行列とを用いて、前記再構成画像の少なくとも一部を２次元動画像上に２次元画像として重畳する機能とを含むことを特徴とするプログラム。

【請求項5】

手術に用いられる術具の３次元的な位置座標を計測する３次元計測装置と、
被術者の術野を撮影して２次元動画像を生成する顕微鏡と、
情報処理装置とを備え、
前記情報処理装置は、
前記被術者の術部を含む領域の再構成画像を取得する医用画像取得部と、
前記３次元計測装置が計測した３次元的な位置座標を取得する３次元計測部と、
前記顕微鏡が生成した動画像を取得する動画取得部と、
前記再構成画像に設定された画像座標系の座標を、前記３次元計測部が位置座標計測に用いる座標系の座標に変換する第１変換行列を取得する第１変換行列取得部と、
前記顕微鏡が生成する動画像に設定された２次元座標系における術具の２次元的な位置座標を取得する画像解析部と、
前記３次元計測部が取得した術具の３次元的な位置座標と、前記画像解析部が取得した術具の２次元的な位置座標とをもとに、前記３次元的な位置座標を前記２次元的な位置座標に変換する第２変換行列を推定する第２変換行列取得部と、
前記第１変換行列と前記第２変換行列とを用いて、前記再構成画像の少なくとも一部を２次元動画像上に２次元画像として重畳する画像重畳部とを備え、
前記画像解析部は、前記動画取得部が撮影する動画像を解析して前記動画取得部の画角または視線方向の少なくとも一方が変更されたか否かを検出し、
前記第２変換行列取得部は、前記画像解析部が画角または視線方向の少なくとも一方の変更を検出することを契機として、前記第２変換行列を推定する
ことを特徴とする手術支援システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、手術支援装置および手術支援システムに関する。

【背景技術】

【0002】

従来より、例えば脳神経外科手術において、術野を写す顕微鏡画像上に３次元のＭＲＩ（Magnetic Resonance Imaging；核磁気共鳴画像法）画像等の再構成画像の一部を投影し、重畳して提示する手術支援技術が提案されている。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】P. J. Edwards et al,. Design and Evaluation of a system for Microscope-Assisted Guided Interventions(MAGI), MICCAI'99, LNCS 1679, pp. 842--852, 1999.

【発明の概要】

【発明が解決しようとする課題】

【0004】

一般に、顕微鏡画像にＭＲＩ画像を重畳するためには、顕微鏡画像とＭＲＩ画像とに共通する被写体を用いてレジストレーション（Registration；位置合わせ）が必要となる。従来の手術支援技術においては、例えば顕微鏡の倍率情報をレジストレーションに利用しているため、そのような情報を出力可能な専用の装置を用いてレジストレーションが実現される。このような専用の装置は一般に高価であるため、既存の顕微鏡装置を用いて重畳表示を実現することができれば、より多くの医療現場に手術支援技術を導入することができる。

【0005】

本発明は、このような課題に鑑みてなされたものであり、その目的は、２次元顕微鏡画像上に３次元の再構成画像を簡便に投影して重畳表示する技術を提供することにある。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本発明のある態様の手術支援装置は、被術者の術部を含む領域の再構成画像を取得する医用画像取得部と、手術に用いられる術具の３次元的な位置座標を取得する３次元座標取得部と、再構成画像に設定された画像座標系の座標を、３次元座標取得部が位置座標計測に用いる座標系の座標に変換する第１変換行列を取得する第１変換行列取得部と、被術者の術野を撮影した２次元動画像を取得する動画取得部と、動画取得部が取得した動画像に設定された２次元座標系における術具の２次元的な位置座標を取得する画像解析部と、３次元座標取得部が取得した術具の３次元的な位置座標と、画像解析部が取得した術具の２次元的な位置座標とをもとに、３次元的な位置座標を２次元的な位置座標に変換する第２変換行列を推定する第２変換行列取得部と、第１変換行列と第２変換行列とを用いて、再構成画像の少なくとも一部を２次元動画像上に２次元画像として重畳する画像重畳部とを備える。画像解析部は、動画取得部が取得する動画像を解析して動画像の画角または視線方向の少なくとも一方が変更されたか否かを検出し、第２変換行列取得部は、画像解析部が画角または視線方向の少なくとも一方の変更を検出することを契機として、第２変換行列を推定する。

【0007】

本発明の別の態様は、手術支援システムである。この手術支援システムは、手術に用いられる術具の３次元的な位置座標を計測する３次元計測装置と、被術者の術野を撮影して２次元動画像を生成する顕微鏡と、情報処理装置とを備える。情報処理装置は、被術者の術部を含む領域の再構成画像を取得する医用画像取得部と、３次元計測装置が計測した３次元的な位置座標を取得する３次元計測部と、顕微鏡が生成した動画像を取得する動画取得部と、再構成画像に設定された画像座標系の座標を、３次元計測部が位置座標計測に用いる座標系の座標に変換する第１変換行列を取得する第１変換行列取得部と、顕微鏡が生成する動画像に設定された２次元座標系における術具の２次元的な位置座標を取得する画像解析部と、３次元計測部が取得した術具の３次元的な位置座標と、画像解析部が取得した術具の２次元的な位置座標とをもとに、３次元的な位置座標を２次元的な位置座標に変換する第２変換行列を推定する第２変換行列取得部と、第１変換行列と第２変換行列とを用いて、再構成画像の少なくとも一部を２次元動画像上に２次元画像として重畳する画像重畳部とを備える。画像解析部は、動画取得部が撮影する動画像を解析して動画取得部の画角または視線方向の少なくとも一方が変更されたか否かを検出し、第２変換行列取得部は、画像解析部が画角または視線方向の少なくとも一方の変更を検出することを契機として、第２変換行列を推定する。

【発明の効果】

【0008】

本発明によれば、２次元顕微鏡画像上に３次元医用画像を簡便に投影して重畳表示することができる。

【図面の簡単な説明】

【0009】

【図1】実施の形態に係る手術支援システムの全体構成を模式的に示す図である。

【図2】実施の形態に係る手術支援システムで用いる複数の座標系と、座標系間の変換行列とを模式的に示す図である。

【図3】ピンホールカメラモデルに基づく透視投影を模式的に示す図である。

【図4】ワールド座標系とカメラ座標系との関係を模式的に示す図である。

【図5】実施の形態に係る手術支援装置の機能構成を模式的に示す図である。

【図6】実施の形態に係る画像解析部の機能構成を模式的に示す図である。

【図7】実施の形態に係る手術支援方法の流れを説明するフローチャートである。

【図8】実施の形態に係る動画像解析処理の流れを説明するフローチャートである。

【発明を実施するための形態】

【0010】

インテリジェント手術室での手術ナビゲーションシステムにより、高精度な手術が可能となり脳腫瘍摘出率向上および五年後生存率が向上した。しかし、脳の悪性腫瘍に対しては完全な腫瘍摘出は難しく、五年後生存率は未だ低い。これは、悪性腫瘍は脳の正常な部位との境界が肉眼ではわかりにくく、そして、傷つけてはならない神経・血管などが複雑に絡み合っているためである。このため、さらなる工学的支援が必要とされている。

【0011】

直感的な位置情報を提示可能な顕微鏡重畳表示ナビゲーションシステムが報告されている^{［１］［２］}。これは、顕微鏡内のカメラに患者のＭＲＩ画像を重畳表示することで術者に腫瘍・神経・血管などの位置情報を直感的に提示可能としたシステムである。しかしながら、重畳表示するために事前に顕微鏡カメラに対し、カメラ較正器を用いてカメラキャリブレーションを行う必要あり、全ての倍率に対応していないため全倍率で高精度に重畳表示ができない。また、顕微鏡は倍率を逐一出力することが可能であること、そして、顕微鏡の位置・姿勢を知るためにマーカ付きの専用の顕微鏡である必要があることが問題となる。

【0012】

本発明実施の形態に係る手術支援システムは、手術中にナビゲーションシステムから得られる術具位置情報を用いてカメラキャリブレーションをリアルタイムで実現する。これのため、本発明に係る手術支援システムは、事前にカメラ較正器具によるカメラキャリブレーションの必要がなく、リアルタイムに倍率、位置・姿勢情報が得られるため、専用の顕微鏡ではなくとも使用可能となる。

【0013】

以下、本発明の実施の形態に係る手術支援システムについて、添付図面を参照しながらより詳細に説明する。

【0014】

図１は、本発明の実施の形態に係る手術支援システム１００の全体構成を模式的に示す図である。実施の形態に係る手術支援システム１００は、手術用顕微鏡２００、３次元計測装置３００、および手術支援装置４００を含む。

【0015】

手術用顕微鏡２００は、被術者１の術部を含む領域の動画像を拡大して表示する。以下本明細書において、「被術者の術部を含む領域の映像」を単に「術野」と記載する。すなわち、手術用顕微鏡２００による顕微鏡映像は、術野を拡大して表示した動画像である。執刀医２は、手術用顕微鏡２００が提示する拡大された術野を参照しながら執刀する。このため、手術用顕微鏡２００からみた術野には、執刀医２が所持する術具３または少なくともその一部も含まれる。

【0016】

手術用顕微鏡２００は顕微鏡アーム４を備えている。このため、執刀医２は被術者１の術部に対する手術用顕微鏡２００の相対的な位置を変更することができる。また手術用顕微鏡２００は、術野の拡大率を変更して提示することもできる。

【0017】

手術用顕微鏡２００は、術野を液晶等の表示デバイスに表示して執刀医２に提示する。手術用顕微鏡２００は動画像の入出力端子（不図示）を備えており、術野の動画像を外部の装置に出力したり、外部から入力された動画像を表示デバイスに表示したりすることができる。手術用顕微鏡２００は、このような表示デバイスおよび入出力端子を備えているのであれば、一般的な手術用顕微鏡であってもよい。

【0018】

３次元計測装置３００は、被写体の３次元的な位置座標を特定する。より具体的には、３次元計測装置３００は、自身を基準に定められた３次元座標系における観察対象の位置座標を決定する。

【0019】

実施の形態に係る手術支援システム１００において、３次元計測装置３００は被術者１の術部の位置座標と、執刀医２が所持する術具３の位置座標とを計測する。３次元計測装置３００は、例えば両眼カメラを用いたステレオ方式による３次元計測等、既知の計測技術を用いて実現できる。

【0020】

限定はしないが、３次元計測装置３００が撮像する術具３は、術具３の位置の計測の基準となるマーカを備えていてもよい。このマーカは、３次元計測装置３００が術具３の位置を計測するために用いられるマーカである。この場合、３次元計測装置３００は術具３に備えられた計測用のマーカを基準として、術具３の位置を検出する。なお、３次元計測装置３００は、術具３の先端の位置座標も取得する。

【0021】

手術支援装置４００は、執刀前にあらかじめ作成された、被術者１の術部を含む３次元領域の再構成画像とアクセスすることができる。限定はしないが、再構成画像とは、例えば術部のＭＲＩ画像や、ＣＴ（Computed Tomography）画像である。これらの再構成画像は３次元画像データであり、いわゆるボクセル（Voxel）で構成されている。

【0022】

詳細は後述するが、手術支援装置４００は、手術用顕微鏡２００の術野に、再構成画像の少なくとも一部を重畳させるために、手術用顕微鏡２００の顕微鏡映像と、３次元再構成画像とのレジストレーションを実行する。これにより、手術支援装置４００は、再構成画像から抽出された病変部や被術者１の血管等が術野に重畳して表示されるようにして映像を生成し、執刀医２に提示する。このように、手術支援装置４００は、いわゆる「手術用のナビゲーションシステム」を実現する。なお、手術用のナビゲーションシステムは、執刀医２に対して術部、術具３、病変部や血管等の位置関係を参考情報として提示することを目的としており、実際の執刀は執刀医２の判断の下で行われる。

【0023】

以下、実施の形態に係る手術支援装置４００が実行するレジストレーション処理の原理を説明する。

【0024】

図２は、実施の形態に係る手術支援システム１００で用いる複数の座標系と、座標系間の変換行列とを模式的に示す図である。手術支援システム１００が扱う座標系は、ワールド座標系Ｃ_Ｗ、動画座標系Ｃ_Ｍ、カメラ座標系Ｃ_Ｃ、および画像座標系Ｃ_Ｉを含む。

【0025】

ワールド座標系Ｃ_Ｗは、３次元計測装置３００を基準にして定められた座標系であり、物体の実空間における位置座標を規定する座標系である。ワールド座標系Ｃ_Ｗはどのように設定してもよいが、例えば３次元計測装置３００が両眼カメラである場合には、２つのカメラの中点を原点とする３次元直交座標系を設定する。より具体的には、カメラの視線方向をＺ軸、２つのカメラを結ぶ方向をＸ軸、Ｚ軸とＸ軸とに垂直な方向をＹ軸とする右手座標系を設定する。

【0026】

画像座標系Ｃ_Ｉは、再構成画像に設定された座標系である。上述したように、再構成画像はボクセルで表される３次元データであり、再構成画像に固有の画像座標系Ｃ_Ｉを持つ。実施の形態に係る手術支援装置４００で用いる再構成画像には、あらかじめ複数の特徴点が設定されている。限定はしない例として、術部が被術者１の頭部であり再構成画像が被術者１の頭部全体を含む場合には、頭頂部や顎の先端、鼻や口の位置等が特徴点として設定されている。また、設定された各特徴点の画像座標系における位置座標も、再構成画像と紐付けて格納されている。これらの特徴点は、人の手によって設定してもよいし、既知の画像認識技術を用いて自動で設定してもよい。

【0027】

カメラ座標系Ｃ_Ｃは、手術用顕微鏡２００を基準にして定められた座標系である。カメラ座標系Ｃ_Ｃは、ワールド座標系Ｃ_Ｗと同様に、物体の実空間における位置座標を規定する右手座標系である。また動画座標系Ｃ_Ｍは、手術用顕微鏡２００が生成する術野の動画像に設定された２次元座標系である。

【0028】

行列Ｑは、画像座標系Ｃ_Ｉにおける座標を、ワールド座標系Ｃ_Ｗにおける座標に変換する行列である。以下、行列Ｑについてより詳細に説明する。

【0029】

再構成画像上に設定されたある特徴点Ｆの画像座標系Ｃ_Ｉにおける位置座標を（ｘ，ｙ，ｚ）^Ｔとする。ここで記号「Ｔ」は、ベクトルまたは行列の転置を表す。また、特徴点Ｆに対応する実空間上の点の、ワールド座標系Ｃ_Ｗにおける位置座標を（Ｘ，Ｙ，Ｚ）^Ｔとする。例えば、特徴点Ｆが被術者１の頭頂部を示す場合、（ｘ，ｙ，ｚ）^Ｔは再構成画像における頭頂部の位置座標であり、（Ｘ，Ｙ，Ｚ）^Ｔは被術者１の頭頂部の実空間における位置座標である。

【0030】

以下本明細書において、位置座標を既知の斉次座標を用いて表す。すなわち、画像座標系Ｃ_Ｉにおける特徴点Ｆの位置座標（ｘ，ｙ，ｚ）^Ｔを、４つの実数の組（ｘ_１，ｘ_２，ｘ_３，ｘ_４）^Ｔで表す。ここで、
ｘ＝ｘ_１／ｘ_４， ｙ＝ｘ_２／ｘ_４， ｚ＝ｘ_３／ｘ_４ （１）
である。同様に、ワールド座標系Ｃ_Ｗにおける特徴点Ｆの位置座標を、４つの実数の組（Ｘ_１，Ｘ_２，Ｘ_３，Ｘ_４）^Ｔで表す。ここで、
Ｘ＝Ｘ_１／Ｘ_４， Ｙ＝Ｘ_２／Ｘ_４， Ｚ＝Ｘ_３／Ｘ_４ （２）
である。

【0031】

再構成画像は、被術者１の術部の３次元データであるから、特徴点Ｆの画像座標系Ｃ_Ｉにおける位置座標は、回転、並進、および拡大／縮小を適宜施すことにより、ワールド座標系Ｃ_Ｗにおける位置座標に変換できる。ワールド座標系Ｃ_Ｗにおける特徴点Ｆの斉次座標は、画像座標系Ｃ_Ｉにおける特徴点Ｆの斉次座標と４×４の行列Ｑを用いて、

【数1】

と表すことができる。

【0032】

ここで行列Ｑは、

【数2】

で表される。Ｒは３×３の行列であり、３次元の回転行列である。Ｔは１×３のベクトルであり、並進を規定する。ｓはスケーリングパラメータであり、拡大／縮小を示すパラメータである。

【0033】

式（４）より、行列Ｑは１２個の未知数を持つ。したがって、少なくとも４つの特徴点について画像座標系Ｃ_Ｉの位置座標とワールド座標系Ｃ_Ｗの位置座標との組み合わせが既知であれば、行列Ｑを推定することができる。以下本明細書において、行列Ｑを「第１変換行列」と記載する。

【0034】

手術用顕微鏡２００は、実空間に存在する術部の映像を動画像２０２上に投影する。以下、図３を参照して、カメラ座標系Ｃ_ｃの座標を動画座標系Ｃ_Ｍの座標に変換する行列ＡＰについて説明する。

【0035】

図３は、ピンホールカメラモデルに基づく透視投影を模式的に示す図である。図３において、カメラ座標系Ｃ_Ｃの原点は、仮想的なピンホールカメラの光学中心Ｃに設定されている。カメラ座標系Ｃ_ＣのＺ軸は仮想的なピンホールカメラの光軸と一致しており、動画像２０２の画像面は、光学中心Ｃからｆ離れた位置においてＺ軸と垂直に交わっている。

【0036】

図３に示すように、カメラ座標系Ｃ_Ｃの位置座標（Ｘ，Ｙ，Ｚ）^Ｔに位置する点Ｑは、動画像２０２の画像面における点ｑに投影される。点ｑは、点Ｑと光学中心Ｃとを結ぶ線分ＱＣと、動画像２０２の画像面との交点である。点ｑの動画座標系Ｃ_Ｍにおける位置座標を（ｘ，ｙ）^Ｔとすると、以下の式（５）が成立する。

【0037】

【数3】

式（５）はいわゆる透視投影を表す式である。

【0038】

点Ｑの斉次座標を（Ｙ_１，Ｙ_２，Ｙ_３，Ｙ_４）^Ｔ、点ｑの斉次座標を（ｘ_１，ｘ_２，ｘ_３）^Ｔとすると、ωを任意の実数として、式（５）は以下の式（６）で表せる。

【数4】

例えば、式（６）よりωｘ_１＝Ｙ_１、ωｘ_３＝Ｙ_３が得られる。これより、ｘ_１／ｘ_３＝Ｙ_１／Ｙ_３が得られる。斉次座標の定義より、左辺ｘ_１／ｘ_３＝ｘである。また、右辺はＸ／Ｚとなる。故にｘ＝Ｘ／Ｚが得られ、式（５）と一致する。同様に、式（６）よりｙ＝Ｙ／Ｚも得られる。

【0039】

ところで、ベクトル（ｘ，ｙ）^Ｔは動画像２０２の画像面における点ｑの位置座標を表すが、手術用顕微鏡２００は、実際には、点ｑにおける映像を離散的な画素（pixel）として記録する。いま、点ｑに対応する画素の座標を（ｕ，ｖ）^Ｔとする。このとき、ベクトル（ｘ，ｙ）^Ｔからベクトル（ｕ，ｖ）^Ｔへの変換は、原点位置合わせのための並進、縦横のスケール変換、および手術用顕微鏡２００のレンズの焦点距離に応じたスケール変換を組み合わせたものとなる。

【0040】

ベクトル（ｕ，ｖ）^Ｔの斉次座標を（ｍ_１，ｍ_２，ｍ_３）^Ｔとする。すなわち、ｕ＝ｍ_１／ｍ_３、ｖ＝ｍ_２／ｍ_３である。また、動画像２０２の画像中心の座標を（ｕ_０，ｖ_０）、焦点距離をｆ、ｕおよびｖ方向のスケールファクタをそれぞれｋ_ｕ、ｋ_ｖとすると、（ｍ_１，ｍ_２，ｍ_３）^Ｔと（ｘ_１，ｘ_２，ｘ_３）^Ｔとの関係は以下の式（７）で表せる。

【数5】

【0041】

式（６）と式（７）より、以下の式（８）を得る。

【数6】

ここで、

【数7】

は、内部パラメータ行列と呼ばれる。また、

【数8】

は、透視投影を表す行列である。以上より、行列ＡＰは、カメラ座標系Ｃ_Ｃの斉次座標を、動画像２０２の画像面を構成する画素座標に変換する行列である。

【0042】

続いて、図４を参照して行列Ｍについて説明する。

【0043】

図４は、ワールド座標系Ｃ_Ｗとカメラ座標系Ｃ_Ｃとの関係を模式的に示す図である。上述したように、手術用顕微鏡２００は顕微鏡アーム４を備えている。このため、手術用顕微鏡２００は３次元計測装置３００に対して相対的な位置関係が変化しうる。

【0044】

図４において、ワールド座標系Ｃ_Ｗから第１カメラ座標系Ｃ_Ｃへの座標変換は、３次元の回転Ｒおよび３次元の並進Ｔによって変換される。同様に、ワールド座標系Ｃ_Ｗから第２カメラ座標系Ｃ_Ｃ’への座標変換は、３次元の回転Ｒ’および３次元の並進Ｔ’によって変換される。

【0045】

いま、カメラ座標系Ｃ_Ｃにおける点Ｑの斉次座標を（Ｙ_１，Ｙ_２，Ｙ_３，Ｙ_４）^Ｔ、ワールド座標系Ｃ_Ｗにおける点Ｑの斉次座標を（Ｘ_１，Ｘ_２，Ｘ_３，Ｘ_４）^Ｔとする。このとき、ワールド座標系Ｃ_Ｗからカメラ座標系Ｃ_Ｃへの座標変換は、４×４の行列Ｍを用いて、以下の式（９）で表すことができる。

【数9】

ここでＭは３次元の回転行列Ｒと、並進を規定するベクトルＴを用いて、以下の式（１０）で表される。

【数10】

【0046】

式（８）、式（９）、および式（１０）から、ワールド座標系Ｃ_Ｗにおける斉次座標（Ｘ_１，Ｘ_２，Ｘ_３，Ｘ_４）^Ｔを、動画像２０２の画像面を構成する画素の斉次座標（ｍ_１，ｍ_２，ｍ_３）^Ｔに変換する式は、以下の式（１１）となる。

【数11】

【0047】

式（１１）において、行列Ｐ_Ｐ＝ＡＰＭは３×４の行列である。そこで、行列Ｐ_Ｐの要素は以下の式（１２）であるとする。

【数12】

【0048】

式（１１）に式（１２）を代入すると、以下の式（１３）、式（１４）、および式（１５）を得る。
ωｍ_１＝ｐ_１１Ｘ_１＋ｐ_１２Ｘ_２＋Ｐ_１３Ｘ_３＋Ｐ_１４Ｘ_４ （１３）
ωｍ_２＝ｐ_２１Ｘ_１＋ｐ_２２Ｘ_２＋Ｐ_２３Ｘ_３＋Ｐ_２４Ｘ_４ （１４）
ωｍ_３＝ｐ_３１Ｘ_１＋ｐ_３２Ｘ_２＋Ｐ_３３Ｘ_３＋Ｐ_３４Ｘ_４ （１５）

【0049】

式（１３）、式（１５）、および斉次座標の定義より、以下の式（１６）を得る。

【数13】

同様に、式（１４）、式（１５）、および斉次座標の定義より、以下の式（１７）を得る。

【数14】

【0050】

式（１６）および式（１７）から、以下の式（１８）を得る。

【数15】

ここで、ベクトルｐは行列Ｐ_Ｐの要素から構成されるベクトルであり、以下の式（１９）で表される１２×１のベクトルである。

【数16】

【0051】

式（１８）において、行列Ｄの成分はワールド座標系Ｃ_Ｗにおける斉次座標と、それに対応する画素の座標であるため、観測可能である。いま、ある１２×１のベクトルｐを考えたとき、
Ｄｐ＝ｅ （２０）
であるとする。ここでｅは、（ｅ_１，ｅ_２）^Ｔとなる２×１のベクトルである。式（２０）において、ｅの２ノルムが最小となるベクトルｐが求まれば、誤差の２ノルムを最小化するという観点における行列Ｐ_Ｐの最適解である最小二乗誤差解が得られる。この最小二乗誤差解をＰ_ｏｐｔとすると、Ｐ_ｏｐｔは以下の式（２１）で表される。

【数17】

【0052】

式（２１）は、ｐ＝０という自明解を持つから、ｐの２ノルムが正の値を持つという拘束条件を加えて、ラグランジュの未定乗数法を用いると以下の式（２２）を得る。

【数18】

ここで、λはラグランジュの未定乗数である。

【0053】

式（２１）中のｐ^ＴＤ^ＴＤｐ＋λ（１−ｐ^Ｔｐ）をＣとおいたとき、Ｃが極値となるｐが、求める解である。Ｃをｐについて微分すると、以下の式（２３）を得る。

【数19】

【0054】

式（２３）は、ベクトルｐが行列Ｄ^ＴＤの固有ベクトルのとき成立する。故に、行列Ｄ^ＴＤの固有ベクトルを求めることで、ワールド座標系Ｃ_Ｗにおける斉次座標を動画像２０２の画像面を構成する画素の斉次座標に変換する行列Ｐ_Ｐの推定値を得ることができる。以下本明細書において、行列Ｐ_Ｐを「第２変換行列」と記載する。なお、行列の固有ベクトルを求めるための種々のソルバが存在し利用可能である。これらのソルバを利用することにより、行列Ｄ^ＴＤの固有ベクトルは、手術に要する時間と比較して十分に短い時間内で計算することができる。ゆえに、手術用顕微鏡２００の画角または視線方向（撮影方向）の少なくとも一方が変更されたとしても、手術中にリアルタイムで行列Ｐ_Ｐの推定値を計算し直すことができる。

【0055】

なお、式（２０）は、ワールド座標系Ｃ_Ｗにおける１点の斉次座標とその点に対応する動画上の画素の座標との関係を示しているため、行列Ｄのサイズは２×１２となっている。複数の点についてワールド座標系Ｃ_Ｗにおける斉次座標とそれに対応する動画上の画素の座標が既知の場合には、それらの座標を用いて行列Ｄを構成することができる。例えば、Ｎ点（Ｎは自然数）についてワールド座標系Ｃ_Ｗにおける斉次座標とそれに対応する動画上の画素の座標が既知の場合には、行列Ｄのサイズは２Ｎ×１２となる。対応する点の数が多いほど、精度の高い行列Ｐ_Ｐの推定値を得られる可能性が高まる。

【0056】

上述したように、行列Ｄの成分はワールド座標系Ｃ_Ｗにおける斉次座標と、それに対応する画素の座標である。例えば執刀医２が手術用顕微鏡２００を動かしたり、レンズの倍率を変更したりした場合、内部パラメータ行列Ａが変更される。結果として、第２変換行列Ｐ_Ｐも変更される。このような場合、例えばワールド座標系Ｃ_Ｗにおける術具３の位置座標と、それに対応する画座標系Ｃ_Ｍにおける位置座標とが取得して式（２３）における行列Ｄをまず構成する。続いて、行列Ｄ^ＴＤの固有ベクトルを求めることで、手術中であってもリアルタイムに第２変換行列Ｐ_Ｐを推定し直すことができる。

【0057】

式（３）と式（１１）より、再構成画像に設定された画像座標系Ｃ_Ｉにおける斉次座標ｘ_１，ｘ_２，ｘ_３，ｘ_４）^Ｔを、動画像２０２の画像面を構成する画素の斉次座標（ｍ_１，ｍ_２，ｍ_３）^Ｔに変換する式は、以下の式（２４）で表される。

【数20】

【0058】

式（２４）は、第１変換行列Ｑと、第２変換行列Ｐ_Ｐとを用いることで、再構成画像を手術用顕微鏡２００が生成する動画像に対応づけること、すなわち再構成画像を動画像にレジストレーションすることができることを示している。したがって、式（２４）を用いることにより、手術用顕微鏡２００が示す術野に対して、再構成画像の一部（例えば、病変部や、血管、神経等）を重畳することが可能となる。なお、手術用顕微鏡２００が示す術野に重畳する再構成画像の一部は、あらかじめ手動または画像認識技術を用いて特定しておけばよい。

【0059】

以上、実施の形態に係る手術支援装置４００が実行するレジストレーション処理の原理について説明した。続いて、実施の形態に係る手術支援装置４００の機能構成および動作について説明する。

【0060】

図５は、実施の形態に係る手術支援装置４００の機能構成を模式的に示す図である。手術支援装置４００は、医用画像取得部４０２、第１変換行列取得部４０４、３次元座標取得部４０６、画像重畳部４０８、動画取得部４１０、画像解析部４１２、および第２変換行列取得部４１４を備える。限定はしない例として、手術支援装置４００は、ＰＣ（Personal Computer）、ＰＡＣＳ（Picture Archiving and Communication System）を構成する計算機、ワークステーションの他、タブレットやスマートフォン等を用いて実現できる。

【0061】

図５は、実施の形態に係る手術支援装置４００を実現するための機能構成を示しており、その他の構成は省略している。図５において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、手術支援装置４００のＣＰＵ（Central Processing Unit）、メインメモリ、その他のＬＳＩ（Large Scale Integration）で構成することができる。またソフトウェア的には、メインメモリにロードされたプログラム等によって実現される。したがってこれらの機能ブロックが、いろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

【0062】

医用画像取得部４０２は、被術者の手術部を含む領域の３次元の再構成画像を取得する。図示はしないが、医用画像取得部４０２は、手術支援装置４００が設置された施設内等のネットワークと接続しており、当該ネットワークを介して再構成画像を取得する。

【0063】

３次元座標取得部４０６は、手術に用いられる術具３の３次元的な位置座標を、３次元計測装置３００から取得する。より具体的には、３次元座標取得部４０６は３次元計測装置３００と有線接続されており、術具３の位置座標を有線で取得する。３次元座標取得部４０６が取得する座標は、ワールド座標系Ｃ_Ｗにおける術具３の位置座標である。なお、３次元座標取得部４０６と３次元計測装置３００とが有線または無線ネットワークを介して接続されている場合には、ネットワークを介して術具３の位置座標を取得してもよい。

【0064】

第１変換行列取得部４０４は、再構成画像に設定された画像座標系Ｃ_Ｍの座標を３次元座標取得部４０６が位置座標計測に用いるワールド座標系Ｃ_Ｗの座標に変換するための第１変換行列Ｑを取得する。第１変換行列Ｑは、上記式（３）および式（４）を用いてあらかじめ推定されて手術支援装置４００内の図示しない記憶部に格納されている。第１変換行列取得部４０４は、手術支援装置４００内の記憶部を参照して、第１変換行列Ｑを取得する。あるいは、第１変換行列取得部４０４は、あらかじめ再構成画像に設定されている特徴点の位置座標を用いて、第１変換行列Ｑを推定して取得してもよい。

【0065】

動画取得部４１０は、被術者１の術野を撮影した２次元の動画像２０２を取得する。ここで動画取得部４１０が取得する動画像は、手術用顕微鏡２００が生成して出力した動画像である。画像解析部４１２は、動画取得部４１０が取得した動画像２０２に設定された２次元座標系である動画座標系Ｃ_Ｍにおける、術具３の２次元的な位置座標を取得する。なお、画像解析部４１２の詳細は後述する。

【0066】

第２変換行列取得部４１４は、２変換行列Ｐ_Ｐを推定して取得する。より具体的には、第２変換行列取得部４１４は、３次元座標取得部４０６が取得した術具３の３次元的な位置座標と、画像解析部４１２が取得した術具３の２次元的な位置座標とをもとに、式（１８）における行列Ｄを構成し、式（２３）を満たすベクトルｐを求めることで、第２変換行列Ｐ_Ｐを推定する。

【0067】

画像重畳部４０８は、第１変換行列Ｑと第２変換行列Ｐ_Ｐとを用いて、式（２４）にしたがって、再構成画像の少なくとも一部を術野の動画像２０２上に２次元画像として重畳する。画像重畳部４０８は、再構成画像の一部を重畳した動画像２０２を、手術用顕微鏡２００に出力する。これにより、手術用顕微鏡２００を用いて被術者１の術部を観察する執刀医２は、術野に再構成画像の一部が重畳された映像を観察することができる。

【0068】

ここで、執刀医２が例えば被術者１の術部に対する手術用顕微鏡２００の相対的な位置を変更したり、手術用顕微鏡２００のレンズの倍率を変更（すなわち、焦点距離を変更）したりしたとする。この変更に伴って第２変換行列Ｐ_Ｐも変更されるため、第２変換行列取得部４１４は、第２変換行列Ｐ_Ｐを推定し直すことが好ましい。

【0069】

そこで画像解析部４１２は、動画取得部４１０が手術用顕微鏡２００から取得する動画像２０２を解析して、動画像２０２の画角または視線方向の少なくとも一方が変更されたか否かを検出する。第２変換行列取得部４１４は、画像解析部４１２が画角または視線方向の少なくとも一方の変更を検出することを契機として、第２変換行列Ｐ_Ｐを推定する。手術用顕微鏡２００の相対的な位置が変更されたり、手術用顕微鏡２００のレンズの倍率が変更されたりすると、動画像２０２の画角または視線方向も変わる。したがって、画像解析部４１２が動画像２０２の画角または視線方向の少なくとも一方の変更を検出することを契機として第２変換行列取得部４１４が第２変換行列Ｐ_Ｐを推定することにより、再構成画像と動画像２０２との適切なレジストレーションを維持することができる。

【0070】

図６は、実施の形態に係る画像解析部４１２の機能構成を模式的に示す図である。画像解析部４１２は、術具特定部４２０、背景領域特定部４２２、差分画像取得部４２４、および差分画像解析部４２６を備える。

【0071】

術具特定部４２０は、手術用顕微鏡２００から取得した動画像２０２に写っている術具３を検出する。より具体的に、術具特定部４２０は、手術用顕微鏡２００から取得した動画像２０２を解析することで、術具３の先端の位置座標を、動画像２０２を構成する画素の座標として取得する。これは例えば既知のＨｏｕｇｈ変換^［３］とＳＵＲＦ^［４］などの画像処理を用いて、以下の手順により実現できる。

【0072】

最初に、術具特定部４２０は、取得した動画像２０２に直線検出に用いられるＨｏｕｇｈ変換をかけることにより術具３を認識させ、Ｈｏｕｇｈ変換をもとにＲＯＩ（Region Of Interest）より、術具３付近の範囲指定を行う。続いて術具特定部４２０は、ＲＯＩの範囲にＳＵＲＦをかけ術具３の特徴点を抽出し、抽出した特徴点の水平方向の最小点を術具３の先端位置として検出する。術具特定部４２０は、取得した動画像２０２のフレーム毎、あるいは所定の間引きをしたフレーム毎に術具３の先端位置を検出し、検出結果を第２変換行列取得部４１４に出力する。

【0073】

背景領域特定部４２２は、動画像２０２のフレーム毎に背景領域を特定する。ここで「背景領域」とは、動画像２０２において術具３以外が写っている領域である。一般に、手術用顕微鏡２００の位置や倍率が固定されていても、手術中であれば術具３の位置は変化する。しかしながら、手術用顕微鏡２００の位置や倍率が固定されている場合には、背景領域は変化が少ないと考えられる。したがって、背景領域が変化するか否かは、手術用顕微鏡２００の位置や倍率が変更されたか否かの指標となり得る。

【0074】

そこで差分画像取得部４２４は、背景領域特定部４２２が特定した異なるフレーム間の背景画像の差分画像を取得する。差分画像解析部４２６は、差分画像取得部４２４が取得して差分画像を解析して、動画像２０２の画角または視線方向の少なくとも一方が変更されたか否かを検出する。具体例としては、差分画像解析部４２６は、各フレームのペア毎に差分画像の画素値の２乗または絶対値の総和を生成する。差分画像解析部４２６は生成した総和を監視し、総和が所定量変化した場合に、動画像の画角または視線方向の少なくとも一方が変更されたと推定する。

【0075】

ここで「所定量」とは、総和の計算方法、差分画像解析部４２６が動画像２０２の画角または視線方向の変更の推定に用いるための基準閾値である。所定量の具体的な値は、動画像２０２の画素数や術具３の形状および大きさ、想定される手術の種類等を考慮して、実験により定めればよい。

【0076】

図７は、実施の形態に係る手術支援方法の流れを説明するフローチャートである。本フローチャートにおける処理は、例えば手術支援装置４００が起動したときに開始する。

【0077】

医用画像取得部４０２は、被術者１の手術部を含む領域に係る３次元の再構成画像を取得する（Ｓ２）。第１変換行列取得部４０４は、画像座標系Ｃ_Ｍの座標をワールド座標系Ｃ_Ｗの座標に変換する第１変換行列Ｑを取得する（Ｓ４）。

【0078】

３次元座標取得部４０６は、手術に用いられる術具３の３次元的な位置座標を取得する（Ｓ６）。動画取得部４１０は、被術者１の術野を撮影した２次元の動画像２０２を取得する（Ｓ８）。

【0079】

画像解析部４１２中の術具特定部４２０は、手術用顕微鏡２００から取得した動画像２０２を解析し、術具３の先端の位置座標を、２次元の位置座標として取得する（Ｓ１０）。第２変換行列取得部４１４は、術具３のワールド座標系Ｃ_Ｗにおける位置座標と、術具３の動画座標系Ｃ_Ｍの位置座標とをもとに、ワールド座標系Ｃ_Ｗにおける３次元的な位置座標を、動画座標系Ｃ_Ｍにおける位置座標に変換する第２変換行列Ｐ_Ｐを取得する（Ｓ１２）。

【0080】

画像重畳部４０８は、第１変換行列Ｑと第２変換行列Ｐ_Ｐとをもとに、再構成画像を動画像２０２に重畳し、手術用顕微鏡２００に表示させる（Ｓ１４）。画像解析部４１２は、手術用顕微鏡２００の画角または視線方向の少なくとも一方が変更されたか否かを検出するために、手術用顕微鏡２００から取得した動画像２０２を解析する（Ｓ１６）。

【0081】

動画像２０２の画角または視線方向の少なくとも一方が変更されたことを画像解析部４１２が検出すると（Ｓ１８のＹ）、ステップＳ１６の処理に戻ってステップ６からステップ１６に至るまでの処理が実行される。動画像２０２の画角と視線方向とが変更されない場合（Ｓ１８のＮ）、手術が終了しない間は（Ｓ２０のＮ）、ステップＳ１４からステップＳ１８までの処理が繰り返される。

【0082】

手術が終了すると（Ｓ２０のＹ）、本フローチャートにおける処理は終了する。

【0083】

図８は、実施の形態に係る動画像解析処理の流れを説明するフローチャートであり、図７におけるステップＳ１６の処理の流れをより詳細に説明する図である。

【0084】

背景領域特定部４２２は、取得した動画像２０２のフレーム毎に、背景領域を特定する（Ｓ２２）。差分画像取得部４２４は、異なる二つのフレームをペアとして、それらの背景領域の差分画像を取得する（Ｓ２４）。

【0085】

差分画像解析部４２６は、差分画像取得部４２４が取得した差分画像を解析して、手術用顕微鏡２００の画角または視線方向の少なくとも一方が変更されたか否かを検出する（Ｓ２８）。差分画像解析部４２６によって画角または視線方向の少なくとも一方が変更されたか否かが検出されると、本フローチャートにおける処理は終了する。

【0086】

以上説明したように、実施の形態に係る手術支援装置４００によれば、２次元顕微鏡画像上に３次元の再構成画像を簡便に投影して重畳表示する技術を提供することができる。

【0087】

特に、実施の形態に係る手術支援装置４００は、重畳表示のために特別に用意された顕微鏡を用いずに、再構成画像を顕微鏡画像上に重畳することができる。また、重畳表示に際し、例えば顕微鏡のズーム情報等の情報を用いずに、再構成画像と顕微鏡画像とのレジストレーションを実現することができる。このレジストレーションは短時間で終了するため、手術中に顕微鏡の画角または視線方向の少なくとも一方が変更されたとしても、精度の高いレジストレーションを維持することができる。

【0088】

以上、実施の形態に基づき本発明を説明したが、実施の形態は、本発明の原理、応用を示すにすぎない。また、実施の形態には、請求の範囲に規定された本発明の思想を逸脱しない範囲において、多くの変形例や配置の変更が可能である。

【0089】

上記では、ＭＲＩ画像やＣＴ画像など、３次元の再構成画像と顕微鏡画像とをレジストレーションし、再構成画像の少なくとも一部を顕微鏡画像に重畳する場合について説明した。しかしながら、上記で説明したレジストレーション処理の原理は、再構成画像を顕微鏡画像に重畳表示する場合以外にも適用可能である。例えば、医用の範囲でいうならば、手術用顕微鏡２００に代えて、例えば内視鏡の画像に再構成画像を重畳するようにしてもよい。

【0090】

医用の用途に限らず、上記で説明したレジストレーション処理の原理は、３次元のデータを２次元画像に重畳する場合に広く適用できる。例えば、メガネ型のウェアラブルコンピュータ等、現実世界にＡＲ（Augmented Reality）イメージを重畳する場合等に利用可能である。

【0091】

［参考文献］
［１］ 井上ら, 脳神経外科手術における顕微鏡重畳ナビゲーションの将来性とその課題〜商用システムの輪郭重畳表示と比較して〜, 日本コンピュータ外科学会誌，Vol.13(3), pp. 211-212, 2011.
［２］ P. J. Edwards et al., Design and Evaluation of a System for Microscope-Assisted Guided Interventions(MAGI),MICCAI’99, LNCS 1679, pp. 842-852, 1999.
［３］ 村上研二,画像間演算を用いたHough変換による直線抽出の高速化,電気学会論文誌133(8), 1539-1548, 2013.
［４］ 藤吉弘亘, Gradientベースの特徴抽出: SIFTとHOG, 情報処理学会研究報告CVIM(160):211-224, 2007.

【符号の説明】

【0092】

３ 術具、 １００ 手術支援システム、 ２００ 手術用顕微鏡、 ３００ ３次元計測装置、 ４００ 手術支援装置、 ４０２ 医用画像取得部、 ４０４ 第１変換行列取得部、 ４０６ ３次元座標取得部、 ４０８ 画像重畳部、 ４１０ 動画取得部、 ４１２ 画像解析部、 ４１４ 第２変換行列取得部、 ４２０ 術具特定部、 ４２２ 背景領域特定部、 ４２４ 差分画像取得部、 ４２６ 差分画像解析部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】