(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2021-12-13
(45)【発行日】2022-01-13
(54)【発明の名称】手術支援装置
(51)【国際特許分類】
A61B 1/045 20060101AFI20220105BHJP
A61B 3/13 20060101ALI20220105BHJP
【FI】
A61B1/045 622
A61B1/045 623
A61B3/13
(21)【出願番号】P 2021558994
(86)(22)【出願日】2020-10-27
(86)【国際出願番号】 JP2020040231
【審査請求日】2021-10-01
【早期審査対象出願】
(73)【特許権者】
【識別番号】515075692
【氏名又は名称】リバーフィールド株式会社
(74)【代理人】
【識別番号】100116942
【氏名又は名称】岩田 雅信
(74)【代理人】
【識別番号】100167704
【氏名又は名称】中川 裕人
(74)【代理人】
【識別番号】100203987
【氏名又は名称】林 哲彦
(72)【発明者】
【氏名】森川 敦
(72)【発明者】
【氏名】只野 耕太郎
【審査官】田辺 正樹
(56)【参考文献】
【文献】国際公開第2017/169823(WO,A1)
【文献】国際公開第2018/088107(WO,A1)
【文献】特開2008-262555(JP,A)
【文献】特開平11-309(JP,A)
【文献】国際公開第2019/212018(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B1/00-1/32、A61B3/00-3/18
(57)【特許請求の範囲】
【請求項4】
前記表示制御部は、三次元眼球モデル上で前記内視鏡の位置を示す眼球マップ画像と、前記内視鏡視点マップ画像とを同一画面内に表示させる
請求項1から請求項3の何れかに記載の手術支援装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、内視鏡を保持する機能を備える手術支援装置の技術分野に関する。
【背景技術】
【0002】
例えば黄班症や網膜剥離等の治療のために、眼球内部の硝子体を吸引除去することにより網膜を正常な状態に戻す硝子体手術が知られている。
通常の硝子体手術において、施術者(医師)は、手術顕微鏡等により被術者(患者)の瞳孔を通じて眼球内部を観察することになるが、瞳孔を通じて観察できる眼球内部の範囲には限界があり、観察できない部分を可視範囲に入れるためには眼球を外側から圧迫する必要がある。このような圧迫は、手術中の疼痛や手術後の炎症を引き起こすおそれがある。
【0003】
そこで、特許文献1に示すような硝子体手術に内視鏡を用いる手法が提案されている。
内視鏡を被術者の眼球内部に挿入することで、眼球内部の画像がモニタ等の表示手段に表示される。施術者は、眼球内部で内視鏡を移動させることで、通常瞳孔からは視認できない部分を容易に観察することができる。
このような内視鏡を用いた硝子体手術においては、眼球内部の観察にあたり眼球を圧迫する必要がなくなるため、被術者の眼球に対する負担を軽減することができる。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
硝子体手術では、硝子体カッターや鉗子、灌流液等の注入器などの処置具を眼球に挿入することで手術が行われる。施術者は内視鏡による撮像に基づく内視鏡撮像画像をモニタ上で確認しながら眼球内部の手術を行う。
このような内視鏡を用いた手術において、施術者が、被術者の眼球に対する内視鏡の挿入状態を推測し、モニタ上に表示された内視鏡撮像画像が眼球内部のどの位置を映し出したものであるかを把握することは容易ではない。
そこで本発明では、被術者に対する内視鏡の挿入状態を空間的に把握できるような表示を行うことを目的とする。
【課題を解決するための手段】
【0006】
本発明に係る手術支援装置は、内視鏡を保持するためのホルダを有し、前記ホルダで前記内視鏡を保持した状態で前記内視鏡の位置を調節するアーム部と、前記ホルダに保持された前記内視鏡の視点による被術者の三次元モデルの画像である内視鏡視点マップ画像を生成する画像生成部と、前記内視鏡視点マップ画像と前記内視鏡により撮像した内視鏡撮像画像との表示制御を行う表示制御部と、前記内視鏡撮像画像を回転させるための操作部と、を備え、前記操作部の操作に応じて、前記内視鏡の位置変位を生じさせずに表示されている前記内視鏡撮像画像を回転させるとともに、該回転に連動して前記内視鏡視点マップ画像を回転させるものである。
これにより回転後の内視鏡撮像画像の状態に対応する内視鏡と被術者の位置関係を示す内視鏡視点マップ画像が表示される。
【0007】
上記した手術支援装置において、前記内視鏡視点マップ画像の回転は、前記内視鏡を示す画像の位置を固定した状態で行われることが考えられる。
これにより、内視鏡撮像画像の回転状態を問わず、必ず内視鏡を示す画像が映り込んだ状態で内視鏡視点マップ画像が表示される。
【0008】
上記した手術支援装置において、前記表示制御部は、前記内視鏡視点マップ画像と前記内視鏡撮像画像とを同一画面内に表示させることが考えられる。
これにより、内視鏡撮像画像を視認しながら手術を行うにあたり、他のモニタに視線を移すことなく内視鏡視点マップ画像を確認することができる。
【0009】
上記した手術支援装置において、表示制御部は、三次元眼球モデル上で前記内視鏡の位置を示す眼球マップ画像と、前記内視鏡視点マップ画像とを同一画面内に表示させることが考えられる。
これにより、内視鏡視点マップ画像を視認しているときに、他のモニタに視線を移すことなく眼球マップ画像を確認することができる。
【発明の効果】
【0010】
本発明によれば、被術者に対する内視鏡の挿入状態を空間的に把握することができる。
【図面の簡単な説明】
【0011】
【
図1】本発明の実施の形態における手術システムが有する構成の一例を模式的に示した図である。
【
図2】本実施の形態における被術者の眼球の断面構成を模式的に示した図である。
【
図3】本実施の形態における手術支援装置が有する構成の一例を模式的に示した図である。
【
図4】本実施の形態における内視鏡保持装置のアーム先端部が有する構成の一例を模式的に示した図である。
【
図5】本実施の形態におけるモニタ上に表示される表示画像の一例を示した図である。
【
図6】本実施の形態における手術支援装置の構成の一例を示したブロック図である。
【
図7】本実施の形態における手術支援装置の演算・制御部が実行する処理例を示すフローチャートである。
【
図8】本実施の形態における眼球と内視鏡の位置関係を判定するための手順の概要を示した図である。
【
図9】本実施の形態における手術支援装置の演算・制御部が実行する処理例を示すフローチャートである。
【
図10】本実施の形態における演算・制御部が実行する内視鏡視点マップ画像生成処理の一例を示すフローチャートである。
【
図11】本実施の形態におけるモニタ上に表示される表示画像における内視鏡撮像画像及び内視鏡視点マップ画像の一例を示した図である。
【発明を実施するための形態】
【0012】
本発明の実施の形態について
図1から
図11を参照して説明する。図面は、説明にあたり必要と認められる要部及びその周辺の構成を抽出して示している。また図面は模式的なものであり、図面に記載された各構造の寸法、比率等は一例に過ぎない。従って、本発明の技術的思想を逸脱しない範囲であれば設計などに応じて種々な変更が可能である。また一度説明した構成は、以降同一の符号を付して説明を省略することがある。
【0013】
以下、実施の形態を次の順序で説明する。
<1.手術システムの構成>
<2.演算・制御部の機能構成>
<3.実施の形態の処理例>
<4.まとめ>
【0014】
<1.手術システムの構成>
眼球手術における手術システム100の構成について説明する。
図1は手術システム100が有する構成の一例を模式的に示している。
手術システム100は、手術台1と手術支援装置2を有して構成される。
手術台1と手術支援装置2は手術室に設置されている。
【0015】
手術台1には、被術者(患者)3が仰向けの状態で横たえられている。施術者(医師)4は、被術者3の頭部側に位置し、各種の処置具5を用いて被術者3の眼球30(
図2参照)内部の手術を行う。処置具5には、例えば硝子体カッターや鉗子、灌流液等の注入器などが用いられる。
【0016】
図2は、眼球30の断面構成を模式的に示している。眼球30の表面は角膜31及び結膜32により覆われており、角膜31の奥には瞳孔33が形成された虹彩34が存在し、虹彩34の奥には水晶体35が存在する。また眼球30内部の眼底一面には網膜36が存在する。
施術者4は、例えば結膜32に処置具5を挿入して眼球30内部の手術を行う。
【0017】
施術者4による眼球30の手術は、手術支援装置2により支援される。
図3は、手術支援装置2が有する構成の一例を模式的に示している。
手術支援装置2は、内視鏡保持装置11、内視鏡12、操作部13、演算・制御部14、及びモニタ15を有する。
【0018】
内視鏡保持装置11は、基台部16及びアーム部17を有している。
基台部16は手術室の床等に載置され、アーム部17は基台部16に取り付けられている。アーム部17は基台部16により回動可能に軸支される。
アーム部17は、1又は複数の関節部や回動部を備え、アーム先端部20を任意の位置に移動させることのできる機構に形成されている。
【0019】
ここでアーム先端部20の構成について説明する。
図4は、アーム先端部20が有する構成の一例を模式的に示している。
アーム先端部20は、内視鏡12を保持するためのホルダ21と被術者3の角膜31までの距離の計測に用いる計測部22と、を有している。
【0020】
ホルダ21は、内視鏡12が着脱可能となる機構に形成され、内視鏡12を装着することでホルダ21に対して内視鏡12が固定される。内視鏡12がホルダ21に固定された状態でアーム部17を動作させることで、内視鏡12を任意の位置に自在に移動させることができる。
【0021】
被術者3の眼球30に挿入された内視鏡12をホルダ21で保持することで、施術者4は、手で内視鏡12を保持する必要がなくなる。従って、施術者4は、両手で眼球30の手術を行うことができる。
【0022】
計測部22は、照射部23及び撮像部24を有している。
照射部23は、例えばLED(Light Emitting Diode)であり、被術者3の眼球30を照射する光を出力する。
【0023】
撮像部24は、いわゆるステレオ法による測距が可能となるように撮像部24L,24Rを有している。撮像部24L,24Rは、例えばホルダ21の上部付近において所定間隔を空けて配置されている。撮像部24L,24Rの光軸は平行とされ、焦点距離はそれぞれ同値とされる。また、フレーム周期は同期し、フレームレートも一致している。
【0024】
撮像部24L,24Rの各撮像素子で得られた撮像画像信号はそれぞれA/D(Analog
/ Digital)変換され、画素単位で所定階調による輝度値を表すデジタル画像信号(撮像画像データ)とされる。
【0025】
照射部23により眼球30が照射された状態において得られた撮像部24L,24Rの各撮像素子による撮像画像信号に基づいて、撮像部24L,24Rから被術者3の角膜31までの距離を計測することができる。
【0026】
計測部22において照射部23と撮像部24L,24Rの相対位置関係は固定されている。また撮像部24L,24Rと、上述したホルダ21の相対位置関係は固定されている。従って、ホルダ21に内視鏡12を固定することで、照射部23及び撮像部24L,24Rと内視鏡12との相対位置関係が固定される。
【0027】
図3に戻り、手術支援装置2の内視鏡12は、ホルダ21に固定された状態で眼球30の内部に挿入される(
図2参照)。挿入された内視鏡12により眼球30内部の状態が撮像される。内視鏡12の撮像素子で得られた撮像画像信号はそれぞれA/D変換され、画素単位で所定階調による輝度値を表すデジタル画像信号(撮像画像データ)とされる。
内視鏡12からの撮像画像データに基づく撮像画像は、モニタ15の液晶に表示される。
【0028】
操作部13は、アーム部17の操作やモニタ15上で表示された内視鏡12による撮像に基づく撮像画像の回転操作などを行う際に用いられる操作機器を包括的に示している。操作部13は、フットペダルであってもよいし、手動により操作する遠隔操作装置(リモートコントローラ)などであってもよい。
図3では一例としてフットペダルを図示しているが、上記の通り操作部13はこれに限れられるものではない。
内視鏡12による撮像画像の操作部13の操作に応じた回転操作手法の詳細については後述する。
【0029】
演算・制御部14は、アーム部17の動作制御や、モニタ15上に表示させる各種画像の生成処理、モニタ15への表示制御処理など、本実施の形態を実現するために必要な各種処理を実行する。
【0030】
演算・制御部14は、例えばCPU(Central Processing Unit)、ROM(Read Only
Memory)、RAM(Random Access Memory)等を有するマイクロコンピュータを備えて構成される。演算・制御部14は、1又は複数のマイクロコンピュータにより実現される。
【0031】
演算・制御部14は、例えば内視鏡保持装置11の基台部16に内蔵されている。なお、演算・制御装置14は他の外部機器に内蔵されていてもよい。
【0032】
モニタ15は、演算・制御部14からの表示制御に基づいて液晶に表示画像6を表示する。
図5は、モニタ15上に表示される表示画像6の一例を示している。
モニタ15上には、例えば内視鏡撮像画像61や、眼球マップ画像62、内視鏡視点マップ画像63、挿入長提示画像64などを有する表示画像6が表示される。表示画像6には他にも必要に応じて各種情報に関する画像が含まれる。
【0033】
内視鏡撮像画像61は、内視鏡12からの撮像画像データに基づく撮像画像である。内視鏡撮像画像61として、例えば内視鏡12で撮像した眼球30の内部の状態が表示される。内視鏡撮像画像61は、操作部13による操作により回転させることができる。内視鏡撮像画像61の回転手法の詳細については後述する。
【0034】
眼球マップ画像62は眼球30と内視鏡12の位置関係を示している。
眼球マップ画像62には、眼球30が三次元眼球モデル画像30Aにより表示される。また眼球30に対する内視鏡12の位置が内視鏡モデル画像12Aにより表示される。
【0035】
内視鏡視点マップ画像63には、内視鏡12を示す内視鏡モデル画像12Bと、内視鏡12の視点による被術者3の三次元モデル画像300とが表示される。三次元モデル画像300には眼球モデル画像30Bが表示される。
内視鏡視点マップ画像63は、内視鏡撮像画像61の回転に連動して回転する。このとき内視鏡視点マップ画像63においては、内視鏡12を示す内視鏡モデル画像12Bの位置を固定した状態で、三次元モデル画像300が回転する。内視鏡視点マップ画像63の回転手法の詳細については後述する。
【0036】
挿入長提示画像64には、眼球30に対する内視鏡12の挿入長の数値、及び内視鏡先端部120から網膜36までの距離の数値が表示される。
【0037】
施術者4は、モニタ15上で表示された表示画像6を確認しながら眼球30の手術を行う。
【0038】
<2.演算・制御部の機能構成>
手術支援装置2における演算・制御部14の機能構成について説明する。
図6は、手術支援装置2の構成の一例をブロック図として示している。
演算・制御部14は、駆動制御部141、画像処理部142、位置判定部143、画像生成部144、及び表示制御部145を有している。
【0039】
駆動制御部141は、例えば操作部13からの入力された操作信号に基づいて、内視鏡保持装置11のアーム部17の関節部や回動部の動作制御を行う。駆動制御部141は、アーム部17の動作制御を行うことで、アーム先端部20のホルダ21に固定した内視鏡12の位置を移動させることができる。
また駆動制御部141は、照射部23の出力制御や、撮像部24の撮像制御を行う。
【0040】
画像処理部142は、内視鏡12による撮像に基づく画像信号について、輝度信号処理、色処理、解像度変換処理、コーデック処理などの各種信号処理を施す。画像処理部142は、各種信号処理が施された画像信号を画像生成部144に出力する。
【0041】
位置判定部143は、撮像部24から入力された撮像部24L,24Rの各撮像素子による眼球30の撮像画像信号に基づいて、撮像部24から角膜31までの距離である撮像距離を演算する。
また位置判定部143は、当該撮像距離に基づいて眼球30と内視鏡先端部120との相対位置関係を演算する。
位置判定部143は、判定結果(眼球30と内視鏡先端部120との相対位置関係)を画像生成部144に出力する。
【0042】
画像生成部144は、画像処理部142や位置判定部143、操作部13などからの各種入力情報を用いて
図5に示すような表示画像6を生成する。表示画像6を構成する各種画像の生成手法の詳細については後述する。
画像生成部144は、生成した表示画像6の画像信号を表示制御部145に出力する。
【0043】
表示制御部145は、画像生成部144から入力された画像信号に基づいて、モニタ15上に表示画像6を表示させる制御を行う。
【0044】
<3.実施の形態の処理例>
本実施の形態を実現するために手術支援装置2の演算・制御部14が実行する処理について説明する。ここでは一例として、施術者4が被術者3の頭部側に位置して手術を行っているものとする(
図1参照)。
図7は、演算・制御部14が実行する処理の一例を示すフローチャートである。また
図8は、眼球30と内視鏡12の位置関係を判定するための手順の概要を示している。
【0045】
ステップS101において、演算・制御部14は照射開始制御処理を行う。
照射開始制御処理において、演算・制御部14は、
図8Aに示すように眼球30を照射するための光25を照射部23に出力させる。なお、
図8Aでは照射部23から出力される光25を模式的に破線で示している。
照射開始制御処理は、後述する内視鏡視点マップ画像63の画像データを生成するために用いられる眼球30と内視鏡12の位置関係を判定する際に必要となる処理である。
【0046】
その後、演算・制御部14は、画像の1フレームタイミング毎にステップS102以降の処理を繰り返し実行する。
ステップS102において、演算・制御部14は、内視鏡12が眼球30内部を撮像して得た撮像画像データとしての各フレーム画像データを内部メモリに格納する。
【0047】
ステップS103において、演算・制御部14は画像回転角データを取得する。
画像回転角データは、内視鏡12からの撮像画像データの回転処理を行う際に用いられる当該撮像画像データの回転方向及び回転角度を示す情報である。
画像回転角データは、操作部13からの操作入力に応じて適宜更新される。ただし、アーム部17の動作に応じて内視鏡12の撮像方向が変位することによっては、画像回転角データは更新されない。
【0048】
演算・制御部14が
図7の処理を開始してから操作部13による操作入力を検知するまでの間(以下、初期状態とも表記する。)においては、画像回転角データは内視鏡撮像画像に対する回転処理の角度0°を指示する値とされる。
演算・制御部14は、操作部13からの操作入力を検知すると、その操作量に応じて画像回転角データを更新する。例えば更新された画像回転角データの角度の正負により回転方向が示される。画像回転角データの更新処理の詳細については後述する。
【0049】
続くステップS104において、演算・制御部14は、内視鏡12からの撮像画像データ及び画像回転角データに基づいて、内視鏡撮像画像61の画像データを生成する。
この場合少なくとも演算・制御部14は、内視鏡12からの撮像画像データを画像回転角データに基づいた方向及び角度で回転させた内視鏡撮像画像61の画像データを生成する。
【0050】
また初期状態の場合は画像回転角データとして回転角度0°が指示されていることになるため、演算・制御部14は、内視鏡12からの撮像画像データを回転させずに内視鏡撮像画像61としての画像データを生成する。
【0051】
ステップS105において、演算・制御部14は、眼球マップ画像62及び内視鏡視点マップ画像63の画像生成処理を実行する。この画像生成処理について
図9を参照して説明する。
図9は、演算・制御部14が実行する当該画像生成処理の一例を示すフローチャートである。
【0052】
ステップS201において、演算・制御部14は、撮像部24L,24Rが眼球30を撮像することで得た撮像画像データとしての各フレーム画像データを内部メモリに格納する。
【0053】
ステップS202において、演算・制御部14は、各フレームとしての2つの撮像画像データに基づき、眼球30や眼球30の角膜31に映る照射部23からの光25の光点を認識するなどの各種画像解析処理を行う。
【0054】
ステップS203において、演算・制御部14は、撮像部24L,24Rにより得られた一対の撮像画像データ(ステレオ画像)に対し、
図8Bに示すような角膜31に映る光点の位置のずれ量Lから三角測量の原理によって撮像部24から角膜31までの距離である撮像距離を演算する。
【0055】
演算・制御部14は、演算した撮像距離に基づいて撮像部24と眼球30の位置関係を判定する。
このとき眼球30のサイズのデータとして眼球モデルデータが用いられる。
眼球モデルデータは、例えば一般的なヒトの眼球サイズを想定した三次元データである。ヒトの眼球サイズは、若干の個人差はあるものの大きく異なることがないため、標準的なヒトの眼球サイズに基づく眼球モデルデータとしてあらかじめ設定しておく。
【0056】
演算・制御部14は、撮像距離と眼球モデルデータを用いることで、撮像部24と眼球30の位置関係を演算(判定)することができる。
なお、手術にあたりあらかじめ被術者3の眼球30の眼球サイズを測定しておき、当該測定結果を反映させて眼球モデルデータを設定することもできる。
【0057】
続くステップS204において、演算・制御部14は、撮像部24と眼球30の位置関係に基づいて、内視鏡12と眼球30の位置関係を判定する。
【0058】
内視鏡12は、アーム先端部20のホルダ21に固定されることで撮像部24との相対位置関係が固定される。そのため内視鏡12がホルダ21に固定された状態では、撮像部24の位置に応じておのずと内視鏡12の位置が規定される。
またホルダ21に固定された内視鏡12の軸方向における内視鏡先端部120までの形状サイズは既知である。そのため、内視鏡12の形状サイズに関する情報をあらかじめ設定しておくことで、演算・制御部14は、規定された内視鏡12の位置から内視鏡先端部120の位置を演算することができる。
【0059】
以上により、演算・制御部14は、眼球30と撮像部24の位置関係に基づいて、眼球30に対する内視鏡12(内視鏡先端部120)の位置関係を演算(判定)することができる。
【0060】
続くステップS205において、演算・制御部14は、判定した眼球30と内視鏡12(内視鏡先端部120)の位置関係を三次元眼球モデル画像30Aと内視鏡モデル画像12Aの位置関係として示した眼球マップ画像62の画像データを生成する(
図8C参照)。
【0061】
さらにステップS206において、演算・制御部14は、
図5に示すような内視鏡視点マップ画像63の画像データを生成する。内視鏡視点マップ画像63は、被術者3の頭部を示す三次元モデル画像300と、内視鏡12を示す内視鏡モデル画像12Bとから構成される。三次元モデル画像300には眼球30の三次元眼球モデル画像30Bが表示される。
【0062】
被術者3の三次元モデル画像300には、あらかじめ設定されたヒトの三次元モデルデータが用いられる。
また内視鏡12に対する被術者3の頭部の角度を示す値が、被術者3が手術台1に仰向けで横たえられた状態であり、手術台1に対する内視鏡保持装置11の設置角度が規定されているという前提のもと、あらかじめ頭部角度データとして設定されている。
【0063】
演算・制御部14は、三次元モデルデータと頭部角度データに基づいて、三次元眼球モデル画像30Bを有する三次元モデル画像300の画像データを生成する。
【0064】
そして演算・制御部14は、ステップS204で判定した眼球30と内視鏡12の位置関係に基づいて三次元モデル画像300と内視鏡モデル画像12Bを合成することで、内視鏡視点マップ画像63の画像データを生成する。
内視鏡視点マップ画像63では、内視鏡12の視点から三次元モデル画像300の頭部を観察した画像が表示される。
【0065】
また演算・制御部14は、
図7のステップS103で取得した画像回転角データに基づいて、回転処理を施した内視鏡視点マップ画像63の画像データを生成する。
このとき演算・制御部14は、内視鏡モデル画像12Bの位置を固定した状態で三次元モデル画像300を回転させた画像データを内視鏡視点マップ画像63として生成する。
【0066】
なお、初期状態の場合は画像回転角データとして回転角度0°が指示されていることになるため、演算・制御部14は、内視鏡視点マップ画像63を回転さない画像データが内視鏡視点マップ画像63として生成される。
【0067】
演算・制御部14は、ステップS206の処理を終えることで、
図7のS105における眼球マップ画像62及び内視鏡視点マップ画像63の生成処理を完了する。
続いて演算・制御部14は、ステップS106に処理を進める。
【0068】
ステップS106において、演算・制御部14は表示画像6の画像データを生成する。
演算・制御部14は、内視鏡撮像画像61、眼球マップ画像62、内視鏡視点マップ画像63、挿入長提示画像64、その他必要な画像を合成することで表示画像6を生成する。
【0069】
ここで、挿入長提示画像64の画像データの生成手法の例について説明する。
演算・制御部14は、判定した眼球30と内視鏡12(内視鏡先端部120)の位置関係から、内視鏡12の眼球30への挿入長に関する情報と、内視鏡先端部120から被術者3の網膜36までの距離に関する情報とを演算する。
そして演算・制御部14は、それらの情報に基づいて挿入長提示画像64の画像データを生成する。
【0070】
続くステップS107において、演算・制御部14は、表示画像6をモニタ15の液晶に表示させるための表示制御を行う。これにより、モニタ15の同一画面内に
図5に示すような表示画像6が表示される。
【0071】
ところで、施術者4による眼球30の手術中においては、
図10に示すように内視鏡撮像画像61に処置具5が映り込むことがある。この場合において内視鏡撮像画像61は、処置具5の表示位置から明らかなように、
図1に示す施術者4が眼球30内部の手術を行う方向と上下左右が一致していない。
【0072】
これは眼球30に挿入する内視鏡12の位置を調節するときに、内視鏡12に長手軸を中心とするひねりが生じたことに起因する。このようなひねりが生じた状態で内視鏡12による眼球30内部の撮像が行われると、施術者4が手術を行っている方向と上下左右が一致しない内視鏡撮像画像61がモニタ15上に表示されてしまう。
【0073】
このような場合、施術者4は、手術を円滑に進行させるために操作部13の操作により内視鏡撮像画像61を見やすい位置(例えば
図11に示す位置)まで回転させる必要がある。
そのため、演算・制御部14は、
図7のステップS108,S109の処理を行うようにしている。
【0074】
ステップS108において、演算・制御部14は、操作部13からの操作入力を検知したか否かを判定する。操作入力は、例えば施術者4がフットペダルを足で操作することにより行われる。
【0075】
ステップS108において操作入力を検知しない場合、演算・制御部14はステップS102に処理を戻し、以降同様の処理を実行する。
即ち、初期状態においては、回転していない状態の内視鏡撮像画像61及び内視鏡視点マップ画像63がモニタ15上に表示される。
【0076】
一方、ステップS108において操作入力を検知した場合、演算・制御部14はステップS108からS109に処理を進める。
【0077】
ステップS109において、演算・制御部14は、画像回転角データの更新処理を行う。
演算・制御部14は、操作部13からの操作入力に基づいて、画像回転角データとして回転方向及び回転角度を更新する。
【0078】
ステップS109の処理を行った後、演算・制御部14はステップS102に処理を戻す。そして演算・制御部14は、ステップS102からS104の処理を行い、内視鏡12からの撮像画像データを更新された画像回転角データに基づいて回転させた内視鏡撮像画像61の画像データを生成する。
【0079】
このような処理が実行されることで、操作部13の操作に応じて、眼球30内部での内視鏡12の位置変位を生じさせずに、モニタ15上に表示されている内視鏡撮像画像61を回転させ続けることができる。例えば内視鏡撮像画像61を、
図10に示す位置から
図11に示す位置まで回転させることができる。
【0080】
続くステップS105の内視鏡視点マップ画像63の生成処理において、演算・制御部14は、内視鏡モデル画像12Bの位置を固定した状態で、更新された画像回転角データに基づいて三次元モデル画像300を回転させた内視鏡視点マップ画像63の画像データを生成する。
【0081】
このとき、固定された内視鏡モデル画像12Bを基準として三次元モデル画像300が回転する。例えば内視鏡撮像画像61が、
図10に示す位置から
図11に示す位置まで回転することに連動して、三次元モデル画像300を内視鏡モデル画像12Bに対して
図10に示す位置から
図11に示す位置まで回転させる。
このように、画像回転角データに基づいて三次元モデル画像300を回転させることで、内視鏡撮像画像61の回転に連動して回転した内視鏡視点マップ画像63の画像データを生成することができる。
【0082】
そしてステップS106において、演算・制御部14は、回転させた内視鏡撮像画像61及び内視鏡視点マップ画像63を含む表示画像6の画像データを生成する。
そしてステップS107において、演算・制御部14は、表示画像6をモニタ15の液晶に表示させるための表示制御を行う。
【0083】
演算・制御部14の表示制御により、施術者4の操作部13の操作に応じて回転された内視鏡撮像画像61がモニタ15上に表示される。また内視鏡撮像画像61の回転に連動して回転した内視鏡視点マップ画像63がモニタ15上に表示される。
【0084】
内視鏡撮像画像61を回転させると、内視鏡撮像画像61の映像から眼球30と内視鏡12の位置関係(例えば眼球30に対する内視鏡12の挿入状態(撮像方向))を空間的に把握することが困難な場合がある。このような場合に、内視鏡撮像画像61の回転に連動して回転した内視鏡視点マップ画像63を確認することで、眼球30に対する内視鏡12の挿入状態を容易に把握することができる。
【0085】
施術者4が操作部13を操作し続けている間、ステップS102からS109までの処理が演算・制御部14により継続して実行される。
施術者4は、例えば内視鏡撮像画像61に映り込んだ処置具5が手術の行いやすい位置になるまで操作部13の操作を継続し、内視鏡撮像画像61を回転させる。
【0086】
施術者4による操作部13の操作の終了により、演算・制御部14は、ステップS108で操作入力を検知しないと判定する。この場合、演算・制御部14は、ステップS108からS102に処理を戻し、以降、ステップS108で操作入力を検知するまで、ステップS102からS108の処理を繰り返し実行する。
【0087】
このとき演算・制御部14は、最後に更新された画像回転角データに基づいて内視鏡撮像画像61及び内視鏡視点マップ画像63の画像データを生成し、モニタ15への表示制御を行う。これにより、回転停止時点の回転角度が維持された状態で内視鏡撮像画像61及び内視鏡視点マップ画像63がモニタ15上に表示される。
【0088】
なお、内視鏡12の撮像方向を変位させるためにアーム部17の動作制御によりホルダ21に保持された内視鏡12を移動させたとしても、演算・制御部14により画像回転角データが更新されることはない。
【0089】
従って、モニタ15上には、最後に更新された画像回転角データに基づく回転が維持された状態で、撮像方向のみが変位した内視鏡撮像画像61が表示される。
よって、施術者4は、内視鏡12の撮像方向を変位させた際に、操作部13の操作により再度内視鏡撮像画像61を回転させる必要がなくなる。
【0090】
また、内視鏡視点マップ画像63においては、内視鏡撮像画像61の回転状態に連動した状態が維持される。なお、内視鏡12の撮像方向が変位した場合において、内視鏡視点マップ画像63における内視鏡モデル画像12Bに対する三次元モデル画像300の位置は変位する。
【0091】
ステップS102からS108の処理を繰り返し実行するなかで、再度ステップS108で操作入力を検知すると、演算・制御部14はステップS109,S102の順に処理を進め、以降同様の処理を実行する。
【0092】
<4.まとめ>
本発明の実施の形態における手術支援装置2は、内視鏡12を保持するためのホルダ21を有し、ホルダ21で内視鏡12を保持した状態で内視鏡12の位置を調節するアーム部17と、ホルダ21に保持された内視鏡12の視点による被術者3の三次元モデル画像300が表示される内視鏡視点マップ画像63を生成する画像生成部144と、内視鏡視点マップ画像63と内視鏡12により撮像した内視鏡撮像画像61との表示制御を行う表示制御部145と、内視鏡撮像画像61を回転させるための操作部13と、を備え、操作部13の操作に応じて、内視鏡12の位置変位を生じさせずに表示されている内視鏡撮像画像61を回転させるとともに、該回転に連動して内視鏡視点マップ画像63を回転させる(
図7及び
図8等参照)。
【0093】
これにより回転後の内視鏡撮像画像61の状態に対応する内視鏡12と被術者3の位置関係を示す内視鏡視点マップ画像63が表示される。
従って、施術者4が被術者3の眼球30に対する内視鏡12の挿入状態を空間的に把握することができる。よって、施術者4は、内視鏡撮像画像61が回転された状態においても直感的に位置関係を把握した手術を行うことができ、眼球30に対する手術を円滑に進行することができる。また内視鏡12の位置が把握できるため、施術者4が内視鏡12等と接触することを回避することができる。
【0094】
本実施の形態における手術支援装置2においては、内視鏡視点マップ画像63の回転は、内視鏡12を示す画像の位置を固定した状態で行われる(
図7のS105、
図9のS205、
図10、
図11等参照)。
【0095】
これにより、内視鏡撮像画像61の回転状態を問わず、必ず内視鏡12を示す画像が映り込んだ状態で内視鏡視点マップ画像63が表示される。
従って、内視鏡視点マップ画像63を視認することで、内視鏡撮像画像61の回転を問わずに被術者3の眼球30に対する内視鏡12の挿入状態を常に確認することができる。よって、眼球30に対する手術を円滑に進行することができる。
【0096】
本実施の形態における手術支援装置2において、表示制御部145は、内視鏡視点マップ画像63と内視鏡撮像画像61とを同一画面内に表示させる(
図5、
図7のS107等参照)。
【0097】
これにより、内視鏡撮像画像61を視認しながら手術を行うにあたり、他のモニタ15に視線を移すことなく内視鏡視点マップ画像63を確認することができる。
従って、内視鏡視点マップ画像63の視認性が向上し、眼球30に対する手術を円滑に進行することができる。
【0098】
本実施の形態における手術支援装置2において、表示制御部145は、三次元眼球モデル上で内視鏡12の位置を示す眼球マップ画像62と、内視鏡視点マップ画像63とを同一画面内に表示させる(
図5、
図7のS107等参照)。
【0099】
これにより、内視鏡視点マップ画像63を確認するにあたり、他のモニタ15に視線を移すことなく眼球マップ画像62を確認することができる。
従って、一のモニタ15で複数の情報を同時に確認することができるため、眼球30に対する手術を円滑に進行することができる。
【0100】
なお、本実施の形態では、内視鏡12の一例として眼内内視鏡の例について説明したが、内視鏡12は眼内内視鏡に限られるものではない。例えば被術者3の肋骨の間を切開し挿入する胸腔鏡や、腹部を切開し挿入する腹腔鏡など、様々な内視鏡を適用することができる。
【0101】
最後に、本開示に記載された実施の形態はあくまでも例示であり、本発明が上述の実施の形態に限定されることはない。また実施の形態で説明されている構成の組み合わせの全てが課題の解決に必須であるとは限らない。さらに本開示に記載された効果はあくまでも例示であり限定されるものではなく、他の効果を奏するものであってもよいし、本開示に記載された効果の一部を奏するものであってもよい。
【符号の説明】
【0102】
2 手術支援装置
3 被術者
12 内視鏡
13 操作部
17 アーム部
21 ホルダ
30 眼球
30A 三次元眼球モデル画像
30B 三次元眼球モデル画像
61 内視鏡撮像画像
62 眼球マップ画像
63 内視鏡視点マップ画像
144 画像生成部
145 表示制御部
300 三次元モデル画像
【要約】
被術者に対する内視鏡の挿入状態を空間的に把握できるような表示を行うために、内視鏡を保持するためのホルダを有し、前記ホルダで前記内視鏡を保持した状態で前記内視鏡の位置を調節するアーム部と、前記ホルダに保持された前記内視鏡の視点による被術者の三次元モデルの画像である内視鏡視点マップ画像を生成する画像生成部と、前記内視鏡視点マップ画像と前記内視鏡により撮像した内視鏡撮像画像との表示制御を行う表示制御部と、前記内視鏡撮像画像を回転させるための操作部と、を備え、前記操作部の操作に応じて、前記内視鏡の位置変位を生じさせずに表示されている前記内視鏡撮像画像を回転させるとともに、該回転に連動して前記内視鏡視点マップ画像を回転させる。