ホーム > 特許ランキング > リバーフィールド株式会社
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2022-02-22
(45)【発行日】2022-03-03
(54)【発明の名称】手術支援装置
(51)【国際特許分類】
A61B 1/045 20060101AFI20220224BHJP
A61B 1/00 20060101ALI20220224BHJP
A61B 3/13 20060101ALI20220224BHJP
【ＦＩ】
A61B1/045 622
A61B1/00 620
A61B1/045 640
A61B3/13
【請求項の数】
4
(21)【出願番号】P 2021558995
(86)(22)【出願日】2020-10-27
(86)【国際出願番号】 JP2020040232
【審査請求日】2021-10-01
【早期審査対象出願】
(73)【特許権者】
【識別番号】515075692
【氏名又は名称】リバーフィールド株式会社
(74)【代理人】
【識別番号】100116942
【弁理士】
【氏名又は名称】岩田 雅信
(74)【代理人】
【識別番号】100167704
【弁理士】
【氏名又は名称】中川 裕人
(74)【代理人】
【識別番号】100203987
【弁理士】
【氏名又は名称】林 哲彦
(72)【発明者】
【氏名】森川 敦
(72)【発明者】
【氏名】只野 耕太郎
【審査官】田辺 正樹
(56)【参考文献】
【文献】特開２００４－２７５２０３（ＪＰ，Ａ）
【文献】国際公開第２０１７／１６９８２３（ＷＯ，Ａ１）
【文献】国際公開第２０１９／２１２０１８（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ１／００－１／３２、
Ａ６１Ｂ３／００－３／１８
(57)【特許請求の範囲】
【請求項1】
内視鏡を保持するためのホルダを有し、前記ホルダで前記内視鏡を保持した状態で前記内視鏡の位置を調節するアーム部と、前記ホルダに保持された前記内視鏡により撮像した内視鏡撮像画像を取得する演算・制御部と、
前記内視鏡撮像画像の回転方向及び回転角度を示す画像回転角データを操作に応じて前記演算・制御部に供給する操作部と、を備え、
前記演算・制御部は、前記操作部から供給された前記画像回転角データに基づいて前記内視鏡撮像画像を回転させた画像データを生成し、前記生成した画像データに基づく表示制御を行う
手術支援装置。
【請求項2】
前記ホルダに保持された前記内視鏡の撮像方向が変位した場合に、直前の回転状態を維持した前記内視鏡撮像画像が表示される請求項１に記載の手術支援装置。
【請求項3】
前記内視鏡撮像画像は、被術者の眼球に挿入された内視鏡による前記眼球の内部の撮像画像であり、前記演算・制御部は、前記内視鏡撮像画像と、三次元眼球モデル上で前記内視鏡の位置を示す眼球マップ画像とを同一画面内に表示させる
請求項１又は請求項２に記載の手術支援装置。
【請求項4】
前記操作部はフットペダルとされる請求項１から請求項３の何れかに記載の手術支援装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、内視鏡を保持する機能を備える手術支援装置の技術分野に関する。
【背景技術】
【0002】
例えば黄班症や網膜剥離等の治療のために、眼球内部の硝子体を吸引除去することにより網膜を正常な状態に戻す硝子体手術が知られている。
通常の硝子体手術において、施術者（医師）は、手術顕微鏡等により被術者（患者）の瞳孔を通じて眼球内部を観察することになるが、瞳孔を通じて観察できる眼球内部の範囲には限界があり、観察できない部分を可視範囲に入れるためには眼球を外側から圧迫する必要がある。このような圧迫は、手術中の疼痛や手術後の炎症を引き起こすおそれがある。
通常の硝子体手術において、施術者（医師）は、手術顕微鏡等により被術者（患者）の瞳孔を通じて眼球内部を観察することになるが、瞳孔を通じて観察できる眼球内部の範囲には限界があり、観察できない部分を可視範囲に入れるためには眼球を外側から圧迫する必要がある。このような圧迫は、手術中の疼痛や手術後の炎症を引き起こすおそれがある。
【0003】
そこで、特許文献１に示すような硝子体手術に内視鏡を用いる手法が提案されている。
内視鏡を被術者の眼球内部に挿入することで、眼球内部の画像がモニタ等の表示手段に表示される。施術者は、眼球内部で内視鏡を移動させることで、通常瞳孔からは視認できない部分を容易に観察することができる。
このような内視鏡を用いた硝子体手術においては、眼球内部の観察にあたり眼球を圧迫する必要がなくなるため、被術者の眼球に対する負担を軽減することができる。
内視鏡を被術者の眼球内部に挿入することで、眼球内部の画像がモニタ等の表示手段に表示される。施術者は、眼球内部で内視鏡を移動させることで、通常瞳孔からは視認できない部分を容易に観察することができる。
このような内視鏡を用いた硝子体手術においては、眼球内部の観察にあたり眼球を圧迫する必要がなくなるため、被術者の眼球に対する負担を軽減することができる。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２００５－３０４６３３号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
硝子体手術では、硝子体カッターや鉗子、灌流液等の注入器などの処置具を眼球に挿入することで手術が行われる。施術者は内視鏡による撮像に基づく内視鏡撮像画像をモニタ上で確認しながら眼球内部の手術を行う。
ここで位置調節等のために内視鏡の撮像方向を変位させる際に、長手軸を中心とするひねりが内視鏡に生じることがある。このようなひねりが生じた状態で内視鏡による眼球内部の撮像が行われると、施術者が処置具により眼球内部の手術を行っている方向と上下左右が一致しない内視鏡撮像画像が液晶に表示されてしまう。
このような内視鏡撮像画像の表示は施術者に違和感を与え、手術の円滑な進行の妨げとなるおそれがある。
そこで本発明では、施術者の意思を反映させた内視鏡撮像画像を表示させることを目的とする。
ここで位置調節等のために内視鏡の撮像方向を変位させる際に、長手軸を中心とするひねりが内視鏡に生じることがある。このようなひねりが生じた状態で内視鏡による眼球内部の撮像が行われると、施術者が処置具により眼球内部の手術を行っている方向と上下左右が一致しない内視鏡撮像画像が液晶に表示されてしまう。
このような内視鏡撮像画像の表示は施術者に違和感を与え、手術の円滑な進行の妨げとなるおそれがある。
そこで本発明では、施術者の意思を反映させた内視鏡撮像画像を表示させることを目的とする。
【課題を解決するための手段】
【0006】
本発明に係る手術支援装置は、内視鏡を保持するためのホルダを有し、前記ホルダで前記内視鏡を保持した状態で前記内視鏡の位置を調節するアーム部と、前記ホルダに保持された前記内視鏡により撮像した内視鏡撮像画像を取得する演算・制御部と、前記内視鏡撮像画像の回転方向及び回転角度を示す画像回転角データを操作に応じて前記演算・制御部に供給する操作部と、を備え、前記演算・制御部は、前記操作部から供給された前記画像回転角データに基づいて前記内視鏡撮像画像を回転させた画像データを生成し、前記生成した画像データに基づく表示制御を行うものである。
これにより、操作を行う施術者の意思を反映させた内視鏡撮像画像が表示される。
これにより、操作を行う施術者の意思を反映させた内視鏡撮像画像が表示される。
【0007】
上記した手術支援装置において、前記ホルダに保持された前記内視鏡の撮像方向が変位した場合に、直前の回転状態を維持した前記内視鏡撮像画像が表示されることが考えられる。
これにより、変位した位置での内視鏡撮像画像は、位置変位前と同じ角度による回転処理が施されてモニタ上に表示される。
これにより、変位した位置での内視鏡撮像画像は、位置変位前と同じ角度による回転処理が施されてモニタ上に表示される。
【0008】
上記した手術支援装置において、前記内視鏡撮像画像は、被術者の眼球に挿入された内視鏡による前記眼球内部の撮像画像であり、前記表示制御部は、前記内視鏡撮像画像と三次元眼球モデル上で前記内視鏡の位置を示す眼球マップ画像とを同一画面内に表示させることが考えられる。
これにより、内視鏡撮像画像を視認しながら手術を行うにあたり、他のモニタに視線を移すことなく眼球マップ画像を確認することができる。
これにより、内視鏡撮像画像を視認しながら手術を行うにあたり、他のモニタに視線を移すことなく眼球マップ画像を確認することができる。
【0009】
上記した手術支援装置において、前記操作部はフットペダルとすることが考えられる。
これにより、施術者は足により内視鏡撮像画像の回転操作を行うことができる。
これにより、施術者は足により内視鏡撮像画像の回転操作を行うことができる。
【発明の効果】
【0010】
本発明によれば、施術者の意思を反映させた内視鏡撮像画像を表示させることができる。
【図面の簡単な説明】
【0011】
【図1】本発明の実施の形態における手術システムが有する構成の一例を模式的に示した図である。
【図2】本実施の形態における被術者の眼球の断面構成を模式的に示した図である。
【図3】本実施の形態における手術支援装置が有する構成の一例を模式的に示した図である。
【図4】本実施の形態における内視鏡保持装置のアーム先端部が有する構成の一例を模式的に示した図である。
【図5】本実施の形態におけるモニタ上に表示される表示画像の一例を示した図である。
【図6】本実施の形態における手術支援装置の構成の一例を示したブロック図である。
【図7】本実施の形態における手術支援装置の演算・制御部が実行する処理の一例を示すフローチャートである。
【図8】本実施の形態におけるモニタ上に表示される表示画像における内視鏡撮像画像の一例を示した図である。
【図9】本実施の形態におけるモニタ上に表示される表示画像における内視鏡撮像画像の一例を示した図である。
【発明を実施するための形態】
【0012】
本発明の実施の形態について図１から図９を参照して説明する。図面は、説明にあたり必要と認められる要部及びその周辺の構成を抽出して示している。また図面は模式的なものであり、図面に記載された各構造の寸法、比率等は一例に過ぎない。従って、本発明の技術的思想を逸脱しない範囲であれば設計などに応じて種々な変更が可能である。また一度説明した構成は、以降同一の符号を付して説明を省略することがある。
【0013】
以下、実施の形態を次の順序で説明する。
＜１．手術システムの構成＞
＜２．演算・制御部の機能構成＞
＜３．実施の形態の処理例＞
＜４．まとめ＞
＜１．手術システムの構成＞
＜２．演算・制御部の機能構成＞
＜３．実施の形態の処理例＞
＜４．まとめ＞
【0014】
＜１．手術システムの構成＞
眼球手術における手術システム１００の構成について説明する。
図１は手術システム１００が有する構成の一例を模式的に示している。
手術システム１００は、手術台１と手術支援装置２を有して構成される。
手術台１と手術支援装置２は手術室に設置されている。
眼球手術における手術システム１００の構成について説明する。
図１は手術システム１００が有する構成の一例を模式的に示している。
手術システム１００は、手術台１と手術支援装置２を有して構成される。
手術台１と手術支援装置２は手術室に設置されている。
【0015】
手術台１には、被術者（患者）３が仰向けの状態で横たえられている。施術者（医師）４は、被術者３の頭部側に位置し、各種の処置具５を用いて被術者３の眼球３０（図２参照）内部の手術を行う。処置具５には、例えば硝子体カッターや鉗子、灌流液等の注入器などが用いられる。
【0016】
図２は、眼球３０の断面構成を模式的に示している。眼球３０の表面は角膜３１及び結膜３２により覆われており、角膜３１の奥には瞳孔３３が形成された虹彩３４が存在し、虹彩３４の奥には水晶体３５が存在する。また眼球３０内部の眼底一面には網膜３６が存在する。
施術者４は、例えば結膜３２に処置具５を挿入して眼球３０内部の手術を行う。
施術者４は、例えば結膜３２に処置具５を挿入して眼球３０内部の手術を行う。
【0017】
施術者４による眼球３０の手術は、手術支援装置２により支援される。
図３は、手術支援装置２が有する構成の一例を模式的に示している。
手術支援装置２は、内視鏡保持装置１１、内視鏡１２、操作部１３、演算・制御部１４、及びモニタ１５を有する。
図３は、手術支援装置２が有する構成の一例を模式的に示している。
手術支援装置２は、内視鏡保持装置１１、内視鏡１２、操作部１３、演算・制御部１４、及びモニタ１５を有する。
【0018】
内視鏡保持装置１１は、基台部１６及びアーム部１７を有している。
基台部１６は手術室の床等に載置され、アーム部１７は基台部１６に取り付けられている。アーム部１７は基台部１６により回動可能に軸支される。
アーム部１７は、１又は複数の関節部や回動部を備え、アーム先端部２０を任意の位置に移動させることのできる機構に形成されている。
基台部１６は手術室の床等に載置され、アーム部１７は基台部１６に取り付けられている。アーム部１７は基台部１６により回動可能に軸支される。
アーム部１７は、１又は複数の関節部や回動部を備え、アーム先端部２０を任意の位置に移動させることのできる機構に形成されている。
【0019】
ここでアーム先端部２０の構成について説明する。
図４は、アーム先端部２０が有する構成の一例を模式的に示している。
アーム先端部２０は、内視鏡１２を保持するためのホルダ２１と被術者３の角膜３１までの距離の計測に用いる計測部２２と、を有している。
図４は、アーム先端部２０が有する構成の一例を模式的に示している。
アーム先端部２０は、内視鏡１２を保持するためのホルダ２１と被術者３の角膜３１までの距離の計測に用いる計測部２２と、を有している。
【0020】
ホルダ２１は、内視鏡１２が着脱可能となる機構に形成され、内視鏡１２を装着することでホルダ２１に対して内視鏡１２が固定される。内視鏡１２がホルダ２１に固定された状態でアーム部１７を動作させることで、内視鏡１２を任意の位置に自在に移動させることができる。
【0021】
被術者３の眼球３０に挿入された内視鏡１２をホルダ２１で保持することで、施術者４は、手で内視鏡１２を保持する必要がなくなる。従って、施術者４は、両手で眼球３０の手術を行うことができる。
【0022】
計測部２２は、照射部２３及び撮像部２４を有している。
照射部２３は、例えばＬＥＤ（Light Emitting Diode）であり、被術者３の眼球３０を照射する光を出力する。
照射部２３は、例えばＬＥＤ（Light Emitting Diode）であり、被術者３の眼球３０を照射する光を出力する。
【0023】
撮像部２４は、いわゆるステレオ法による測距が可能となるように撮像部２４Ｌ，２４Ｒを有している。撮像部２４Ｌ，２４Ｒは、例えばホルダ２１の上部付近において所定間隔を空けて配置されている。撮像部２４Ｌ，２４Ｒの光軸は平行とされ、焦点距離はそれぞれ同値とされる。また、フレーム周期は同期し、フレームレートも一致している。
【0024】
撮像部２４Ｌ，２４Ｒの各撮像素子で得られた撮像画像信号はそれぞれＡ／Ｄ（Analog
/ Digital）変換され、画素単位で所定階調による輝度値を表すデジタル画像信号（撮像画像データ）とされる。
/ Digital）変換され、画素単位で所定階調による輝度値を表すデジタル画像信号（撮像画像データ）とされる。
【0025】
照射部２３により眼球３０が照射された状態において得られた撮像部２４Ｌ，２４Ｒの各撮像素子による撮像画像信号に基づいて、撮像部２４Ｌ，２４Ｒから被術者３の角膜３１までの距離を計測することができる。
【0026】
計測部２２において照射部２３と撮像部２４Ｌ，２４Ｒの相対位置関係は固定されている。また撮像部２４Ｌ，２４Ｒと、上述したホルダ２１の相対位置関係は固定されている。従って、ホルダ２１に内視鏡１２を固定することで、照射部２３及び撮像部２４Ｌ，２４Ｒと内視鏡１２との相対位置関係が固定されることになる。
【0027】
図３に戻り、手術支援装置２の内視鏡１２は、ホルダ２１に固定された状態で眼球３０の内部に挿入される（図２参照）。挿入された内視鏡１２により眼球３０内部の状態が撮像される。内視鏡１２の撮像素子で得られた撮像画像信号はそれぞれＡ／Ｄ変換され、画素単位で所定階調による輝度値を表すデジタル画像信号（撮像画像データ）とされる。
内視鏡１２からの撮像画像データに基づく撮像画像は、モニタ１５の液晶に表示される。
内視鏡１２からの撮像画像データに基づく撮像画像は、モニタ１５の液晶に表示される。
【0028】
操作部１３は、アーム部１７の操作やモニタ１５上で表示された内視鏡１２による撮像に基づく撮像画像の回転操作などを行う際に用いられる操作機器を包括的に示している。操作部１３は、フットペダルであってもよいし、手動により操作する遠隔操作装置（リモートコントローラ）などであってもよい。図３では一例としてフットペダルを図示しているが、上記の通り操作部１３はこれに限れられるものではない。
内視鏡１２による撮像に基づく撮像画像の回転操作手法の詳細については後述する。
内視鏡１２による撮像に基づく撮像画像の回転操作手法の詳細については後述する。
【0029】
演算・制御部１４は、アーム部１７の動作制御や、モニタ１５上に表示させる各種画像の生成処理、モニタ１５への表示制御処理など、本実施の形態を実現するために必要な各種処理を実行する。
【0030】
演算・制御部１４は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only
Memory）、ＲＡＭ（Random Access Memory）等を有するマイクロコンピュータを備えて構成される。演算・制御部１４は、１又は複数のマイクロコンピュータにより実現される。
Memory）、ＲＡＭ（Random Access Memory）等を有するマイクロコンピュータを備えて構成される。演算・制御部１４は、１又は複数のマイクロコンピュータにより実現される。
【0031】
演算・制御部１４は、例えば内視鏡保持装置１１の基台部１６に内蔵されている。なお、演算・制御装置１４は他の外部機器に内蔵されていてもよい。
【0032】
モニタ１５は、演算・制御部１４からの表示制御に基づいて液晶に表示画像６を表示する。
図５は、モニタ１５上に表示される表示画像６の一例を示している。
モニタ１５上には、例えば内視鏡撮像画像６１や、眼球マップ画像６２、内視鏡視点マップ画像６３、挿入長提示画像６４などを有する表示画像６が表示される。表示画像６には他にも必要に応じて各種情報に関する画像が含まれる。
図５は、モニタ１５上に表示される表示画像６の一例を示している。
モニタ１５上には、例えば内視鏡撮像画像６１や、眼球マップ画像６２、内視鏡視点マップ画像６３、挿入長提示画像６４などを有する表示画像６が表示される。表示画像６には他にも必要に応じて各種情報に関する画像が含まれる。
【0033】
内視鏡撮像画像６１は、内視鏡１２からの撮像画像データに基づく撮像画像である。内視鏡撮像画像６１として、例えば内視鏡１２で撮像した眼球３０の内部の状態が表示される。内視鏡撮像画像６１は、操作部１３による操作により回転させることができる。内視鏡撮像画像６１の回転手法の詳細については後述する。
【0034】
眼球マップ画像６２は眼球３０と内視鏡１２の位置関係を示している。
眼球マップ画像６２には、眼球３０が三次元眼球モデル３０Ａにより表示される。また眼球３０に対する内視鏡１２の位置が内視鏡モデル１２Ａにより表示される。
眼球マップ画像６２には、眼球３０が三次元眼球モデル３０Ａにより表示される。また眼球３０に対する内視鏡１２の位置が内視鏡モデル１２Ａにより表示される。
【0035】
内視鏡視点マップ画像６３には、内視鏡１２の視点による被術者３の三次元モデル画像が表示される。内視鏡視点マップ画像６３は、内視鏡撮像画像６１の回転に連動して回転する。
【0036】
挿入長提示画像６４には、眼球３０に対する内視鏡１２の挿入長の数値、及び内視鏡先端部１２０から網膜３６までの距離の数値が表示される。
【0037】
施術者４は、モニタ１５上で表示された表示画像６を確認しながら眼球３０の手術を行う。
【0038】
＜２．演算・制御部の機能構成＞
手術支援装置２における演算・制御部１４の機能構成について説明する。
図６は、手術支援装置２の構成の一例をブロック図として示している。
演算・制御部１４は、駆動制御部１４１、画像処理部１４２、位置判定部１４３、画像生成部１４４、及び表示制御部１４５を有している。
手術支援装置２における演算・制御部１４の機能構成について説明する。
図６は、手術支援装置２の構成の一例をブロック図として示している。
演算・制御部１４は、駆動制御部１４１、画像処理部１４２、位置判定部１４３、画像生成部１４４、及び表示制御部１４５を有している。
【0039】
駆動制御部１４１は、例えば操作部１３からの入力された操作信号に基づいて、内視鏡保持装置１１のアーム部１７の関節部や回動部の動作制御を行う。駆動制御部１４１は、アーム部１７の動作制御を行うことで、アーム先端部２０のホルダ２１に固定した内視鏡１２の位置を移動させることができる。
また駆動制御部１４１は、照射部２３の出力制御や、撮像部２４の撮像制御を行う。
また駆動制御部１４１は、照射部２３の出力制御や、撮像部２４の撮像制御を行う。
【0040】
画像処理部１４２は、内視鏡１２による撮像に基づく画像信号について、輝度信号処理、色処理、解像度変換処理、コーデック処理などの各種信号処理を施す。画像処理部１４２は、各種信号処理が施された画像信号を画像生成部１４４に出力する。
【0041】
位置判定部１４３は、撮像部２４から入力された撮像部２４Ｌ，２４Ｒの各撮像素子による眼球３０の撮像画像信号に基づいて、撮像部２４から角膜３１までの距離情報を得る。
また位置判定部１４３は、当該距離情報に基づいて眼球３０と内視鏡先端部１２０との相対位置関係を演算する。
位置判定部１４３は、判定結果（眼球３０と内視鏡先端部１２０との相対位置関係）を画像生成部１４４に出力する。
また位置判定部１４３は、当該距離情報に基づいて眼球３０と内視鏡先端部１２０との相対位置関係を演算する。
位置判定部１４３は、判定結果（眼球３０と内視鏡先端部１２０との相対位置関係）を画像生成部１４４に出力する。
【0042】
画像生成部１４４は、画像処理部１４２や位置判定部１４３、操作部１３などからの各種入力情報を用いて図５に示すような表示画像６を生成する。表示画像６を構成する各種画像の生成手法の詳細については後述する。
画像生成部１４４は、生成した表示画像６の画像信号を表示制御部１４５に出力する。
画像生成部１４４は、生成した表示画像６の画像信号を表示制御部１４５に出力する。
【0043】
表示制御部１４５は、画像生成部１４４から入力された画像信号に基づいて、モニタ１５上に表示画像６を表示させる制御を行う。
【0044】
＜３．実施の形態の処理例＞
本実施の形態を実現するために手術支援装置２の演算・制御部１４が実行する処理について説明する。ここでは一例として、施術者４が被術者３の頭部側に位置して手術を行っているものとする（図１参照）。
図７は、演算・制御部１４が実行する処理の一例を示すフローチャートである。演算・制御部１４は、画像の１フレームタイミング毎に図７の処理を繰り返し実行する。
本実施の形態を実現するために手術支援装置２の演算・制御部１４が実行する処理について説明する。ここでは一例として、施術者４が被術者３の頭部側に位置して手術を行っているものとする（図１参照）。
図７は、演算・制御部１４が実行する処理の一例を示すフローチャートである。演算・制御部１４は、画像の１フレームタイミング毎に図７の処理を繰り返し実行する。
【0045】
ステップＳ１０１において、演算・制御部１４は、内視鏡１２から入力された撮像画像データを取得する。演算・制御部１４は、内視鏡１２が眼球３０内部を撮像して得た撮像画像データとしての各フレーム画像データを内部メモリに格納する。
【0046】
ステップＳ１０２において、演算・制御部１４は画像回転角データを取得する。
画像回転角データは、内視鏡１２からの撮像画像データの回転処理を行う際に用いられる当該撮像画像データの回転方向及び回転角度を示す情報である。
画像回転角データは、操作部１３からの操作入力に応じて適宜更新される。ただし、アーム部１７の動作に応じて内視鏡１２の撮像方向が変位することによっては、画像回転角データは更新されない。
画像回転角データは、内視鏡１２からの撮像画像データの回転処理を行う際に用いられる当該撮像画像データの回転方向及び回転角度を示す情報である。
画像回転角データは、操作部１３からの操作入力に応じて適宜更新される。ただし、アーム部１７の動作に応じて内視鏡１２の撮像方向が変位することによっては、画像回転角データは更新されない。
【0047】
演算・制御部１４が図７の処理を開始してから操作部１３による操作入力を検知するまでの間（以下、初期状態とも表記する。）においては、画像回転角データは内視鏡撮像画像に対する回転処理の角度０°を指示する値とされる。
演算・制御部１４は、操作部１３からの操作入力を検知すると、その操作量に応じて画像回転角データを更新する。例えば更新された画像回転角データの角度の正負により回転方向が示される。画像回転角データの更新処理の詳細については後述する。
演算・制御部１４は、操作部１３からの操作入力を検知すると、その操作量に応じて画像回転角データを更新する。例えば更新された画像回転角データの角度の正負により回転方向が示される。画像回転角データの更新処理の詳細については後述する。
【0048】
ステップＳ１０３において、演算・制御部１４は、内視鏡１２からの撮像画像データ及び画像回転角データに基づいて、内視鏡撮像画像６１の画像データを生成する。
この場合少なくとも演算・制御部１４は、内視鏡１２からの撮像画像データを画像回転角データに基づいた方向及び角度で回転させた内視鏡撮像画像６１の画像データを生成する。
この場合少なくとも演算・制御部１４は、内視鏡１２からの撮像画像データを画像回転角データに基づいた方向及び角度で回転させた内視鏡撮像画像６１の画像データを生成する。
【0049】
また初期状態の場合は画像回転角データとして回転角度０°が指示されていることになるため、演算・制御部１４は、内視鏡１２からの撮像画像データを回転させずに内視鏡撮像画像６１としての画像データを生成する。
【0050】
ステップＳ１０４において、演算・制御部１４は、表示画像６の画像データを生成する。
演算・制御部１４は、内視鏡撮像画像６１、眼球マップ画像６２、内視鏡視点マップ画像６３、挿入長提示画像６４、その他必要な画像の画像データを合成することで表示画像６の画像データを生成する。
演算・制御部１４は、内視鏡撮像画像６１、眼球マップ画像６２、内視鏡視点マップ画像６３、挿入長提示画像６４、その他必要な画像の画像データを合成することで表示画像６の画像データを生成する。
【0051】
ここで、上述した内視鏡撮像画像６１以外の各種画像における画像データの生成手法の例について説明する。
【0052】
・眼球マップ画像６２
演算・制御部１４は、撮像部２４Ｌ，２４Ｒが眼球３０を撮像して得た各フレームとしての一対の撮像画像データに基づき、眼球３０や角膜３１に映る照射部２３からの光２５の光点を認識するなどの各種画像解析処理を行う。
演算・制御部１４は、一対の撮像画像データ（ステレオ画像）に対し、角膜３１に映る光点の位置のずれ量から三角測量の原理によって撮像部２４から角膜３１までの距離である撮像距離を演算する。
演算・制御部１４は、演算した撮像距離に基づいて撮像部２４と眼球３０の位置関係を判定し、撮像部２４と相対位置関係が固定された内視鏡１２（内視鏡先端部１２０）と眼球３０の位置関係を判定する。
演算・制御部１４は、判定した眼球３０と内視鏡１２（内視鏡先端部１２０）の位置関係を三次元眼球モデル３０Ａと内視鏡モデル１２Ａの位置関係として示した眼球マップ画像６２の画像データを生成する。
演算・制御部１４は、撮像部２４Ｌ，２４Ｒが眼球３０を撮像して得た各フレームとしての一対の撮像画像データに基づき、眼球３０や角膜３１に映る照射部２３からの光２５の光点を認識するなどの各種画像解析処理を行う。
演算・制御部１４は、一対の撮像画像データ（ステレオ画像）に対し、角膜３１に映る光点の位置のずれ量から三角測量の原理によって撮像部２４から角膜３１までの距離である撮像距離を演算する。
演算・制御部１４は、演算した撮像距離に基づいて撮像部２４と眼球３０の位置関係を判定し、撮像部２４と相対位置関係が固定された内視鏡１２（内視鏡先端部１２０）と眼球３０の位置関係を判定する。
演算・制御部１４は、判定した眼球３０と内視鏡１２（内視鏡先端部１２０）の位置関係を三次元眼球モデル３０Ａと内視鏡モデル１２Ａの位置関係として示した眼球マップ画像６２の画像データを生成する。
【0053】
・内視鏡視点マップ画像６３
演算・制御部１４は、内視鏡１２の視点による被術者３の三次元モデル画像を表示する内視鏡視点マップ画像６３の画像データを生成する。
被術者３の三次元モデルには、あらかじめ設定されたヒトの頭部の三次元モデルデータが用いられる。内視鏡１２に対する被術者３の頭部の角度を示す値が、被術者３が手術台１に仰向けで横たえられた状態であり、手術台１に対する内視鏡保持装置１１の設置角度が規定されているという前提のもと、あらかじめ頭部角度データとして設定されている。
演算・制御部１４は、三次元モデルデータと頭部角度データに基づいて、三次元眼球モデル画像を有する三次元モデル画像を生成する。
そして演算・制御部１４は、眼球３０と内視鏡１２の位置関係に基づいて三次元モデル画像と内視鏡モデル画像を合成することで、内視鏡視点マップ画像６３の画像データを生成する。
演算・制御部１４は、内視鏡１２の視点による被術者３の三次元モデル画像を表示する内視鏡視点マップ画像６３の画像データを生成する。
被術者３の三次元モデルには、あらかじめ設定されたヒトの頭部の三次元モデルデータが用いられる。内視鏡１２に対する被術者３の頭部の角度を示す値が、被術者３が手術台１に仰向けで横たえられた状態であり、手術台１に対する内視鏡保持装置１１の設置角度が規定されているという前提のもと、あらかじめ頭部角度データとして設定されている。
演算・制御部１４は、三次元モデルデータと頭部角度データに基づいて、三次元眼球モデル画像を有する三次元モデル画像を生成する。
そして演算・制御部１４は、眼球３０と内視鏡１２の位置関係に基づいて三次元モデル画像と内視鏡モデル画像を合成することで、内視鏡視点マップ画像６３の画像データを生成する。
【0054】
・挿入長提示画像６４
演算・制御部１４は、判定した眼球３０と内視鏡１２（内視鏡先端部１２０）の位置関係から、内視鏡１２の眼球３０への挿入長に関する情報と、内視鏡先端部１２０から被術者３の網膜３６までの距離に関する情報とを演算する。
そして演算・制御部１４は、それらの情報に基づいて挿入長提示画像６４の画像データを生成する。
演算・制御部１４は、判定した眼球３０と内視鏡１２（内視鏡先端部１２０）の位置関係から、内視鏡１２の眼球３０への挿入長に関する情報と、内視鏡先端部１２０から被術者３の網膜３６までの距離に関する情報とを演算する。
そして演算・制御部１４は、それらの情報に基づいて挿入長提示画像６４の画像データを生成する。
【0055】
以上の手法により、表示画像６の画像データを生成するために必要な各種画像の画像データが生成される。
【0056】
続くステップＳ１０５において、演算・制御部１４は、表示画像６をモニタ１５の液晶に表示させるための表示制御を行う。これにより、モニタ１５の同一画面内に図５に示すような表示画像６が表示される。
【0057】
ところで、施術者４による眼球３０の手術中においては、図８に示すように内視鏡撮像画像６１に処置具５が映り込むことがある。この場合において内視鏡撮像画像６１は、処置具５の表示位置から明らかなように、図１に示す施術者４が眼球３０内部の手術を行う方向と上下左右が一致していない。
【0058】
これは眼球３０に挿入する内視鏡１２の位置を調節するときに、内視鏡１２に長手軸を中心とするひねりが生じたことに起因する。このようなひねりが生じた状態で内視鏡１２による眼球３０内部の撮像が行われると、施術者４が手術を行っている方向と上下左右が一致しない内視鏡撮像画像６１がモニタ１５上に表示されてしまう。
【0059】
このような場合、施術者４は、手術を円滑に進行させるために操作部１３の操作により内視鏡撮像画像６１を見やすい位置（例えば図９に示す位置）まで回転させる必要がある。
そのため、演算・制御部１４は、ステップＳ１０６，Ｓ１０７の処理を行うようにしている。
そのため、演算・制御部１４は、ステップＳ１０６，Ｓ１０７の処理を行うようにしている。
【0060】
ステップＳ１０６において、演算・制御部１４は、操作部１３からの操作入力を検知したか否かを判定する。操作入力は、例えば施術者４がフットペダルを足で操作することにより行われる。
【0061】
ステップＳ１０６において操作入力を検知しない場合、演算・制御部１４はステップＳ１０１に処理を戻し、以降同様の処理を実行する。
即ち、初期状態においては、回転していない状態の内視鏡撮像画像６１がモニタ１５上に表示される。
即ち、初期状態においては、回転していない状態の内視鏡撮像画像６１がモニタ１５上に表示される。
【0062】
一方、ステップＳ１０６において操作入力を検知した場合、演算・制御部１４はステップＳ１０６からＳ１０７に処理を進める。
ステップＳ１０７において、演算・制御部１４は、画像回転角データの更新処理を行う。
演算・制御部１４は、操作部１３からの操作入力に基づいて、画像回転角データとして回転方向及び回転角度を更新する。
ステップＳ１０７において、演算・制御部１４は、画像回転角データの更新処理を行う。
演算・制御部１４は、操作部１３からの操作入力に基づいて、画像回転角データとして回転方向及び回転角度を更新する。
【0063】
ステップＳ１０７の処理を行った後、演算・制御部１４はステップＳ１０１に処理を戻す。そして演算・制御部１４は、ステップＳ１０１からＳ１０３の処理を行い、内視鏡１２からの撮像画像データを更新された画像回転角データに基づいて回転させた内視鏡撮像画像６１の画像データを生成する。
【0064】
このような処理が実行されることで、操作部１３の操作に応じて、眼球３０内部での内視鏡１２の位置変位を生じさせずに、モニタ１５上に表示されている内視鏡撮像画像６１を回転させ続けることができる。例えば内視鏡撮像画像６１を、図８に示す位置から図９に示す位置まで回転させることができる。
【0065】
続くステップＳ１０４において、演算・制御部１４は、上記と同様に内視鏡撮像画像６１を含む表示画像６の画像データを生成する。
ステップＳ１０５において、演算・制御部１４は、表示画像６をモニタ１５の液晶に表示させるための表示制御を行う。施術者４の操作部１３の操作に応じて回転された内視鏡撮像画像６１がモニタ１５上に表示される。
ステップＳ１０５において、演算・制御部１４は、表示画像６をモニタ１５の液晶に表示させるための表示制御を行う。施術者４の操作部１３の操作に応じて回転された内視鏡撮像画像６１がモニタ１５上に表示される。
【0066】
施術者４が操作部１３を操作し続けている間、ステップＳ１０１からＳ１０７までの処理が演算・制御部１４により継続して実行される。
施術者４は、例えば内視鏡撮像画像６１に映り込んだ処置具５が手術の行いやすい位置になるまで操作部１３の操作を継続し、内視鏡撮像画像６１を回転させる。
施術者４は、例えば内視鏡撮像画像６１に映り込んだ処置具５が手術の行いやすい位置になるまで操作部１３の操作を継続し、内視鏡撮像画像６１を回転させる。
【0067】
施術者４による操作部１３の操作の終了により、演算・制御部１４は、ステップＳ１０６で操作入力を検知しないと判定する。この場合、演算・制御部１４は、ステップＳ１０６からＳ１０１に処理を戻し、以降、ステップＳ１０６で操作入力を検知するまで、ステップＳ１０１からＳ１０６の処理を繰り返し実行する。
【0068】
このとき演算・制御部１４は、最後に更新された画像回転角データに基づいて内視鏡撮像画像６１の画像データを生成し、モニタ１５への表示制御を行う。これにより、回転停止時点の回転角度が維持された状態で内視鏡撮像画像６１がモニタ１５上に表示される。
【0069】
なお、内視鏡１２の撮像方向を変位させるためにアーム部１７の動作制御によりホルダ２１に保持された内視鏡１２を移動させたとしても、演算・制御部１４により画像回転角データが更新されることはない。
【0070】
従って、モニタ１５上には、最後に更新された画像回転角データに基づく回転が維持された状態で、撮像方向のみが変位した内視鏡撮像画像６１が表示される。
よって、施術者４は、内視鏡１２の撮像方向を変位させた際に、操作部１３の操作により再度内視鏡撮像画像６１を回転させる必要がなくなる。
よって、施術者４は、内視鏡１２の撮像方向を変位させた際に、操作部１３の操作により再度内視鏡撮像画像６１を回転させる必要がなくなる。
【0071】
ステップＳ１０１からＳ１０６の処理を繰り返し実行するなかで、再度ステップＳ１０６で操作入力を検知すると、演算・制御部１４はステップＳ１０７，Ｓ１０１の順に処理を進め、以降同様の処理を実行する。
【0072】
＜４．まとめ＞
本発明の実施の形態における手術支援装置２は、内視鏡１２を保持するためのホルダ２１を有し、ホルダ２１で内視鏡１２を保持した状態で内視鏡１２の位置を調節するアーム部１７と、ホルダ２１に保持された内視鏡１２により撮像した内視鏡撮像画像６１の表示制御を行う表示制御部１４５と、内視鏡撮像画像６１を回転させるための操作部１３と、を備え、操作部１３の操作に応じて、内視鏡１２の位置変位を生じさせずに表示されている内視鏡撮像画像６１を回転させる（図６及び図７等参照）。
本発明の実施の形態における手術支援装置２は、内視鏡１２を保持するためのホルダ２１を有し、ホルダ２１で内視鏡１２を保持した状態で内視鏡１２の位置を調節するアーム部１７と、ホルダ２１に保持された内視鏡１２により撮像した内視鏡撮像画像６１の表示制御を行う表示制御部１４５と、内視鏡撮像画像６１を回転させるための操作部１３と、を備え、操作部１３の操作に応じて、内視鏡１２の位置変位を生じさせずに表示されている内視鏡撮像画像６１を回転させる（図６及び図７等参照）。
【0073】
これにより、操作部１３の操作を行う施術者４の意思を反映させた内視鏡撮像画像６１が表示される。
従って、施術者４が眼球３０内部の手術を行っている方向と上下左右が一致しない内視鏡撮像画像６１がモニタ１５上に表示された場合（図８参照）であっても、操作により内視鏡撮像画像６１を施術者４が手術を行いやすい位置（図９参照）に調節することができる。よって、手術の円滑な進行を促進することができる。
従って、施術者４が眼球３０内部の手術を行っている方向と上下左右が一致しない内視鏡撮像画像６１がモニタ１５上に表示された場合（図８参照）であっても、操作により内視鏡撮像画像６１を施術者４が手術を行いやすい位置（図９参照）に調節することができる。よって、手術の円滑な進行を促進することができる。
【0074】
本実施の形態における手術支援装置２においては、ホルダ２１に保持された内視鏡１２の撮像方向が変位した場合に、直前の回転状態を維持した内視鏡撮像画像６１が表示される（図７のＳ１０３等参照）。
【0075】
これにより、変位した位置での内視鏡撮像画像６１は、位置変位前と同じ角度による回転処理が施されてモニタ１５上に表示される。
従って、回転状態を維持するという施術者４の意思を反映させた内視鏡撮像画像６１を表示させることができる。また、内視鏡１２の位置が変位する度に施術者４が操作部１３を操作する必要がなくなるため、手術の円滑な進行を促進することができる。
従って、回転状態を維持するという施術者４の意思を反映させた内視鏡撮像画像６１を表示させることができる。また、内視鏡１２の位置が変位する度に施術者４が操作部１３を操作する必要がなくなるため、手術の円滑な進行を促進することができる。
【0076】
本実施の形態における手術支援装置２において、内視鏡撮像画像６１は、被術者３の眼球３０に挿入された内視鏡１２による眼球３０内部の撮像画像であり、表示制御部１４５は、内視鏡撮像画像６１と三次元眼球モデル３０Ａ上で内視鏡１２の位置を示す眼球マップ画像６２とを同一画面内に表示させる（図７のＳ１０５等参照）。
【0077】
これにより、内視鏡撮像画像６１が表示されたモニタ１５を視認することで、併せて被術者３の眼球３０に挿入された内視鏡１２の位置を把握することができる。
従って、施術者４は、眼球３０内部の映像が表示された表示画面６から視点を動かすことなく、眼球３０内部における挿入された内視鏡１２の位置を確認することができる。よって、眼球３０に対する手術をより円滑に進行することができる。
従って、施術者４は、眼球３０内部の映像が表示された表示画面６から視点を動かすことなく、眼球３０内部における挿入された内視鏡１２の位置を確認することができる。よって、眼球３０に対する手術をより円滑に進行することができる。
【0078】
本実施の形態における手術支援装置２において、操作部１３はフットペダルとされる（図３等参照）。
【0079】
これにより、施術者４は足により内視鏡撮像画像６１の回転操作を行うことができる。
従って、施術者４が手術中に両手が塞がっている場合であっても施術者４の意思を反映させた内視鏡撮像画像６１を表示させることができる。換言すれば、施術者４は、内視鏡撮像画像６１の回転操作を行っている間も両手を自由に使うことができる。よって、手術の円滑に進行させることができる。
従って、施術者４が手術中に両手が塞がっている場合であっても施術者４の意思を反映させた内視鏡撮像画像６１を表示させることができる。換言すれば、施術者４は、内視鏡撮像画像６１の回転操作を行っている間も両手を自由に使うことができる。よって、手術の円滑に進行させることができる。
【0080】
なお、本実施の形態では、内視鏡１２の一例として眼内内視鏡の例について説明したが、内視鏡１２は眼内内視鏡に限られるものではない。例えば被術者３の肋骨の間を切開し挿入する胸腔鏡や、腹部を切開し挿入する腹腔鏡など、様々な内視鏡を適用することができる。
【0081】
最後に、本開示に記載された実施の形態はあくまでも例示であり、本発明が上述の実施の形態に限定されることはない。また実施の形態で説明されている構成の組み合わせの全てが課題の解決に必須であるとは限らない。さらに本開示に記載された効果はあくまでも例示であり限定されるものではなく、他の効果を奏するものであってもよいし、本開示に記載された効果の一部を奏するものであってもよい。
【符号の説明】
【0082】
２ 手術支援装置
３ 被術者
１２ 内視鏡
１３ 操作部
１７ アーム部
２１ ホルダ
３０ 眼球
３０Ａ 三次元眼球モデル
６１ 内視鏡撮像画像
６２ 眼球マップ画像
１４５ 表示制御部
３ 被術者
１２ 内視鏡
１３ 操作部
１７ アーム部
２１ ホルダ
３０ 眼球
３０Ａ 三次元眼球モデル
６１ 内視鏡撮像画像
６２ 眼球マップ画像
１４５ 表示制御部
【要約】
施術者の意思を反映させた内視鏡撮像画像を表示させるために、本発明に係る手術支援装置は、内視鏡を保持するためのホルダを有し、前記ホルダで前記内視鏡を保持した状態で前記内視鏡の位置を調節するアーム部と、前記ホルダに保持された前記内視鏡により撮像した内視鏡撮像画像の表示制御を行う表示制御部と、前記内視鏡撮像画像を回転させるための操作部と、を備え、前記操作部の操作に応じて、前記内視鏡の位置変位を生じさせずに表示されている前記内視鏡撮像画像を回転させる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】