特開 2021-142175 術野監視システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2021-142175(P2021-142175A)

(43)【公開日】2021年9月24日

(54)【発明の名称】術野監視システム

(51)【国際特許分類】

   A61B 1/045 20060101AFI20210827BHJP

   A61B 34/30 20160101ALI20210827BHJP

【ＦＩ】

   A61B1/045 610

   A61B34/30

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

【全頁数】11

(21)【出願番号】特願2020-43627(P2020-43627)

(22)【出願日】2020年3月13日

(71)【出願人】

【識別番号】504136568

【氏名又は名称】国立大学法人広島大学

(74)【代理人】

【識別番号】100196380

【弁理士】

【氏名又は名称】森 匡輝

(72)【発明者】

【氏名】惠木 浩之

(72)【発明者】

【氏名】服部 稔

(72)【発明者】

【氏名】寿美 裕介

(72)【発明者】

【氏名】中島 一記

(72)【発明者】

【氏名】好中 久晶

(72)【発明者】

【氏名】大段 秀樹

【テーマコード（参考）】

4C161

【Ｆターム（参考）】

4C161AA24

4C161CC06

4C161GG13

4C161SS21

4C161TT09

(57)【要約】

【課題】手術部位を含む広い範囲を撮影可能であり、ぶれの少ない精細な映像を表示可能な術野監視システムを提供する。
【解決手段】術野監視システム１は、腹壁に取り付けられ、手術部位を観察するために内視鏡カメラ３４によって撮影される内視鏡画像より広い範囲の広角画像を撮影して腹腔内を監視する監視カメラ１０と、広角画像を補正する画像処理部２１２と、を備える。画像処理部２１２は、腹壁の振動情報に基づいて、広角画像のぶれを補正する。
【選択図】図１

【特許請求の範囲】

【請求項1】

腹壁に取り付けられ、手術部位を観察するための内視鏡画像より広い範囲の広角画像を撮影して腹腔内を監視する監視カメラと、
前記広角画像を補正する画像処理部と、を備え、
前記画像処理部は、
前記腹壁の振動情報に基づいて、前記広角画像のぶれを補正する、
術野監視システム。

【請求項2】

前記振動情報は、
マニピュレータを保持するロボットアームを動作させる操作情報に基づいて算出される、
請求項１に記載の術野監視システム。

【請求項3】

前記画像処理部は、
前記広角画像から出血を検出し、
前記出血を検出した場合、補正後の画像とともに警告を出力する、
請求項１又は２に記載の術野監視システム。

【請求項4】

前記出血の検出部位は、
前記内視鏡画像の範囲外である、
請求項３に記載の術野監視システム。

【請求項5】

前記画像処理部は、
前記広角画像から前記腹腔内に遺留された異物を検出し、
前記異物を検出した場合、補正後の画像とともに警告を出力する、
請求項１から４のいずれか一項に記載の術野監視システム。

【請求項6】

前記異物の検出部位は、
前記内視鏡画像の範囲外である、
請求項５に記載の術野監視システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ロボット支援手術の術野監視システムに関する。

【背景技術】

【0002】

従来、患者の身体的負担の少ない手術として、内視鏡手術が行われている。特に、複雑で細かな操作が可能であり、長時間の手術による疲れの少ないロボット支援手術の普及が進み、ロボット支援手術に関する様々な技術が開発されている。

【0003】

ロボット支援手術においては、術者及び補助者が直接手術部位を視認できないので、内視鏡カメラによって手術部位を撮影し、画像をモニタに表示することによって、術者及び補助者は、手術の状況を確認する。

【0004】

内視鏡カメラは、手術部位の詳細を確認するため、手術部位近辺の狭い視野の画像を撮影する。手術部位を中心とする狭い範囲の内視鏡画像において、視野を確保する画像処理技術が開発されている（例えば、特許文献１）。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】国際公開第２０１３／１４１１５５号

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１では、複数の内視鏡画像を用いて、手術器具による遮蔽領域を補完して表示することにより、当該視野を実質的に拡げることとしている。

【0007】

一方、ロボット支援手術では、ロボットアーム、ロボットアームに取り付けられたマニピュレータ等にかかる力を術者に精度よく伝えることは難しく、マニピュレータが臓器に接触したことを、術者が触覚によって把握することは難しい。したがって、手術部位近辺の狭い視野の画像を確認するだけでは、視野外をマニピュレータが移動する際に生じるマニピュレータと臓器との接触に気づかず、臓器を傷付けてしまうおそれがある。

【0008】

また、カメラを腹腔内に挿入して設置する場合、同じく腹腔内に挿入されたロボットアームが移動することにより腹壁が振動し、カメラの画像にぶれが生じる。特に、広視野の画像では、撮影対象が小さく見えるので、ぶれの影響は大きくなる。

【0009】

本発明は、上述の事情に鑑みてなされたものであり、手術部位を含む広い範囲を撮影可能であり、ぶれの少ない精細な映像を表示可能な術野監視システムを提供することを目的とする。

【課題を解決するための手段】

【0010】

上記目的を達成するために、この発明に係る術野監視システムは、
腹壁に取り付けられ、手術部位を観察するための内視鏡画像より広い範囲の広角画像を撮影して腹腔内を監視する監視カメラと、
前記広角画像を補正する画像処理部と、を備え、
前記画像処理部は、
前記腹壁の振動情報に基づいて、前記広角画像のぶれを補正する。

【0011】

また、前記振動情報は、
マニピュレータを保持するロボットアームを動作させる操作情報に基づいて算出される、
こととしてもよい。

【0012】

また、前記画像処理部は、
前記広角画像から出血を検出し、
前記出血を検出した場合、補正後の画像とともに警告を出力する、
こととしてもよい。

【0013】

また、前記出血の検出部位は、
前記内視鏡画像の範囲外である、
こととしてもよい。

【0014】

また、前記画像処理部は、
前記広角画像から前記腹腔内に遺留された異物を検出し、
前記異物を検出した場合、補正後の画像とともに警告を出力する、
こととしてもよい。

【0015】

また、前記異物の検出部位は、
前記内視鏡画像の範囲外である、
こととしてもよい。

【発明の効果】

【0016】

本発明の術野監視システムによれば、腹壁に取り付けられた監視カメラで視野の広い広角画像を撮影し、撮影された広角画像のぶれを、腹壁の振動情報に基づいて補正するので、手術部位を含む広い範囲を撮影可能であり、ぶれの少ない精細な映像を表示させることができる。

【図面の簡単な説明】

【0017】

【図1】本発明の実施の形態１に係る術野監視システムの構成を示すブロック図である。

【図2】実施の形態に係る手術中の腹腔内の状態を示す概念図である。

【図3】実施の形態２に係る術野監視システムの構成を示すブロック図である。

【図4】操作情報に基づくぶれ補正を示す概念図であり、（Ａ）は、ロボットアームの操作情報を示す図、（Ｂ）は、ぶれ補正の画像処理を示す図である。

【図5】術野監視装置と手術支援ロボットとを一体化した場合の術野監視システムの構成を示すブロック図である。

【発明を実施するための形態】

【0018】

本実施の形態に係る術野監視システム１は、手術支援ロボット３０と接続されて、手術を行う腹腔内の術野を撮影、表示するシステムである。図１に示すように、術野監視システム１は、腹腔内を広視野に撮影する監視カメラ１０、監視カメラ１０で撮影された広角画像を処理し術者及び補助者を支援する情報を提供する術野監視装置２０を備える。

【0019】

監視カメラ１０は、通常のロボット支援手術に用いられる内視鏡カメラ３４とは別に、術野を広範囲に撮影することのできる広視野角カメラである。監視カメラ１０は、低侵襲で腹腔内に挿入される小型カメラであり、患者の腹壁に取り付けられる。これにより、監視カメラ１０は、手術部位から離れた位置に配置されるので、手術部位を観察するための内視鏡画像より広い範囲の広角画像を撮影することができる。

【0020】

監視カメラ１０は、図２に示すように、カメラ本体１１、アジャスタ１２を備える。アジャスタ１２は、患者の体外に位置するストッパである。また、アジャスタ１２は、監視カメラ１０の先端部に位置するカメラ本体１１との距離を調整可能に配置される。これにより、カメラ本体１１と腹壁との距離を調整し、監視カメラ１０の視野を調整することが可能となる。

【0021】

術野監視装置２０は、監視カメラ１０と接続されて、監視カメラ１０で撮影された広角画像を取得するとともに、取得した画像を処理して、精細な画像を作成する。また、術野監視装置２０は、手術支援ロボット３０と接続されて、処理した画像、その他の情報を手術支援ロボット３０のモニタ３５に表示させる。

【0022】

術野監視装置２０は、図１のブロック図に示すように、制御部２１、記憶部２２、表示部２３、入力部２４を備える。

【0023】

制御部２１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、水晶発振器等から構成されており、術野監視装置２０全体の動作を制御する。制御部２１は、記憶部２２、制御部２１のＲＯＭ等に記憶されている各種動作プログラム及びデータをＲＡＭに読み込んでＣＰＵを動作させることにより、図１に示される制御部２１の各機能を実現させる。これにより、制御部２１は、監視カメラ制御部２１１及び画像処理部２１２として動作する。

【0024】

監視カメラ制御部２１１は、接続されている監視カメラ１０から、撮影された広角画像を取得する。また、入力部２４からの指示に基づいて、監視カメラ１０を制御して、監視カメラ１０の広角画像の焦点、露出、画角の調整等を行う。

【0025】

画像処理部２１２は、監視カメラ１０から取得した画像を処理する。具体的には、監視カメラ１０から取得される時系列の画像データについて、腹壁の振動によって生じる画像のぶれを補正する。ぶれ補正のアルゴリズムは、特に限定されない。例えば、取得した広角画像において、臓器の境界等の特徴点を検出し、各時刻の画像データ内の特徴点の座標変化を、腹壁の振動情報として算出する。そして、画像処理部２１２は、振動情報に基づいて、広角画像全体の表示位置を変化させることにより、ぶれを補正する。補正のアルゴリズムとしては、上記の方法の他、公知のぶれ補正方法を用いることができる。

【0026】

記憶部２２は、ハードディスク、フラッシュメモリ等の不揮発性メモリであり、画像処理アルゴリズム、監視カメラ１０で撮影された広角画像の補正前後の画像データ等を記憶する。

【0027】

表示部２３は、液晶パネル、有機ＥＬ（Electroluminescence）等の表示用デバイスであり、画像処理部２１２で処理された術野の画像、その他の情報を表示する。本実施の形態に係る表示部２３は、図１に示すように、術野監視装置２０の一部として補助者等に情報を提供する液晶モニタである。

【0028】

入力部２４は、監視カメラ１０の焦点、露出、画角等の設定パラメータの入力、画像処理アルゴリズムの選択等を行うための入力デバイスである。入力部２４は、タッチパネル、マウス等であり、本実施の形態に係る入力部２４は、液晶モニタである表示部２３上に配置されたタッチパネルである。

【0029】

手術支援ロボット３０は、患者の体内に挿入されて術者の操作入力に従って手術を行うマニピュレータ３１、先端に保持されたマニピュレータ３１を所定の位置へ移動させるロボットアーム３２、術者がマニピュレータ３１及びロボットアーム３２を操作する操作装置である操作部３３、マニピュレータ３１と同様に患者の体内に挿入され手術部位の画像を撮影する内視鏡カメラ３４を備える。また、手術支援ロボット３０は、術者が手術部位を観察するために、内視鏡カメラ３４で撮影された内視鏡画像を表示するモニタ３５を備える。また、モニタ３５は、術野監視装置２０から受信した手術補助情報を表示する。

【0030】

続いて、本実施の形態に係る術野監視システム１を用いた術野監視について、手術支援ロボット３０を用いて腹腔内を手術する場合を例として説明する。

【0031】

本実施の形態に係る術野監視では、まず、医師である術者は、患者の腹部を切開し、図２に示すように、カメラ本体１１を備える監視カメラ１０の先端部を、腹腔内へ挿入する。アジャスタ１２とカメラ本体１１との距離は、患者の腹壁の厚さを考慮して、予め設定されている。これにより、カメラ本体１１が腹腔内へ挿入された際、アジャスタ１２が体外でストッパとして働き、カメラ本体１１は腹壁内側の位置に設置される。

【0032】

監視カメラ１０が腹壁に取り付けられた後、術者又は補助者は、術野監視装置２０の入力部２４を操作し、監視カメラ１０の焦点、露出、画角等の調整を行う。これにより、カメラ本体１１は、患者の腹腔内において、手術部位から遠い位置に配置され、手術部位を含む広い範囲の術野を撮影することができる。

【0033】

監視カメラ１０の設定が完了した後、術者は、通常のロボット支援手術と同様に、内視鏡カメラ３４、マニピュレータ３１を腹腔内へ挿入して手術を行う。手術中は、図２に示すように、内視鏡カメラ３４で撮影された手術部位の画像がモニタ３５に表示され、術者はモニタ３５の画像を確認しながら手術を行う。

【0034】

また、監視カメラ１０で撮影された広角画像が、術野監視装置２０の表示部２３である液晶モニタに投影される。これにより、補助者は、手術部位を含む術野を監視することができる。

【0035】

手術中、監視カメラ１０で撮影された広角画像は、時系列の画像データとして術野監視装置２０の監視カメラ制御部２１１へ送信される。画像処理部２１２は、監視カメラ制御部２１１で取得された時系列の画像データについて、画像処理を行う。具体的には、手術中にロボットアーム３２が移動して、腹壁が振動することによって生じる監視カメラ１０の広角画像のぶれを補正する。

【0036】

補正のアルゴリズムは、上述したように、公知の方法等を用いることができ、取得された時系列の画像データに基づいて、腹壁の振動情報を算出し、広角画像のぶれを補正する方法であれば特に限定されない。

【0037】

制御部２１は、補正した広角画像を表示部２３である液晶モニタに表示させる。これにより、術野監視装置２０は、補助者に視認しやすく、ぶれの少ない精細な映像を表示部２３に表示させることができる。また、制御部２１は、補正した広角画像を手術支援ロボット３０に送信し、モニタ３５に表示させることとしてもよい。この場合、モニタ３５は、受信した監視カメラ１０の広角画像と、内視鏡カメラ３４の内視鏡画像とを並べて表示してもよいし、術者によって選択されたいずれかの画像を表示することとしてもよい。

【0038】

また、術野監視装置２０は、手術中の撮影範囲における出血を検知し、術者及び補助者に警告を発する。具体的には、画像処理部２１２は、監視カメラ制御部２１１で取得された時系列の画像データにおいて、各画素（ｘ，ｙ）のＲＧＢの値の内、Ｒ成分の輝度のみが、手術開始時の輝度と比較して、所定の閾値を超えて大きくなっている特異画素を検出する。

【0039】

そして、連続して隣り合う特異画素の数が、予め設定された所定の閾値（例えば、１０×２０画素）以上となった場合、制御部２１は警告を出力する。具体的には、画像処理部２１２は、表示部２３である液晶モニタと手術支援ロボット３０のモニタ３５に、出血を表す警告メッセージを手術補助情報として表示させる。また、制御部２１は、補正後の広角画像において、特異画素の範囲の境界を囲む、特異画素を点滅するように表示させる等、術者及び補助者が出血箇所を認識しやすくなるように表示させてもよい。

【0040】

これにより、術者及び補助者は、腹腔内で生じた出血を早期に認識し、必要な対応をとることができるので、より安全に手術を行うことが可能となる。特に、手術支援ロボット３０による手術では、術者に触感を伝えることが難しいので、内視鏡カメラ３４の視野外でマニピュレータ３１が意図せず患者の臓器を傷付けるおそれがある。このような場合であっても、本実施の形態に係る術野監視装置２０を用いることにより、出血の検出部位が内視鏡画像の範囲外であっても検出可能となる。したがって、術野の広い範囲で生じた出血を容易に認識することができる。

【0041】

また、上記の出血検出アルゴリズムでは、Ｒ成分の輝度の大きさが閾値以上となった画素を特異画素として認識することとしたが、これに限られない。例えば、各画素のＲ成分の輝度の上昇率が予め設定された閾値以上であった場合に、特異画素として検出することとしてもよい。

【0042】

また、術野監視装置２０は、手術が終了した際、腹腔内に遺留されたガーゼ等の異物を検知し、術者及び補助者に警告を発する。具体的には、術者又は補助者が入力部２４から手術終了の入力を行った後、画像処理部２１２は、監視カメラ制御部２１１で取得された時系列の画像データにおいて、各画素（ｘ，ｙ）のＲＧＢの各成分の輝度が同等、すなわち白色で表示される画素を検出する。そして、検出された画素のうち、予め設定された所定の閾値を超えて大きくなっている画素を特異画素として検出する。

【0043】

そして、特異画素の連続して隣り合う数が予め設定された閾値以上である場合、制御部２１は、警告を出力する。具体的には、画像処理部２１２は、表示部２３である外部モニタと手術支援ロボット３０のモニタ３５に、異物の遺留を表す警告メッセージを、手術補助情報として表示させる。また、制御部２１は、補正後の広角画像において、特異画素の範囲の境界を囲む、特異画素を点滅するように表示させる等、術者及び補助者が遺留されたガーゼ等の異物の箇所を認識しやすくなるように表示させてもよい。

【0044】

これにより、術者及び補助者は、腹腔内に遺留された異物を早期に認識し、取り除くことができるので、より安全に手術を行うことが可能となる。特に、内視鏡カメラ３４の視野外で異物の遺留が生じた場合であっても、本実施の形態に係る術野監視装置２０を用いることにより、容易に認識することができる。言い換えると、異物の検出部位が内視鏡画像の範囲外であっても、異物の遺留を発見することができる。

【0045】

以上説明したように、本発明の術野監視システムによれば、患者の腹壁に取り付けられた監視カメラ１０で視野の広い広角画像を撮影し、撮影された広角画像のぶれを補正して表示するので、術者、補助者にぶれの少ない精細な映像を提供することができる。したがって、ロボット支援手術の安全性、利便性を向上させることが可能となる。

【0046】

また、術野監視装置２０で画像処理を行うことにより、内視鏡カメラ３４の視野に入らない広い範囲の出血、異物の遺留を検出して警告を行うことができるので、ロボット支援手術をより安全に行うことができる。

【0047】

（実施の形態２）
上記実施の形態１では、監視カメラ１０の時系列の画像データに対して画像認識を用いてぶれ補正を行うこととしたが、手術支援ロボット３０の操作情報に基づいてぶれ補正を行うこともできる。

【0048】

以下、操作情報に基づいてぶれ補正を行う術野監視システム２について具体的に説明する。図３に示すように、本実施の形態では、術野監視装置２０’の操作情報取得部２１３が手術支援ロボット３０から取得した操作情報に基づいて、画像処理部２１２が監視カメラ１０の広角画像をぶれ補正する点で実施の形態１と異なる。その他、術野監視装置２０’、手術支援ロボット３０の構成は、実施の形態１に係る術野監視装置２０、手術支援ロボット３０と同様であるので、同じ符号を付して、詳細な説明は省略する。

【0049】

本実施の形態に係る制御部２１は、監視カメラ制御部２１１、画像処理部２１２及び操作情報取得部２１３として動作する。監視カメラ制御部２１１は、実施の形態１と同様に、監視カメラ１０の調整を行うとともに、接続されている監視カメラ１０から、撮影された広角画像を取得する。

【0050】

手術支援ロボット３０は、術野監視装置２０’と電気的に接続されており、術者が操作部３３で入力した操作情報を術野監視装置２０の操作情報取得部２１３へ送信する。

【0051】

操作情報取得部２１３は、手術支援ロボット３０のロボットアーム３２が操作される際の操作情報、すなわち、ロボットアーム３２の移動方向、移動速度等の情報を取得する。また、術野監視装置２０’は、必要な手術補助情報を手術支援ロボット３０へ送信し、モニタ３５に表示させる。

【0052】

監視カメラ１０が患者の腹壁に設置され、手術が開始されると、監視カメラ制御部２１１は、監視カメラ１０で撮影された画像データを取得する。また、操作情報取得部２１３は、手術支援ロボット３０の操作部３３から、術者がロボットアーム３２を操作するために入力した操作情報を取得する。操作情報は、例えば、ロボットアーム３２の位置、ロボットアーム３２を動作させるための各軸方向の速度等である。

【0053】

画像処理部２１２は、操作情報取得部２１３で取得された操作情報と、予め設定された監視カメラ１０の位置とに基づいて、腹壁の振動情報、すなわち監視カメラ１０の移動方向と移動量を予測する。そして、画像処理部２１２は、予測された移動方向と移動量に基づいて、監視カメラ制御部２１１で取得された広角画像全体の位置を補正する。

【0054】

より具体的には、画像処理部２１２は、図４（Ａ）に示すロボットアーム３２の移動方向及び移動量（−Ｘ）に基づいて、監視カメラ１０の移動方向及び移動量（−＾Ｘ）を予測する。そして、図４（Ｂ）に示すように、予測された移動方向及び移動量に対応する方向と画素数（−ｘ）で監視カメラ１０の広角画像を移動させ、ぶれ補正を行う。制御部２１は、補正した広角画像を表示部２３である液晶モニタに表示させる。また、制御部２１は、手術支援ロボット３０のモニタ３５に補正した広角画像を表示させることとしてもよい。

【0055】

以上説明したように、本実施の形態に係る術野監視システム２は、手術支援ロボット３０の操作情報に基づいて、監視カメラ１０の広角画像のぶれ補正を行う。したがって、複雑な画像認識処理を行わなくても、ぶれ補正を行うことができるので、術野監視システム２は、より簡素な処理で、補助者に視認しやすく、ぶれの少ない精細な画像を表示させることができる。

【0056】

本実施の形態では、手術支援ロボット３０の操作情報に基づいて監視カメラ１０の広角画像を補正することとしたが、これに限られない。例えば、手術開始後の所定時間、画像認識による広角画像のぶれ量を算出し、算出されたぶれ量と操作情報取得部２１３で取得された操作情報との組み合わせデータを記憶部２２へ記憶させる。そして所定時間経過後、画像処理部２１２は、記憶部２２に記憶されている組み合わせデータに基づいて、操作情報とぶれ量との関係を学習する。そして、学習完了後、画像処理部２１２は、操作情報に基づいてぶれ補正を行うように、画像処理アルゴリズムを切り替えることとしてもよい。これにより、ぶれ補正の精度を向上させるとともに、画像処理部２１２の処理を簡素化することができる。

【0057】

また、上記各実施の形態では、術野監視装置２０，２０’と手術支援ロボット３０とを接続して、術野監視を行うこととしたが、これに限られない。例えば、図５に示すように、術野監視装置２０，２０’と手術支援ロボット３０とを一体化し、手術支援ロボット３０の一部として画像処理を行うこととしてもよい。これにより、術野監視システム１，２と手術支援ロボット３０とを含むシステム全体を小型化することができる。

【産業上の利用可能性】

【0058】

本発明は、手術支援ロボットを用いた内視鏡手術に好適である。特に、マニピュレータによって手術部位以外の臓器を傷付けるおそれのある腹腔内の手術に好適である。

【符号の説明】

【0059】

１，２ 術野監視システム、１０ 監視カメラ、１１ カメラ本体、１２ アジャスタ、２０，２０’ 術野監視装置、２１ 制御部、２１１ 監視カメラ制御部、２１２ 画像処理部、２１３ 操作情報取得部、２２ 記憶部、２３ 表示部、２４ 入力部、３０ 手術支援ロボット、３１ マニピュレータ、３２ ロボットアーム、３３ 操作部、３４ 内視鏡カメラ、３５ モニタ

【図1】

【図2】

【図3】

【図4】

【図5】