特許 7571722 医療用観察システムおよび方法、並びに医療用観察装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-15

(45)【発行日】2024-10-23

(54)【発明の名称】医療用観察システムおよび方法、並びに医療用観察装置

(51)【国際特許分類】

   A61B 1/00 20060101AFI20241016BHJP

   A61B 1/045 20060101ALI20241016BHJP

   G02B 23/24 20060101ALI20241016BHJP

【ＦＩ】

A61B1/00 551

A61B1/00 655

A61B1/045 622

G02B23/24 B

G02B23/24 A

【請求項の数】 15

(21)【出願番号】P 2021511472

(86)(22)【出願日】2020-03-23

(86)【国際出願番号】 JP2020012676

(87)【国際公開番号】W WO2020203405

(87)【国際公開日】2020-10-08

【審査請求日】2023-02-03

(31)【優先権主張番号】P 2019065756

(32)【優先日】2019-03-29

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】100121131

【弁理士】

【氏名又は名称】西川 孝

(74)【代理人】

【氏名又は名称】稲本 義雄

(74)【代理人】

【識別番号】100168686

【弁理士】

【氏名又は名称】三浦 勇介

(72)【発明者】

【氏名】小林 洋平

(72)【発明者】

【氏名】相馬 芳男

(72)【発明者】

【氏名】宇山 慧佑

【審査官】渡戸 正義

(56)【参考文献】

【文献】特開２０１５－１９５８４４（ＪＰ，Ａ）

【文献】特開平１１－３３７８４５（ＪＰ，Ａ）

【文献】特開２００９－２５８２７３（ＪＰ，Ａ）

【文献】国際公開第２０１８／１７９７４９（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ １／００ － １／３２

Ｇ０２Ｂ ２３／２４

(57)【特許請求の範囲】

【請求項1】

医療用観察装置により取得された術野データを取得する取得部と、
前記医療用観察装置の光学系の変化を検知する検知部と、
前記検知部により前記光学系の変化が検知された場合、変化後の前記光学系により定まるパラメータを推定する推定部と、
前記推定部の推定結果を用いて、前記術野データに基づく３次元情報の生成条件を設定する設定部と
を備え、
前記検知部は、ロボットアームが保持する前記医療用観察装置の位置の軌跡を用いて、前記光学系の変化を検知する
医療用観察システム。

【請求項2】

医療用観察装置により取得された術野データを取得する取得部と、
前記医療用観察装置の光学系の変化を検知する検知部と、
前記検知部により前記光学系の変化が検知された場合、変化後の前記光学系により定まるパラメータを推定する推定部と、
前記推定部の推定結果を用いて、前記術野データに基づく３次元情報の生成条件を設定する設定部と
を備え、
前記検知部は、前記術野データにより表される術野画像の画角の変化が生じた場合であって、ロボットアームが保持する前記医療用観察装置の移動がないときに、前記光学系の変化があったものとして検知する
医療用観察システム。

【請求項3】

前記検知部は、前記光学系の変化に基づいて、前記術野データを、複数の術野画像のフレームからなる区間であるセクション毎に区切り、
前記推定部は、前記セクション毎に、前記パラメータを推定する
請求項１または２に記載の医療用観察システム。

【請求項4】

前記推定部は、予め求められた、前記光学系の情報と前記パラメータとの関係を表すテーブルに基づいて、前記医療用観察装置から取得される前記光学系の情報に対応する前記パラメータを推定する
請求項１または２に記載の医療用観察システム。

【請求項5】

前記推定部は、前記術野データに基づいて前記パラメータを推定する
請求項１または２に記載の医療用観察システム。

【請求項6】

前記推定部は、前記術野データにより表される術野画像から前記パラメータを推定し、前記パラメータの行列の信頼性指標を生成する
請求項５に記載の医療用観察システム。

【請求項7】

前記推定部により推定された前記パラメータを用いて、前記３次元情報を生成する３次元情報生成部をさらに備える
請求項１または２に記載の医療用観察システム。

【請求項8】

前記３次元情報生成部は、前記検知部により前記光学系の変化が検知された場合、前記３次元情報の生成を停止し、前記推定部により前記パラメータが推定された場合、推定された前記パラメータを用いて、前記３次元情報の生成を再開する
請求項７に記載の医療用観察システム。

【請求項9】

前記術野データにより表される術野画像または前記３次元情報の表示を制御する表示制御部をさらに備える
請求項１または２に記載の医療用観察システム。

【請求項10】

前記表示制御部は、前記検知部による前記光学系の変化の検知結果を表示させる
請求項９に記載の医療用観察システム。

【請求項11】

前記表示制御部は、前記検知結果として、前記医療用観察装置のスコープが交換されたことを表す情報を表示させる
請求項１０に記載の医療用観察システム。

【請求項12】

前記表示制御部は、前記検知結果として、前記医療用観察装置のスコープに関連する情報を表示させる
請求項１０に記載の医療用観察システム。

【請求項13】

前記表示制御部は、変化前の前記３次元情報と変化後の前記３次元情報とを表示させる
請求項１０に記載の医療用観察システム。

【請求項14】

医療用観察システムが、
医療用観察装置により取得された術野データを取得し、
前記医療用観察装置の光学系の変化を検知し、
前記光学系の変化が検知された場合、変化後の前記光学系により定まるパラメータを推定し、
推定結果を用いて、前記術野データに基づく３次元情報の生成条件を設定し、
前記検知は、ロボットアームが保持する前記医療用観察装置の位置の軌跡を用いて、前記光学系の変化を検知する
医療用観察方法。

【請求項15】

医療用観察システムが、
医療用観察装置により取得された術野データを取得し、
前記医療用観察装置の光学系の変化を検知し、
前記光学系の変化が検知された場合、変化後の前記光学系により定まるパラメータを推定し、
推定結果を用いて、前記術野データに基づく３次元情報の生成条件を設定し、
前記検知は、前記術野データにより表される術野画像の画角の変化が生じた場合であって、ロボットアームが保持する前記医療用観察装置の移動がないときに、前記光学系の変化があったものとして検知する
医療用観察方法。

【発明の詳細な説明】

【技術分野】

【0001】

本技術は、医療用観察システムおよび方法、並びに医療用観察装置に関し、特に、光学系に変更が生じた場合でも３次元情報の精度を維持することができるようにした医療用観察システムおよび方法、並びに医療用観察装置に関する。

【背景技術】

【0002】

内視鏡や顕微鏡といった医療用観察装置を用いた手術において、術野画像に基づいて３次元情報を生成し、３次元情報を術野画像の画像処理または表示処理に利用することが提案されている。

【0003】

例えば、特許文献１においては、３次元情報をSLAMにより生成し、画面に表示する技術が提案されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１７－２２５７００号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、手術中に、医療用観察装置の光学系が変更される場合がある。例えば、医療用観察装置のフォーカス調整を行った場合、光学系内のフォーカスレンズの位置が移動する。特に、内視鏡手術では、内視鏡のスコープを手術中に交換することがあり、これにより、光学系の変更が生じる。

【0006】

医療用観察装置の光学系に変更が生じた場合、前提とするパラメータが異なるため、変更前に生成された３次元情報の精度と、変更後に生成された３次元情報の精度とが異なるものになるが、手術中に３次元情報を最初から作り直すことは困難である。

【0007】

本技術はこのような状況に鑑みてなされたものであり、光学系に変更が生じた場合でも３次元情報の精度を維持することができるようにするものである。

【課題を解決するための手段】

【0008】

本技術の一側面の第１の医療用観察システムは、医療用観察装置により取得された術野データを取得する取得部と、前記医療用観察装置の光学系の変化を検知する検知部と、前記検知部により前記光学系の変化が検知された場合、変化後の前記光学系により定まるパラメータを推定する推定部と、前記推定部の推定結果を用いて、前記術野データに基づく３次元情報の生成条件を設定する設定部とを備え、前記検知部は、ロボットアームが保持する前記医療用観察装置の位置の軌跡を用いて、前記光学系の変化を検知する。
本技術の一側面の第２の医療用観察システムは、医療用観察装置により取得された術野データを取得する取得部と、前記医療用観察装置の光学系の変化を検知する検知部と、前記検知部により前記光学系の変化が検知された場合、変化後の前記光学系により定まるパラメータを推定する推定部と、前記推定部の推定結果を用いて、前記術野データに基づく３次元情報の生成条件を設定する設定部とを備え、前記検知部は、前記術野データにより表される術野画像の画角の変化が生じた場合であって、ロボットアームが保持する前記医療用観察装置の移動がないときに、前記光学系の変化があったものとして検知する。
本技術の一側面の第１の医療用観察方法は、医療用観察システムが、医療用観察装置により取得された術野データを取得し、前記医療用観察装置の光学系の変化を検知し、前記光学系の変化が検知された場合、変化後の前記光学系により定まるパラメータを推定し、推定結果を用いて、前記術野データに基づく３次元情報の生成条件を設定し、前記検知は、ロボットアームが保持する前記医療用観察装置の位置の軌跡を用いて、前記光学系の変化を検知する。
本技術の一側面の第２の医療用観察方法は、医療用観察システムが、医療用観察装置により取得された術野データを取得し、前記医療用観察装置の光学系の変化を検知し、前記光学系の変化が検知された場合、変化後の前記光学系により定まるパラメータを推定し、推定結果を用いて、前記術野データに基づく３次元情報の生成条件を設定し、前記検知は、前記術野データにより表される術野画像の画角の変化が生じた場合であって、ロボットアームが保持する前記医療用観察装置の移動がないときに、前記光学系の変化があったものとして検知する。

【0010】

本技術においては、医療用観察装置により取得された術野データが取得され、前記医療用観察装置の光学系の変化が検知され、前記光学系の変化が検知された場合、変化後の前記光学系により定まるパラメータが推定され、推定結果を用いて、前記術野データに基づく３次元情報の生成条件が設定される。前記検知は、ロボットアームが保持する前記医療用観察装置の位置の軌跡を用いて、前記光学系の変化を検知する、またはロボットアームが保持する前記医療用観察装置の移動がないときに、前記光学系の変化があったものとして検知する。

【図面の簡単な説明】

【0011】

【図1】本技術の第１の実施の形態に係る手術支援システムの構成例を示す図である。

【図2】本技術の第１の実施の形態に係る手術支援システムの機能構成例を示すブロック図である。

【図3】マスク領域の例を示す図である。

【図4】図２の手術支援システムの３次元情報生成処理について説明するフローチャートである。

【図5】手術支援システムの他の構成例を示す図である。

【図6】本技術の第２の実施の形態に係る手術支援システムを構成する情報処理装置の構成例を示す図である。

【図7】本技術の第２の実施の形態に係る手術支援システムの機能構成例を示すブロック図である。

【図8】図７の手術支援システムの３次元情報生成処理について説明するフローチャートである。

【図9】本技術の実施の形態に係る手術支援システムの他の構成例を示す図である。

【図10】情報処理装置のハードウェア構成例を示すブロック図である。

【発明を実施するための形態】

【0012】

以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．第１の実施の形態（手術中の利用）
２．第２の実施の形態（教育での利用）
３．適用例
４．ハードウェア構成
５．その他

【0013】

＜＜１．第１の実施の形態（手術中の利用）＞＞
＜手術支援システムの構成例（内視鏡をスコピストが保持する例）＞
図１は、本技術の第１の実施の形態に係る手術支援システムの構成例を示す図である。

【0014】

図１は、例えば、医療現場において従来の開腹手術に代わって行われる、腹部の内視鏡外科手術において用いられる内視鏡手術システムの一例を示している。

【0015】

図１の手術支援システム１においては、腹部の内視鏡外科手術では、従来のように腹壁を切って開腹する代わりに、トロッカ２５ａおよび２５ｂと呼ばれる開孔器具が腹壁に数か所取り付けられる。そして、トロッカ２５ａおよび２５ｂに設けられている孔から、患者の体内を観察する観察用医療機器としての腹腔鏡（以下、内視鏡ともいう）１１、エネルギ処置具２２や鉗子２３などが体内に挿入される。

【0016】

術者は、内視鏡１１によって撮像された患者の体内にある患部（腫瘍など）Ｕの画像をリアルタイムに見ながら、エネルギ処置具２２などによって患部Ｕを切除するなどの処置を行う。内視鏡１１、エネルギ処置具２２や鉗子２３は、術者またはロボットなどにより保持される。なお、術者とは、手術室で行われる手術に関わっている医療従事者をいい、術者には、例えば手術の執刀医、助手、スコピスト、看護師の他、手術室とは別の場所からその手術をモニタしている医者などが含まれる。図１の例において、内視鏡１１は、例えば、スコピストにより保持されている。内視鏡１１は、患者に挿入されるスコープと、スコープにより導光された光を受光して撮像する撮像素子を含むカメラヘッドを含む。なお、スコープは硬性タイプでもよいし、軟性タイプでもよい。また、スコープと撮像素子が一体化していてもよい。

【0017】

このような内視鏡下手術を行う手術室内には、内視鏡下手術のための装置類を搭載するカート３１、患者が横たわる患者ベッド３３、フットスイッチ３５などが設置される。カート３１には、医療機器として、例えば、カメラコントロールユニット（CCU）１３、光源装置１７、処置具用装置２１、気腹装置２４、表示装置１５、レコーダ２６、およびプリンタ２７などの装置類が載置される。

【0018】

内視鏡１１の観察光学系を通じて撮像された患部Ｕの画像信号は、信号伝送ケーブルであるカメラケーブルを介してCCU１３に伝送される。CCU１３は、カメラケーブルを介して内視鏡１１に接続される他、無線の通信経路を介して内視鏡１１に接続されてもよい。CCU１３は、内視鏡１１から出力される画像信号に対して信号処理を施し、信号処理後の画像信号を表示装置１５に出力する。このような構成により、患部Ｕの術野画像が表示装置１５に表示される。

【0019】

なお、CCU１３は、信号処理後の画像信号をレコーダ２６に出力することで、レコーダ２６に、患部Ｕの術野画像を画像データ（例えば、動画像のデータ）として記録させてもよい。また、CCU１３は、信号処理後の画像信号をプリンタ２７に出力することで、プリンタ２７に、患部Ｕの術野画像を印刷させてもよい。

【0020】

光源装置１７は、ライトガイドケーブルを介して内視鏡１１に接続され、患部Ｕに対してさまざまな波長の光を切り替えて照射することが可能である。光源装置１７から照射される光は、例えば、補助光として用いられる場合もある。

【0021】

処置具用装置２１は、例えば、電気熱を用いて患部Ｕを切断するエネルギ処置具２２に対して高周波電流を出力する高周波出力装置に相当する。

【0022】

気腹装置２４は、送気、吸気手段を備え、患者体内の例えば腹部領域に空気を送気する。

【0023】

フットスイッチ３５は、術者や助手などのフット操作をトリガ信号として、CCU１３や処置具用装置２１などを制御する。

【0024】

＜手術支援システムの機能構成例＞
（CCU１３周りの構成）
図２は、手術支援システムの機能構成例を示すブロック図である。

【0025】

図２の手術支援システム１００は、撮像部１０１、情報処理部１０２、および表示部１０３により構成される。

【0026】

撮像部１０１は、図１の内視鏡１１に相当する。撮像部１０１は、スコピストによる操作に応じて術野を撮像し、撮像することによって得られた画像信号を情報処理部１０２に出力する。撮像部１０１は、術野を撮像して得られた術野データを出力する医療用観察装置である。医療用観察装置として、内視鏡ではなく、顕微鏡が用いられるようにしてもよい。なお、医療用観察装置には撮像処理および生成した画像信号を処理するための回路（例えばCPU(Central Processing Unit)、およびRAM(Random Access Memory)、ROM(Read Only Memory)、またはFPGA(Field-Programmable Gate Array)）が積まれている。

【0027】

情報処理部１０２は、図１のCCU１３に相当する。情報処理部１０２は、撮像部１０１から供給された画像信号を取得し、画像信号に対して信号処理を施し、信号処理を施すことによって生成された術野画像の信号を表示部１０３に出力する。なお、情報処理部１０２がCCU１３以外の装置において構成されるようにしてもよい。

【0028】

表示部１０３は、図１の表示装置１５に相当する。表示部１０３は、情報処理部１０２から供給される画像信号に基づいて術野画像を表示する。

【0029】

（情報処理部１０２の詳細構成）
情報処理部１０２は、光学系変化検知部１１１、パラメータ推定部１１２、３次元情報生成部１１３、および表示情報生成部１１４により構成される。

【0030】

情報処理部１０２のうちの少なくとも一部は、図１のCCU１３のCPUなどを含む回路により所定のプログラムが実行されることによって実現される。撮像部１０１から出力された画像信号は、光学系変化検知部１１１、３次元情報生成部１１３、および表示情報生成部１１４に入力される。なお、情報処理部１０２のうちの少なくとも一部の機能は、FPGAにより実現されてもよい。

【0031】

・光学系変化検知部１１１
光学系変化検知部１１１は、手術中、撮像部１０１に生じた光学系の変化を検知する。光学系の変化は、例えば、ズーム（画角）の調整（ズームレンズの移動）やフォーカスの調整（フォーカスレンズの移動）などの光学系の調整が撮像部１０１において行われた場合、撮像部１０１にスコープが含まれるときはスコープの交換が行われた場合などに生じる。

【0032】

・光学系の情報を撮像部１０１から電子的に得ることができる場合
例えば、ズームの調整やフォーカスの調整はCCU１３の出力に基づいて、撮像部１０１に含まれる光学系の一部の光学部材を移動させているため、CCU１３内に光学系の変化を示す情報（例えば、ズームレンズの位置やフォーカスレンズの位置を示す情報）が記憶される。この場合、光学系変化検知部１１１は、CCU１３に記憶された光学系の変化を示す情報に基づいて、光学系の変化を検知する。
また、撮像部１０１に取り外し可能なスコープが含まれており、そのスコープにスコープの種類を示す情報を記憶した記憶部が設けられている場合がある。このとき、スコープの情報を撮像部１０１に含まれる回路が取得し、CCU１３に出力する構成としてもよい。この場合、光学系変化検知部１１１は、撮像部１０１から得られる情報に基づいて、光学系の変化を検知する。

【0033】

・光学系の情報を撮像部１０１から電子的に得ることができない場合
この場合、光学系変化検知部１１１は、撮像部１０１から得られる画像信号に基づいて、光学系の変化を検知する。

【0034】

例えば、光学系変化検知部１１１は、撮像部１０１から順次供給される画像信号におけるマスク領域を繰り返し検出する。図３に示すように、マスク領域は、画像信号から生成される術野画像において、術野が映る有効領域の周りに形成されるケラレの領域である。スコープの交換などが行われたときにケラレが変化することでマスク領域が変化し、円形状の有効領域の径の大きさが変化することになる。

【0035】

光学系変化検知部１１１は、このようなマスク領域の変化を検知することにより、撮像部１０１に生じた光学系の変化を検知する。

【0036】

また、光学系変化検知部１１１は、カメラ行列（フレームの基本行列）の特異値を利用することにより、撮像部１０１に生じた光学系の変化を検知する。カメラ行列の特異値に基づいて、焦点距離の変化を検知することが可能となる。これにより、フォーカスレンズの移動やズームレンズの移動といった光学系の変化を検知することができる。

【0037】

ここで、カメラ行列の特異値を利用した検知方法は、焦点距離が同じである場合に、２つの視点において算出された基本行列の非ゼロの特異値が同じであるという性質を用い、基本行列の特異値の比によって、焦点距離が変化したことを検知する方法である。当該方法については、例えば、「野沢和輝,”焦点距離が未知の入力画像群に対する３次元復元の安定化”,CVIM-182,vol.2012,No.19」に記載されている。

【0038】

具体的には、光学系変化検知部１１１において、以下の（ａ）乃至（ｄ）の処理が行われる。

【0039】

（ａ）光学系変化検知部１１１は、SLAMにおいて３次元情報を生成するための基準となるキーフレームを記録する。

【0040】

（ｂ）光学系変化検知部１１１は、キーフレームを用いて基本行列Eを逐次的に計算する。

【0041】

（ｃ）光学系変化検知部１１１は、基本行列Eの非０特異値を計算する。

【0042】

ここで、基本行列Eは、３×３の行列である。３次元復元の基礎であるエピポーラ条件を満たす場合、Eを特異値分解（下式（１））した際の、対角行列Σの３行目の特異値は０になり、フレームiにおける対角行列Σ_iは、下式（２）のようになる。

【0043】

【数1】

【数2】

ここで、σ_i2＜σ_i1とする。

【0044】

（ｄ）光学系変化検知部１１１は、非０特異値の比を各時間で比較することによって、焦点距離が変化したことを検知する。

【0045】

すなわち、同じ焦点距離で撮影した画像を元に算出した場合、１行目の特異値と２行目の特異値は等しい。この性質から、σ_i2／σ_i1が１に比べて小さい場合、そのことは、焦点距離が変わったことを意味する。したがって、下式（３）に示されるように、フレームiにおける対角行列Σの特異値の比と閾値thを比較することで、光学系の変化を検知することができる。

【0046】

【数3】

【0047】

光学系変化検知部１１１は、以上のようにして光学系の変化を検知して得られた検知結果をパラメータ推定部１１２に出力する。パラメータ推定部１１２に出力される検知結果には、撮像部１０１の光学系の情報も含まれる。なお、光学系の変化の検知方法については、以上のような方法に限定されるものではなく、他の方法を採用することも可能である。

【0048】

・パラメータ推定部１１２
図２のパラメータ推定部１１２は、術野画像に基づく３次元情報の生成条件となるパラメータを推定する。パラメータは、光学系により定まるパラメータであり、例えば、焦点距離、画像中心、倍率、レンズの歪み係数を示す情報である。パラメータを構成する情報は、光学系により定まるパラメータを少なくとも１つ含んでいればよく、例えば、焦点距離、画像中心、倍率、および歪み係数のうちの少なくとも１つが含まれていればよい。なお、光学系により定まるパラメータは、撮像部１０１における光学系の配置により定まるパラメータを含む。例えば、同じスコープであってもスコープの取り外しを行うことで画像中心がわずかに変化することがある。

【0049】

・光学系の情報を撮像部１０１から電子的に得ることができる場合
この場合、パラメータ推定部１１２は、光学系の情報とパラメータとの関係を表すテーブルを参照し、撮像部１０１から得られる光学系の情報に対応するパラメータを求める。パラメータ推定部１１２には、予め生成された、光学系の情報とパラメータとの関係を表すテーブルが与えられている。

【0050】

・光学系の情報を撮像部１０１から電子的に得ることができない場合
この場合、パラメータ推定部１１２は、撮像部１０１から得られる画像信号に基づいて、パラメータとしてのパラメータ行列を推定する。

【0051】

例えば、キャリブレーションパターンを使用せずにパラメータの行列を推定することができるSelf-Calibrationを適用した推定方法が用いられる。Self-Calibrationについては、例えば、「O.D.Faugeras, “Camera self-calibration：Theory and experiments”, Europe Conference on Computer Vision, 1992, pp321-334.」に記載されている。パラメータ推定部１１２は、推定したパラメータ行列の信頼性指標となる情報を算出する。

【0052】

パラメータ推定部１１２は、パラメータの推定結果を用いて、３次元情報の生成条件を新たに設定するか否か、すなわち、推定後のパラメータで、３次元情報の生成条件となるパラメータを更新するか否かを判定する。３次元情報の生成条件となるパラメータを更新すると判定した場合、３次元情報の生成条件となるパラメータが更新される。

【0053】

パラメータを更新するか否かの判定方法としては、パラメータ推定部１１２自身が判断する自動的な判定方法と、ユーザにより判定させる手動の判定方法とがある。

【0054】

自動的な判定方法を用いる場合、パラメータ推定部１１２は、推定後のパラメータ行列の信頼性指標を用いた閾値判定によって、パラメータを更新するか否かを判定する。例えば、推定後のパラメータ行列の信頼性指標が事前に設定された閾値より高い場合、パラメータを更新するものとして判定され、閾値より低い場合、パラメータを更新しないものとして判定される。

【0055】

手動の判定方法を用いる場合、パラメータ推定部１１２は、推定結果を表示部１０３に提示し、推定結果を見たユーザによる選択に応じて、パラメータを更新するか否かを判定する。

【0056】

・３次元情報生成部１１３
３次元情報生成部１１３は、撮像部１０１から供給される画像信号により表される術野画像の各フレームに基づいて、３次元情報の生成条件となるパラメータを用いて３次元情報を生成する。３次元情報は、術野画像に基づき、上述したパラメータを用いて生成される情報である。３次元情報には、術野画像に映る被写体（臓器や体腔内）の３次元構造を表す３次元マップと、撮像部１０１の自己位置および姿勢を表す位置・姿勢情報とが含まれる。

【0057】

３次元情報生成のアルゴリズムとしては、術野画像のみを入力とするVisual SLAM、または、ToFセンサやLidarなどで深さ情報を測定し、術野画像と深さ情報とを入力とするRGB-D-SLAMなどが用いられる。

【0058】

３次元情報生成部１１３は、光学系の変化が光学系変化検知部１１１により検知された場合、新しいパラメータがパラメータ推定部１１２により推定されるまで、３次元情報の生成を停止する。新しいパラメータが推定された場合、３次元情報生成部１１３は、新しいパラメータを用いて、３次元情報の生成を再開する。

【0059】

また、３次元情報生成部１１３は、光学系の変化が光学系変化検知部１１１により検知された場合、３次元情報の生成を停止せずに、光学系の変化前の３次元情報と、光学系の変化後の３次元情報とを区別して保存する。３次元情報生成部１１３は、新しいパラメータが推定された後、光学系の変化前に撮影された場所と同じ場所が撮影された際に、その場所の３次元情報（光学系の変化前の３次元情報）を、新しいパラメータを用いて生成した３次元情報（光学系の変化後の３次元情報）に置き換えることによって、３次元情報を更新する。

【0060】

３次元情報生成部１１３は、このようにして生成した３次元情報を表示情報生成部１１４に出力する。

【0061】

・表示情報生成部１１４
表示情報生成部１１４は、撮像部１０１から供給される画像信号に基づいて、術野画像を表示部１０３に表示させる。

【0062】

また、表示情報生成部１１４は、３次元情報生成部１１３から供給される３次元情報に基づいて、３次元マップを表示部１０３に表示させる。パラメータの更新前と更新後とで、色などの表示方法を変えて３次元マップが表示されるようにしてもよい。

【0063】

また、表示情報生成部１１４は、光学系変化検知部１１１における光学系の変化の検知結果を表示させる。その際、撮像部１０１においてスコープが交換されたことを表す情報が表示されるようにしてもよいし、交換後のスコープの種類などの情報が表示されるようにしてもよい。

【0064】

さらに、表示情報生成部１１４は、３次元情報の生成条件として設定された新たなパラメータを表示部１０３に表示させるようにしてもよい。

【0065】

＜手術支援システムの動作例＞
図４は、手術支援システム１００における３次元情報生成処理について説明するフローチャートである。

【0066】

ステップＳ１１１において、３次元情報生成部１１３は、撮像部１０１から得られる画像信号により表される術野画像に基づき、パラメータを用いて３次元情報を生成する。

【0067】

ステップＳ１１２において、３次元情報生成部１１３は、新たに生成した３次元情報を用いて、それまでに生成した３次元情報を更新する。

【0068】

ステップＳ１１３において、表示情報生成部１１４は、３次元情報生成部１１３から供給される３次元情報に基づいて、３次元マップを表示部１０３に表示させる。

【0069】

ステップＳ１１４において、光学系変化検知部１１１は、光学系の変化を検知したか否かを判定する。

【0070】

光学系の変化を検知したとステップＳ１１４において判定された場合、ステップＳ１１５において、パラメータ推定部１１２は、パラメータを推定する。パラメータが更新されるまで、３次元情報の生成は停止される。

【0071】

ステップＳ１１６において、パラメータ推定部１１２は、推定後のパラメータを用いて、３次元情報の生成条件となるパラメータを更新するか否かを判定する。ここでの判定は、上述したようにパラメータの推定結果の信頼性指標に基づいて行われる。

【0072】

パラメータを更新しないとステップＳ１１６において判定された場合、ステップＳ１１５に戻り、パラメータの推定が繰り返される。

【0073】

一方、パラメータを更新するとステップＳ１１６において判定された場合、ステップＳ１１７において、パラメータ推定部１１２は、３次元情報の生成条件となるパラメータを、新しいパラメータによって更新する。パラメータ推定部１１２により更新されたパラメータは、３次元情報生成部１１３に供給される。

【0074】

３次元情報生成部１１３においては、例えば、光学系の変化が検知される前の３次元マップと対応がとれるように、新しいパラメータを用いて、３次元マップのスケールを調整するなどして、３次元情報の生成が継続される。

【0075】

ステップＳ１１８において、３次元情報生成部１１３は、３次元情報生成処理を終了するか否かを判定する。ステップＳ１１８において、３次元情報生成処理を終了しないと判定された場合、または、ステップＳ１１４において、光学系の変化を検知していないと判定された場合、ステップＳ１１１に戻り、それ以降の処理が繰り返される。

【0076】

一方、ステップＳ１１８において３次元情報生成処理を終了すると判定された場合、手術支援システム１００の処理は終了となる。

【0077】

以上の処理により、撮像部１０１の光学系に変化が生じた場合には、３次元情報の生成条件となるパラメータが更新され、更新後のパラメータを用いて３次元情報の生成が継続される。

【0078】

Visual-SLAMにおいて正確な３次元情報を生成するためには、焦点距離、画像中心、歪み係数を含むパラメータを適切な値に設定する必要がある。一般的なVisual-SLAMでは、カメラキャリブレーションでパラメータを求め、動作中（手術中）は、予め求めたパラメータを固定値として扱い、３次元情報の生成が行われる。

【0079】

一方、手術中はズームなどの光学系の調整やスコープ自体の交換が行われることがあり、これにより、パラメータが変化する。光学系の変化の前後では、生成される３次元情報のスケール等に変化が生じたり、誤差が生じたりすることになる。変更後の３次元情報を利用するためには、パラメータを再調整すればよいが、スコープを取り出してカメラキャリブレーションを手動で行う必要があり、手術中にそれを行うのは現実的ではない。

【0080】

以上のように更新後のパラメータを用いて３次元情報の生成が継続されるようにすることにより、手術中に撮像部１０１の光学系に変化が生じた場合であっても、パラメータのキャリブレーションなどを再度行うことなく、３次元情報の精度を維持することが可能となる。

【0081】

＜手術支援システムの他の構成例（内視鏡をロボットアームが保持する例）＞
図５は、手術支援システムの他の構成例を示す図である。

【0082】

図５に示す構成のうち、図１の構成と対応する部分には同じ符号を付してある。重複する説明については適宜省略する。図５に示す手術支援システム２００の構成は、ロボットアーム２１１を含むロボットアーム装置２１２と、内視鏡下手術のための各種の装置が搭載されているカート２１３が設けられている点で、図１に示す構成と異なる。

【0083】

ロボットアーム装置２１２は、ロボットアーム２１１を用いて内視鏡１１を保持する。ロボットアーム装置２１２により取得される、内視鏡１１の位置・姿勢情報はCCU１３（図２の情報処理部１０２）に供給される。

【0084】

内視鏡１１がロボットアーム２１１により保持されている場合、ロボットアーム装置２１２から供給される内視鏡１１の位置・姿勢情報は、光学系の変化の検知とパラメータの推定に利用される。

【0085】

＜手術支援システムの機能構成例＞
図５の手術支援システム２００の機能構成は、図２を参照して説明した構成と同じ構成である。図２を再び参照して、手術支援システム２００についての撮像部１０１（内視鏡１１）の位置・姿勢情報を利用した光学系の変化の検知方法と、パラメータの推定方法について説明する。

【0086】

ロボットアーム装置２１２から供給される撮像部１０１の位置・姿勢情報は、光学系変化検知部１１１および３次元情報生成部１１３に入力される。

【0087】

・光学系変化検知部１１１
光学系変化検知部１１１は、ロボットアーム装置２１２から供給される撮像部１０１の自己位置の軌跡に基づいて、光学系の変化を検知する。

【0088】

SLAMによって３次元情報生成部１１３により推定される撮像部１０１の自己位置は、３次元マップと同様に光学系が変化すると誤差が生じるようになる。光学系変化検知部１１１は、ロボットアーム装置２１２から得られる実際の撮像部１０１の自己位置の軌跡と３次元情報生成部１１３により推定される自己位置の軌跡を比較し、それらの誤差が大きくなった場合、光学系の変化が生じたものとして検知する。

【0089】

また、一般的には、画角が変化した場合、ズームによる縮退と光軸方向の撮像部１０１の移動を区別することは難しいが、ロボットアーム２１１により撮像部１０１が保持されている場合は、撮像部１０１の移動の有無を検知できることから、画角を用いた光学系の変化の検知が可能になる。すなわち、術野画像の画角に変化が生じた場合であって、撮像部１０１の移動がないときに、光学系の変化があったものとして検知されることになる。

【0090】

なお、撮像部１０１がスコピストにより保持される場合においても、センサなどで撮像部１０１の移動の有無を検知できるときには、ロボットアーム２１１の場合と同様に、画角の変化と撮像部１０１の移動の有無を用いて、光学系の変化の検知が行われるようにしてもよい。

【0091】

光学系の変化の検知の方法としては、例えば、フレーム間で特徴点を記録し、術野画像の外周側に近い特徴点の変化を追跡することによって検知する方法があげられる。

【0092】

・パラメータ推定部１１２
パラメータ推定部１１２は、ロボットアーム装置２１２から得られる撮像部１０１の位置・姿勢情報を用いてパラメータを推定する。ロボットアームから得られる情報に基づくパラメータの推定については、例えば、「Radu Horaud, “The Advantage of Mounting a Camera onto a Robot Arm”, Europe-China Workshop on Geometrical Modelling and Invariants for Computer Vision, 1995, pp206-213.」に開示されている。

【0093】

図５の手術支援システム２００の動作は、図４を参照して説明した動作と基本的に同じ動作である。

【0094】

以上のように、第１の実施の形態によれば、手術中に光学系が変化した場合でも変化後の３次元情報の精度を維持することができ、変化前に生成した３次元情報と、変化後に生成した３次元情報とを連続して利用することが可能となる。

【0095】

＜＜２．第２の実施の形態（教育での利用）＞＞
＜手術支援システムの構成例＞
図６は、本技術の第２の実施の形態に係る手術支援システムを構成する情報処理装置３００のハードウェア構成の一例を示すブロック図である。

【0096】

図６の情報処理装置３００を含む手術支援システムは、例えば、図１の手術支援システムにおいて記録しておいた手術中の画像などを手術後に表示し、術者または生徒への教育のために用いられるシステムである。情報処理装置３００を含む手術支援システムは、内視鏡手術教育システムということもできる。

【0097】

図６に示すように、情報処理装置３００は、例えばコンピュータなどで構成される。

【0098】

CPU３０１、ROM３０２、RAM３０３は、バス３０４により相互に接続されている。

【0099】

バス３０４には、さらに、入出力インタフェース３０５が接続されている。入出力インタフェース３０５には、キーボード、マウスなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７が接続される。

【0100】

また、入出力インタフェース３０５には、ハードディスクや不揮発性のメモリなどよりなる記憶部３０８、ネットワークインタフェースなどよりなる通信部３０９、リムーバブルメディア３１１を駆動するドライブ３１０が接続される。

【0101】

手術支援システムを教育のために用いる場合、パラメータを即時に推定する必要がない点で、第１の実施の形態と異なる。術野画像全体を一度読み込んでから処理を行うことが可能となる。

【0102】

第２の実施の形態においては、記録しておいた画像全体で最適化した３次元マップ（統合した３次元マップ）を一度生成し、その後、カメラの姿勢推定も含めたSLAMを動作させ、３次元マップを表示させるようになされている。

【0103】

＜手術支援システムの機能構成例＞
（全体構成）
図７は、手術支援システムの機能構成例を示すブロック図である。

【0104】

図７の手術支援システム３５０は、画像記憶部３５１、情報処理部３５２、および表示部３５３により構成される。

【0105】

画像記憶部３５１は、図６の記憶部３０８に相当する。画像記憶部３５１は、手術中に内視鏡１１（図１）により撮像された術野画像を記憶する。

【0106】

情報処理部３５２は、図６のCPU３０１において実現される。情報処理部３５２は、画像記憶部３５１に記憶された術野画像に対して信号処理を施し、信号処理を施して得られた術野画像を表示部３５３に供給する。

【0107】

表示部３５３は、図６の出力部３０７を構成するディスプレイに相当する。表示部３５３は、情報処理部３５２から供給される画像信号に基づいて術野画像を表示する。

【0108】

（情報処理部３５２の詳細構成）
情報処理部３５２は、光学系変化検知部３６１、３次元マップ生成部３６２、３次元マップ記憶部３６３、３次元情報生成部３６４、および表示情報生成部３６５により構成される。情報処理部３５２のうちの少なくとも一部は、図６のCPU３０１により所定のプログラムが実行されることによって実現される。上述した説明と重複する説明については、適宜省略する。

【0109】

・光学系変化検知部３６１
光学系変化検知部３６１は、画像記憶部３５１に記憶されている術野画像全体を参照し、光学系の変化を検知する。光学系の変化の検知は、図２の光学系変化検知部１１１と同様にして行われる。

【0110】

光学系変化検知部３６１は、パラメータが同じフレームの区間、すなわち、光学系の変化がないフレームの区間をセクションとして設定する。

【0111】

光学系変化検知部３６１は、各セクションのパラメータを推定する。パラメータの推定は、図２のパラメータ推定部１１２と同様にして行われる。光学系変化検知部３６１は、各セクションのパラメータを３次元マップ生成部３６２に出力する。

【0112】

・３次元マップ生成部３６２
３次元マップ生成部３６２は、光学系変化検知部３６１から供給されるパラメータを用いて、各セクションの３次元マップを生成する。３次元マップ生成部３６２が生成する３次元マップは、セクションを構成する複数フレームの術野画像に映る被写体の３次元マップとなる。

【0113】

３次元マップの生成には、Visual SLAMやRGB-D-SLAMの他に、例えば、複数の視点から３次元マップを生成可能なMultiview stereoやSfMを用いることが可能である。Multiview stereoについては、例えば、「Multi-View Stereo： A Tutorial. Foundations and. TrendsR in Computer Graphics and Vision, vol. 9, no. 1-2, 2013, pp.1-148.」、「Evaluation of multi-view 3D reconstruction software, CAIP 2015： Computer Analysis of Images and Patterns, pp.450-461.」に記載されている。

【0114】

３次元マップ生成部３６２は、各セクションの３次元マップを３次元マップ記憶部３６３に出力する。

【0115】

・３次元マップ記憶部３６３
３次元マップ記憶部３６３は、３次元マップ生成部３６２により生成された各セクションの３次元マップを記憶する。

【0116】

・３次元情報生成部３６４
３次元情報生成部３６４は、３次元マップ記憶部３６３に記憶された各セクションの３次元マップを統合し、すべてのセクションを通して統合した３次元マップを生成する。

【0117】

各セクションで生成された３次元マップは、セクション毎にパラメータが異なるため、スケールおよび位置が異なり、そのまま統合してSLAM処理に用いることが困難である。そのため、３次元情報生成部３６４においては、各セクションのスケールと位置関係が補正され、スケールなどを最適化しながら、３次元マップが統合される。

【0118】

具体的には、３次元情報生成部３６４は、セクションの中で基準となる３次元マップに対して、それ以外のセクションの３次元マップのスケールを推定することで、すべてのセクションにおける３次元マップのスケールを揃えて統合する。

【0119】

各セクションで生成される３次元マップの点のそれぞれは、特徴量と呼ばれる、その点の特徴を表すベクトルを保持している。３次元情報生成部３６４は、異なる３次元マップ間で同じ特徴量を保持する点を探索することによって、３次元マップで重なる部分を同定することができる。３次元情報生成部３６４は、重なる部分において、最小二乗法を用い、残差が最小となるスケールと位置関係を同定する。

【0120】

なお、特徴量を保持する点としては、術野画像の特徴点、または、３次元マップの特徴点などがある。

【0121】

術野画像の特徴点は、例えば、SIFT、SURF、ORB、およびAKAZEなどである。

【0122】

３次元マップの特徴点は、例えば、SHOT、PFH、およびPPFなどである。

【0123】

また、生成後の３次元マップの各点が特徴量を保持しておらず、３次元マップ間において対応点の同定、すなわち、重なる部分の同定ができない場合は、対応関係の推定も同時に行いながら、２つの点群のレジストレーションが行えるICPを用いることもできる。

【0124】

３次元情報生成部３６４は、統合した３次元マップを用いて、カメラの自己位置および姿勢推定も含めたSLAMにより、３次元情報を生成する。

【0125】

３次元情報生成部３６４は、生成後の３次元情報を表示情報生成部３６５に出力する。

【0126】

上記説明においては、３次元マップ生成部３６２において、各セクションの３次元マップの生成が行われる場合の例について説明したが、３次元マップ生成部３６２において、各セクションの３次元情報（位置・姿勢情報と３次元マップ）が生成されるようにしてもよい。３次元マップ記憶部３６３には、各セクションの３次元情報が記憶される。

【0127】

この際、３次元情報生成部３６４においては、各セクションの３次元情報が統合され、統合した３次元情報を用いて、カメラの自己位置および姿勢推定も含めたSLAM処理が行われ、再度、３次元情報が生成される。

【0128】

・表示情報生成部３６５
表示情報生成部３６５は、図２の表示情報生成部１１４と同様に、画像記憶部３５１から読み出される画像信号に基づいて、術野画像を表示部３５３に表示させる。

【0129】

また、表示情報生成部３６５は、３次元情報生成部３６４から供給される３次元情報に基づいて、統合された３次元マップを表示部３５３に表示させる。

【0130】

＜手術支援システムの動作例＞
図８は、手術支援システム３５０における３次元情報生成処理について説明するフローチャートである。

【0131】

ステップＳ３１１において、光学系変化検知部３６１は、画像記憶部３５１から得られる画像信号により表される術野画像を読み込む。

【0132】

ステップＳ３１２において、光学系変化検知部３６１は、術野画像全体を参照し、光学系の変化の検知結果に基づいて、パラメータが同じフレームの区間、すなわち、光学系の変化がないフレームの区間をセクションとして設定する。

【0133】

ステップＳ３１３において、光学系変化検知部３６１は、各セクションのパラメータを推定する。

【0134】

ステップＳ３１４において、３次元マップ生成部３６２は、各セクションの３次元マップを生成する。

【0135】

ステップＳ３１５において、３次元マップ記憶部３６３は、３次元マップ生成部３６２により生成された各セクションの３次元マップを記憶する。

【0136】

ステップＳ３１６において、３次元情報生成部３６４は、３次元マップ記憶部３６３に記憶された各セクションの３次元マップを統合し、統合した３次元マップを生成する。３次元情報生成部３６４は、統合した３次元マップを用いて、カメラの自己位置および姿勢推定も含めたSLAMにより、３次元情報を生成する。

【0137】

ステップＳ３１７において、表示情報生成部３６５は、３次元情報生成部３６４から供給される３次元情報に基づいて、３次元マップを表示部３５３に表示させる。

【0138】

ステップＳ３１７において、表示部３５３に３次元マップが表示された場合、手術支援システム３５０の処理は終了となる。

【0139】

以上の処理により、撮像部１０１の光学系に変化に応じて設定されるセクション毎に、３次元情報の生成条件となるパラメータが更新され、セクション毎に生成された３次元マップが統合される。

【0140】

以上のように、第２の実施の形態によれば、手術後の教育などに用いられる場合において、光学系の変化が手術中に生じていても、３次元情報に誤差が生じることを抑制することができる。

【0141】

＜＜３．適用例＞＞
次に、図９を参照して、本技術の実施の形態に係る手術支援システムの適用例として、アームを備えた手術用ビデオ顕微鏡装置が用いられる場合の一例について説明する。

【0142】

図９は、患者の体内を観察する観察用医療機器としての手術用ビデオ顕微鏡装置を用いた顕微鏡手術システムの一例を示している。

【0143】

図９には、施術者（ユーザ）５２０である医師が、例えばメス、鑷子、鉗子などの手術用の器具５２１を使用して、施術台５３０上の施術対象（患者）５４０に対して手術を行っている様子が示されている。

【0144】

なお、以下の説明において、施術とは、手術や検査など、ユーザ５２０である医師が施術対象５４０である患者に対して行う各種の医療的な処置の総称であるものとする。また、図９の例では、施術の一例として手術の様子が示されているが、手術用ビデオ顕微鏡装置５１０が用いられる施術は手術に限定されず、他の各種の施術であってもよい。

【0145】

施術台５３０の脇には、本技術の実施の形態に係る手術用ビデオ顕微鏡装置５１０が設けられる。

【0146】

手術用ビデオ顕微鏡装置５１０は、基台であるベース部５１１、ベース部５１１から延伸するアーム部５１２、そして、アーム部５１２の先端に先端ユニットとして接続される撮像ユニット５１５を備える。

【0147】

アーム部５１２は、複数の関節部５１３ａ、５１３ｂ、５１３ｃ、関節部５１３ａ、５１３ｂによって連結される複数のリンク５１４ａ、５１４ｂ、そして、アーム部５１２の先端に設けられる撮像ユニット５１５を有する。

【0148】

図９の例では、簡単のため、アーム部５１２は３つの関節部５１３ａ乃至５１３ｃと２つのリンク５１４ａ、５１４ｂを有している。実際には、アーム部５１２と撮像ユニット５１５の位置および姿勢の自由度を考慮して、所望の自由度を実現するように関節部５１３ａ乃至５１３ｃとリンク５１４ａ、５１４ｂの数や形状、関節部５１３ａ乃至５１３ｃの駆動軸の方向などが適宜設定されてもよい。

【0149】

関節部５１３ａ乃至５１３ｃは、リンク５１４ａ、５１４ｂを互いに回動可能に連結する機能を有し、関節部５１３ａ乃至５１３ｃの回転が駆動されることにより、アーム部５１２の駆動が制御される。

【0150】

アーム部５１２の先端には、先端ユニットとして撮像ユニット５１５が接続されている。

【0151】

撮像ユニット５１５は、被写体の光学像を取得する光学系を含むことで、撮像対象の画像を取得するユニットであり、例えば動画像や静止画像を撮像できるカメラなどとして構成される。図９に示されるように、アーム部５１２の先端に設けられた撮像ユニット５１５が、施術対象５４０の施術部位の様子を撮像するように、手術用ビデオ顕微鏡装置５１０によってアーム部５１２と撮像ユニット５１５の自己位置および姿勢が制御される。

【0152】

なお、アーム部５１２の先端に先端ユニットとして接続される撮像ユニット５１５の構成は特に限定されず、例えば、撮像ユニット５１５は、内視鏡や顕微鏡として構成されてもよい。また、撮像ユニット５１５は、アーム部５１２に対して着脱可能に構成されてもよい。

【0153】

このような構成により、例えば、利用用途に応じた撮像ユニット５１５が、アーム部５１２の先端に先端ユニットとして適宜接続されてもよい。なお、ここでは、先端ユニットとして撮像ユニット５１５が適用されている場合に着目して説明するが、アーム部５１２の先端に接続される先端ユニットは、必ずしも撮像ユニット５１５に限定されないことは言うまでもない。

【0154】

また、ユーザ５２０と対向する位置には、モニタやディスプレイなどの表示装置５５０が設置される。撮像ユニット５１５により取得された施術部位の画像は、例えば、手術用ビデオ顕微鏡装置５１０に内蔵または外付けされた画像処理装置により、各種画像処理が施されたうえで、表示装置５５０の表示画面に電子画像として表示される。

【0155】

このような構成により、ユーザ５２０は、表示装置５５０の表示画面に表示される施術部位の電子画像を見ながら各種の処置（例えば手術など）を行うことが可能となる。

【0156】

ここで、図９の例では、撮像ユニット５１５が、例えば、図２を参照して説明した撮像部１０１を含む。また、撮像ユニット５１５により取得された施術部位の画像に対して、各種画像処理を施す画像処理装置が、図２を参照して説明した情報処理部１０２の一例に相当する。同様に、表示装置５５０が、図２を参照して説明した表示部１０３の一例に相当する。

【0157】

また、図９の例では、アーム部５１２が、図５を参照して説明したロボットアーム２１１の一例に相当する。同様に、手術用ビデオ顕微鏡装置５１０が、図５を参照して説明したロボットアーム装置２１２を含む。

【0158】

＜＜４．ハードウェア構成＞＞
次に、図１０を参照して、本技術の実施の形態に係る手術支援システムを構成する情報処理装置のハードウェア構成の一例について、詳細に説明する。

【0159】

図１０は、本技術の実施の形態に係る手術支援システムを構成する情報処理装置９００のハードウェア構成の一例を示すブロック図である。

【0160】

図１０に示されるように、情報処理装置９００は、CPU９０１，ROM９０３，およびRAM９０５を備えている。さらに、情報処理装置９００は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インタフェース９１３、入力装置９１５、出力装置９１７、およびストレージ装置９１９を備えている。なお、情報処理装置９００は、ドライブ９２１、接続ポート９２３、通信装置９２５を備えてもよい。

【0161】

CPU９０１は、演算処理装置および制御装置として機能し、ROM９０３、RAM９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置９００内の動作全般またはその一部を制御する。

【0162】

ROM９０３は、CPU９０１が使用するプログラムや演算パラメータなどを記憶する。RAM９０５は、CPU９０１が使用するプログラムや、プログラムの実行において適宜変化するパラメータなどを一次記憶する。これらは、CPUバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。なお、図２を参照して説明した情報処理部１０２の各構成は、例えばCPU９０１により実現される。

【0163】

ホストバス９０７は、ブリッジ９０９を介して、PCI（Peripheral Component Interconnect/Interface）バスなどの外部バス９１１に接続されている。外部バス９１１には、インタフェース９１３を介して、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、および通信装置９２５が接続される。

【0164】

入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、レバー、およびペダルなど、ユーザが操作する操作手段である。また、入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよい。入力装置９１５は、例えば、情報処理装置９００の操作に対応した携帯電話機、スマートフォン、またはタブレット端末などの外部接続機器９２９であってもよい。

【0165】

入力装置９１５は、例えば、上述した操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、CPU９０１に出力する入力制御回路などから構成されている。

【0166】

ユーザは、入力装置９１５を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。

【0167】

出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。具体的には、出力装置９１７は、CRTディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ELディスプレイ装置、およびランプなどの表示装置や、スピーカおよびヘッドホンなどの音声出力装置、プリンタ装置などとして構成される。

【0168】

出力装置９１７は、例えば、情報処理装置９００が行った各種の処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキストまたはイメージで表示する。他方、音声出力装置は、再生された音声データや音響データなどからなるオーディオ信号をアナログ信号に変換して出力する。なお、図２を参照して説明した表示部１０３は、例えば、出力装置９１７により実現される。

【0169】

ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、HDD（Hard Disk Drive）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。ストレージ装置９１９は、CPU９０１が実行するプログラムや各種データなどを格納する。

【0170】

ドライブ９２１は、記録媒体用リーダライタであり、情報処理装置９００に内蔵されるか、または外付けされる。ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７に記録される情報を読み出して、RAM９０５に出力する。また、ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７に記録を書き込むことも可能である。

【0171】

リムーバブル記録媒体９２７は、例えば、DVDメディア、HD-DVDメディア、またはBlu-ray（登録商標）メディアなどである。また、リムーバブル記録媒体９２７は、コンパクトフラッシュ（登録商標）（CF：CompactFlash）、フラッシュメモリ、またはSD（Secure Digital）メモリカードなどであってもよい。さらに、リムーバブル記録媒体９２７は、例えば、非接触型ICチップを搭載したIC（Integrated Circuit）カード、または電子機器などであってもよい。

【0172】

接続ポート９２３は、外部接続機器９２９を情報処理装置９００に直接接続するためのポートである。接続ポート９２３の一例としては、USB（Universal Serial Bus）ポート、IEEE１３９４ポート、SCSI（Small Computer System Interface）ポートなどがある。接続ポート９２３の別の例としては、RS-232Cポート、光オーディオ端子、HDMI（登録商標）（High-Definition Multimedia Interface）ポートなどがある。接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置９００は、外部接続機器９２９から直接各種のデータを取得したり、外部接続機器９２９に各種のデータを提供したりする。

【0173】

通信装置９２５は、例えば、通信網（ネットワーク）９３１に接続するための通信デバイスなどで構成された通信インタフェースである。通信装置９２５は、例えば、有線または無線LAN（Local Area Network）、Bluetooth（登録商標）、またはWUSB（Wireless USB）用の通信カードなどである。また、通信装置９２５は、光通信用のルータ、ADSL（Asymmetric Digital Subscriber Line）用のルータ、または各種通信用のモデムなどであってもよい。

【0174】

通信装置９２５は、例えば、インターネットや他の通信機器との間で、例えばTCP/IPなどの所定のプロトコルに則して信号を送受信することができる。また、通信装置９２５に接続される通信網９３１は、有線または無線によって接続されたネットワークなどにより構成されるようにしてもよい。通信網９３１は、例えば、インターネットや家庭内LANであってもよいし、赤外線通信、ラジオ波通信、または衛星通信が行われる通信網であってもよい。

【0175】

上述した図５の情報処理装置３００および図１０の情報処理装置９００の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。したがって、本技術の実施の形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。

【0176】

さらに、本技術の実施の形態に係る手術支援システムを構成する情報処理装置３００および情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータなどに実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することも可能である。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、コンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。

【0177】

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。

【0178】

＜＜５．その他＞＞
以上のように、本技術においては、医療用観察装置により取得された術野データが取得され、医療用観察装置の光学系の変化が検知される。そして、光学系の変化が検知された場合、変化後の光学系により定まるパラメータが推定され、推定結果を用いて、前記術野データに基づく３次元情報の生成条件が設定される。これにより、光学系に変化が生じた場合であっても、３次元情報の精度を維持することができる。

【0179】

術中に光学系に変化が生じた場合であっても、パラメータのキャリブレーションなどを再度行うことなく、３次元情報の精度を維持することができる。

【0180】

また、手術後の教育などに用いられる場合に、術野画像内で光学系の変化が生じていても、３次元情報に誤差が生じることを抑制することができる。

【0181】

なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

【0182】

また、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。

【0183】

本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

【0184】

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

【0185】

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

【0186】

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

【0187】

＜構成の組み合わせ例＞
本技術は、以下のような構成をとることもできる。
（１）
医療用観察装置により取得された術野データを取得する取得部と、
前記医療用観察装置の光学系の変化を検知する検知部と、
前記検知部により前記光学系の変化が検知された場合、変化後の前記光学系により定まるパラメータを推定する推定部と、
前記推定部の推定結果を用いて、前記術野データに基づく３次元情報の生成条件を設定する設定部と
を備える医療用観察システム。
（２）
前記検知部は、前記術野データにより表される術野画像の変化を検知することで、前記光学系の変化を検知する
前記（１）に記載の医療用観察システム。
（３）
前記検知部は、前記術野データにより表される術野画像の焦点距離の変化を検知することで、前記光学系の変化を検知する
前記（１）に記載の医療用観察システム。
（４）
前記検知部は、ロボットアームが保持する前記医療用観察装置の位置の軌跡を用いて、前記光学系の変化を検知する
前記（１）に記載の医療用観察システム。
（５）
前記検知部は、前記術野データにより表される術野画像の画角の変化が生じた場合であって、ロボットアームが保持する前記医療用観察装置の移動がないときに、前記光学系の変化があったものとして検知する
前記（１）に記載の医療用観察システム。
（６）
前記検知部は、前記光学系の変化に基づいて、前記術野データを、複数の術野画像のフレームからなる区間であるセクション毎に区切り、
前記推定部は、前記セクション毎に、前記パラメータを推定する
前記（１）乃至（５）のいずれかに記載の医療用観察システム。
（７）
前記推定部は、予め求められた、前記光学系の情報と前記パラメータとの関係を表すテーブルに基づいて、前記医療用観察装置から取得される前記光学系の情報に対応する前記パラメータを推定する
前記（１）乃至（５）のいずれかに記載の医療用観察システム。
（８）
前記推定部は、前記術野データに基づいて前記パラメータを推定する
前記（１）乃至（５）のいずれかに記載の医療用観察システム。
（９）
前記推定部は、前記術野データにより表される術野画像から前記パラメータを推定し、前記パラメータの行列の信頼性指標を生成する
前記（８）に記載の医療用観察システム。
（１０）
前記推定部により推定された前記パラメータを用いて、前記３次元情報を生成する３次元情報生成部をさらに備える
前記（１）乃至（９）のいずれかに記載の医療用観察システム。
（１１）
前記３次元情報生成部は、前記検知部により前記光学系の変化が検知された場合、前記３次元情報の生成を停止し、前記推定部により前記パラメータが推定された場合、推定された前記パラメータを用いて、前記３次元情報の生成を再開する
前記（１０）に記載の医療用観察システム。
（１２）
前記術野データにより表される術野画像または前記３次元情報の表示を制御する表示制御部をさらに備える
前記（１）乃至（１１）のいずれかに記載の医療用観察システム。
（１３）
前記表示制御部は、前記検知部による前記光学系の変化の検知結果を表示させる
前記（１２）に記載の医療用観察システム。
（１４）
前記表示制御部は、前記検知結果として、前記医療用観察装置のスコープが交換されたことを表す情報を表示させる
前記（１３）に記載の医療用観察システム。
（１５）
前記表示制御部は、前記検知結果として、前記医療用観察装置のスコープに関連する情報を表示させる
前記（１３）に記載の医療用観察システム。
（１６）
前記表示制御部は、変化前の前記３次元情報と変化後の前記３次元情報とを表示させる
前記（１３）に記載の医療用観察システム。
（１７）
医療用観察システムが、
医療用観察装置により取得された術野データを取得し、
前記医療用観察装置の光学系の変化を検知し、
前記光学系の変化が検知された場合、変化後の前記光学系により定まるパラメータを推定し、
推定結果を用いて、前記術野データに基づく３次元情報の生成条件を設定する
医療用観察方法。
（１８）
術野を撮像し、術野データを生成する撮像部と、
前記術野データを出力する出力部と
を備え、
前記撮像部の光学系の変化を検知し、前記光学系の変化を検知した場合、変化後の前記光学系により定まるパラメータを推定し、推定結果を用いて、前記術野データに基づく３次元情報の生成条件を設定する医療用観察システムにおいて用いられる
医療用観察装置。

【符号の説明】

【0188】

１ 手術支援システム， １１ 内視鏡， １３ CCU， １５ 表示装置， １００ 手術支援システム， １０１ カメラ， １０２ 情報処理部， １０３ 表示部， １１１ 光学系変化検知部，１１２ パラメータ推定部， １１３ ３次元情報生成部， １１４ 表示情報生成部， ２００ 手術支援システム， ２１１ ロボットアーム， ２１２ ロボットアーム装置， ３００ 手術支援システム， ３０１ CPU， ３０７ 出力部， ３０８ 記憶部， ３５０ 手術支援システム， ３５１ 画像記憶部， ３５２ 情報処理部， ３５３ 表示部， ３６１ 光学系変化検知部， ３６２ ３次元マップ生成部， ３６３ ３次元マップ記憶部， ３６４ ３次元情報生成部， ３６５ 表示情報生成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】