特許 7392654 医療用観察システム、医療用観察装置及び医療用観察方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-28

(45)【発行日】2023-12-06

(54)【発明の名称】医療用観察システム、医療用観察装置及び医療用観察方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20231129BHJP

   H04N 13/271 20180101ALI20231129BHJP

   H04N 13/296 20180101ALI20231129BHJP

   H04N 13/239 20180101ALI20231129BHJP

   H04N 13/221 20180101ALI20231129BHJP

   H04N 13/254 20180101ALI20231129BHJP

   A61B 1/00 20060101ALI20231129BHJP

   A61B 1/045 20060101ALI20231129BHJP

   A61B 1/06 20060101ALI20231129BHJP

【ＦＩ】

H04N7/18 M

H04N13/271

H04N13/296

H04N13/239

H04N13/221

H04N13/254

A61B1/00 522

A61B1/00 553

A61B1/045 618

A61B1/045 632

A61B1/06 610

【請求項の数】 18

(21)【出願番号】P 2020553102

(86)(22)【出願日】2019-10-09

(86)【国際出願番号】 JP2019039738

(87)【国際公開番号】W WO2020080209

(87)【国際公開日】2020-04-23

【審査請求日】2022-09-06

(31)【優先権主張番号】P 2018196648

(32)【優先日】2018-10-18

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】宇山 慧佑

(72)【発明者】

【氏名】林 恒生

【審査官】益戸 宏

(56)【参考文献】

【文献】特開２０１５－２２８９５４（ＪＰ，Ａ）

【文献】国際公開第２０１２／０９９１７５（ＷＯ，Ａ１）

【文献】特開２０１５－２２８９５５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ １３／００

Ａ６１Ｂ １／００

Ｈ０４Ｎ ２３／００

Ｇ０６Ｔ １／００

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

術野を撮像して術野画像を得る撮像装置と、
前記撮像装置が撮像した術野画像から、術野の３次元情報を生成する３次元情報生成部と、
前記撮像装置が、所定のタイミングに撮像した術野画像の中に、少なくとも一つの注目領域を設定する設定部と、
前記３次元情報と前記注目領域に係る情報とに基づいて、前記所定のタイミングとは異なるタイミングに撮像した術野画像の中から、前記注目領域に対応する相対位置を推定する推定部と、
前記推定部が推定した注目領域の相対位置に対応する術野画像の３次元情報と画素値とに基づいて、前記撮像装置が術野画像を撮像する際に、当該撮像装置の制御パラメータを調整する調整部と、
前記調整部が調整した制御パラメータによって前記撮像装置が撮像した術野画像を出力する表示制御部と、
を備える医療用観察システム。

【請求項2】

前記撮像装置は、１つの撮像素子を備えて、
前記３次元情報生成部は、前記撮像装置が異なる時刻に撮像した少なくとも２枚の術野画像に基づいて、術野の３次元情報を生成する、
請求項１に記載の医療用観察システム。

【請求項3】

前記撮像装置は、一部が重複する異なる範囲を撮像する２つの撮像素子を備えて、
前記３次元情報生成部は、前記撮像素子が同じ時刻に撮像した２枚の術野画像に基づいて、術野の３次元情報を生成する、
請求項１に記載の医療用観察システム。

【請求項4】

前記撮像装置は、１つの撮像素子と対象物までの距離を計測する測距装置とを備えて、
前記３次元情報生成部は、前記撮像素子が撮像した画像と前記測距装置が計測した距離とに基づいて、術野の３次元情報を生成する、
請求項１に記載の医療用観察システム。

【請求項5】

前記３次元情報生成部は、前記術野画像の全体又は任意の範囲から抽出した特徴点の３次元情報を生成する、
請求項１に記載の医療用観察システム。

【請求項6】

前記制御パラメータは、前記撮像装置の光学系の状態を規定する光学パラメータである、
請求項１に記載の医療用観察システム。

【請求項7】

前記制御パラメータは、前記撮像装置の露出条件を規定する撮像パラメータである、
請求項１に記載の医療用観察システム。

【請求項8】

前記制御パラメータは、前記撮像装置の現像条件を規定する現像パラメータである、
請求項１に記載の医療用観察システム。

【請求項9】

前記制御パラメータは、前記撮像装置の撮像範囲に照明光を照射する光源装置の発光状態を規定する発光パラメータである、
請求項１に記載の医療用観察システム。

【請求項10】

前記設定部は、前記３次元情報生成部が生成した術野の３次元情報に基づいて、前記光源装置による照明光の反射方向を予測するとともに、
予測された反射方向に進む反射光が、前記撮像装置に撮像される場合に、当該反射光が撮像される領域を、前記注目領域の設定対象から除外する、
請求項９に記載の医療用観察システム。

【請求項11】

前記設定部は、前記注目領域が存在する距離範囲を指定する機能を更に備えて、指定された距離範囲の中で注目領域を設定する、
請求項１に記載の医療用観察システム。

【請求項12】

前記術野画像の中から、登録された物体を検出する検出部を更に備えて、
前記設定部は、前記術野画像から、前記検出部が検出した物体を除いた領域の中から、前記特徴点を設定する、
請求項５に記載の医療用観察システム。

【請求項13】

前記調整部は、推定された前記注目領域の３次元位置に応じて、前記撮像装置が撮像する術野画像の撮影倍率を変更するとともに、
前記設定部は、前記撮影倍率に応じて、前記注目領域の大きさを変化させる、
請求項１に記載の医療用観察システム。

【請求項14】

前記調整部は、推定された前記注目領域の３次元位置に応じて、前記撮像装置が術野画像を撮像する際の制御パラメータの初期値を設定する、
請求項１に記載の医療用観察システム。

【請求項15】

前記撮像装置は、内視鏡に実装される、
請求項１に記載の医療用観察システム。

【請求項16】

前記撮像装置は、顕微鏡に実装される、
請求項１に記載の医療用観察システム。

【請求項17】

術野を撮像した術野画像から、術野の３次元情報を生成する３次元情報生成部と、
所定のタイミングに撮像した術野画像の中に、少なくとも一つの注目領域を設定する設定部と、
前記３次元情報と前記注目領域に係る情報とに基づいて、前記所定のタイミングとは異なるタイミングに撮像した術野画像の中から、前記注目領域に対応する相対位置を推定する推定部と、
前記推定部が推定した注目領域の相対位置に対応する術野画像の３次元情報と画素値とに基づいて、術野画像を撮像する際の制御パラメータを調整する調整部と、
前記調整部が調整した制御パラメータによって撮像された術野画像を出力する表示制御部と、
を備える医療用観察装置。

【請求項18】

術野を撮像した術野画像から、術野の３次元情報を生成するステップと、
所定のタイミングに撮像した術野画像の中に、少なくとも一つの注目領域を設定するステップと、
前記３次元情報と前記注目領域に係る情報とに基づいて、前記所定のタイミングとは異なるタイミングに撮像した術野画像の中から、前記注目領域に対応する相対位置を推定するステップと、
推定された注目領域の相対位置に対応する術野画像の３次元情報と画素値とに基づいて、術野画像を撮像する際の制御パラメータを調整するステップと、
調整された制御パラメータによって撮像された術野画像を出力するステップと、
を備える医療用観察方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、医療用観察システム、医療用観察装置及び医療用観察方法に関する。

【背景技術】

【0002】

近年、ＡＦ（Auto Focus）機能やＡＥ（Auto Exposure）機能を実装して、画像の撮像パラメータを自動的に調整する機能を有する手術用内視鏡や手術用顕微鏡を用いた手術が行われている。内視鏡や顕微鏡は、一般に被写界深度が浅く、さらに術野は明暗が分かれやすい。そのため、被検体を撮像する際は、手術の対象となる部位（術部）に合わせてフォーカスや露出といった撮像パラメータを調整し続けるのが望ましい。例えば、特許文献１では、内視鏡画像を複数の分割領域に分割し、フォーカス制御の対象となる領域を選択する内視鏡システムが提案されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１１－１３９７６０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、術野画像には手術器具や術者の手等の術部以外の物体が頻繁に映り込み、術部と手術器具が重なることもあるため、術野画像という２次元情報だけでは精度良く術部に合わせて撮像パラメータを調整し続けることが難しかった。

【0005】

そこで、本開示では、術野に合わせて、精度良くフォーカスや露出を調整し続けることができる医療用観察システム、医療用観察装置及び医療用観察方法を提案する。

【課題を解決するための手段】

【0006】

上記の課題を解決するために、本開示に係る一形態の医療用観察システムは、術野を撮像して術野画像を得る撮像装置と、前記撮像装置が撮像した術野画像から、術野の３次元情報を生成する３次元情報生成部と、前記撮像装置が、所定のタイミングに撮像した術野画像の中に、少なくとも一つの注目領域を設定する設定部と、前記３次元情報と前記注目領域に係る情報とに基づいて、前記所定のタイミングとは異なるタイミングに撮像した術野画像の中から、前記注目領域に対応する相対位置を推定する推定部と、前記推定部が推定した注目領域の相対位置に対応する術野画像の３次元情報と画素値とに基づいて、前記撮像装置が術野画像を撮像する際に、当該撮像装置の制御パラメータを調整する調整部と、前記調整部が調整した制御パラメータによって前記撮像装置が撮像した術野画像を出力する表示制御部と、を備える。

【図面の簡単な説明】

【0007】

【図1】本開示の第１の実施の形態に係る医療用観察システムが適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。

【図2】本開示の第１の実施の形態に係る医療用観察システムの概略的な構成の一例を示す図である。

【図3】地図生成部が術野の３次元地図を生成する方法の一例を説明する図である。

【図4】注目枠の設定方法の一例を示す図である。

【図5】注目枠の設定方法の別の一例を示す図である。

【図6】特徴点を抽出する領域を設定した例を示す図である。

【図7】医療用観察システムが表示する術野画像の一例を示す図である。

【図8】医療用観察システムが、術野までの距離に応じて観察時の撮影倍率を変更する機能について説明する図である。

【図9】医療用観察システムが行う処理の流れの一例を示すフローチャートである。

【図10】撮像装置が像面位相差センサを備える撮像素子で構成された医療用観察システムの概略的な構成の一例を示す図である。

【図11】像面位相差センサを利用する場合の術野画像の表示形態の一例を示す図である。

【図12】撮像装置が２つの撮像素子で構成された医療用観察システムの概略的な構成の一例を示す図である。

【図13】撮像装置が２つの撮像素子で構成されるとともに、カメラコントロールユニットがトラッキング処理部を備える医療用観察システムの概略的な構成の一例を示す図である。

【図14】撮像装置が撮像素子とデプスセンサで構成された医療用観察システムの概略的な構成の一例を示す図である。

【図15】撮像装置が撮像素子とデプスセンサで構成されるとともに、カメラコントロールユニットがトラッキング処理部を備える医療用観察システムの概略的な構成の一例を示す図である。

【図16】術野画像の中に複数の注目領域を設定した例を示す図である。

【図17】術野画像の中から、所定の距離範囲の領域を強調表示させた表示形態の一例を示す図である。

【図18】術野画像の中に設定する注目枠の表示形態の一例を示す図である。

【図19】術野画像の中から反射光の大きい場所を検出する機能について説明する図である。

【図20】本開示に係る技術が適用され得る顕微鏡手術システムの概略的な構成の一例を示す図である。

【図21】顕微鏡手術システムを用いた手術の様子を示す図である。

【発明を実施するための形態】

【0008】

以下に、本開示の実施の形態について図面に基づいて詳細に説明する。なお、以下の各実施の形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。

【0009】

（第１の実施の形態）
［第１の実施の形態に係る医療用観察システムの構成］
図１は、本開示に係る医療用観察システムが適用され得る内視鏡手術システム５０００の概略的な構成の一例を示す図である。図１では、術者（医師、執刀医）５０６１が、内視鏡手術システム５０００を用いて、患者ベッド５０６９上の患者５０７１に手術を行っている様子が図示されている。スコピスト５０６２は、内視鏡５００１を把持して、患者５０７１の体腔内に挿入している。助手５０６３は、術具５０１７を把持して、患者５０７１の体腔内に挿入している。

【0010】

内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ５０２５ａ～５０２５ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ５０２５ａ～５０２５ｄから、内視鏡５００１の鏡筒５００３や、その他の術具５０１７が患者５０７１の体腔内に挿入される。図１の例では、その他の術具５０１７として、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３が、患者５０７１の体腔内に挿入されている。気腹チューブ５０１９は、内視鏡５００１による視野の確保及び術者５０６１の作業空間の確保の目的で、患者５０７１の体腔を膨らめるために、体腔内にガスを送り込む。エネルギー処置具５０２１は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。また、図１には図示しないが、気腹チューブ５０１９及びエネルギー処置具５０２１は、非図示の制御装置と接続されており、術者５０６１等の指示を受けた術具５０１７が、所定の動作を行う。なお、図示する術具５０１７はあくまで一例であり、術具５０１７としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。

【0011】

内視鏡５００１によって撮影された患者５０７１の体腔内の術野の画像（以下、術野画像と呼ぶ）が、表示装置５０に表示される。術者５０６１は、表示装置５０に表示された術野画像をリアルタイムで見ながら、エネルギー処置具５０２１や鉗子５０２３を用いて、例えば患部を切除する等の処置を行う。また、スコピスト５０６２は、表示装置５０に表示された術野画像をリアルタイムで見ながら、術野画像の中に患部が写るように、内視鏡５００１の位置を調整する。なお、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３は、手術中は、術者５０６１又は助手５０６３等によって把持される。

【0012】

［内視鏡の概略構成］
内視鏡５００１は、先端から所定の長さの領域が患者５０７１の体腔内に挿入される鏡筒５００３と、鏡筒５００３の基端に接続されるカメラヘッド５００５と、から構成される。図１の例では、硬性の鏡筒５００３を有するいわゆる硬性鏡として構成される内視鏡５００１を図示しているが、内視鏡５００１は、軟性の鏡筒５００３を有するいわゆる軟性鏡として構成されてもよい。

【0013】

鏡筒５００３の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡５００１には、図示しない光源装置が接続されており、当該光源装置によって生成された光が、鏡筒５００３の内部に延設されるライトガイドによって当該鏡筒５００３の先端まで導光され、対物レンズを介して患者５０７１の体腔内の観察対象に向かって照射される。なお、内視鏡５００１は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。

【0014】

カメラヘッド５００５の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera Control Unit）１２ａに送信される。なお、カメラヘッド５００５には、その光学系を適宜駆動させることにより、撮影倍率及び焦点距離を調整する機能が搭載される。

【0015】

また、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド５００５には撮像素子が複数設けられてもよい。この場合、鏡筒５００３の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。

【0016】

内視鏡手術システム５０００は、ユーザである術者５０６１、スコピスト５０６２、又は助手５０６３から各種の情報入力や指示入力を受け付ける入力デバイスを備える。例えば、ユーザは、入力デバイスを介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力デバイスを介して、内視鏡５００１による撮像条件（照射光の種類、撮影倍率及び焦点距離等）を変更する旨の指示、エネルギー処置具５０２１等の術具５０１７を駆動させる旨の指示等を入力する。

【0017】

入力デバイスの種類は限定されず、入力デバイスは各種の公知の入力デバイスであってよい。入力デバイスとしては、例えば、マウス、キーボード、タッチパネル、スイッチ及び／又はレバー等が適用され得る。図１は、スコピスト５０６２が、入力デバイスの一例であるフットスイッチ５０５７を用いて情報入力を行う例を示している。例えば、スコピスト５０６２は、フットスイッチ５０５７を介して、術野画像に中に注目領域の設定等を行う。詳しくは後述する。なお、入力デバイスとしてタッチパネルが用いられる場合には、当該タッチパネルは表示装置５０の表示面上に設けられてもよい。

【0018】

［第１の実施の形態に係る医療用観察システムの構成の説明］
図２は、内視鏡手術に適用される医療用観察システム１０ａの機能構成を示す機能ブロック図である。医療用観察システム１０ａは、例えば、前記した内視鏡手術システム５０００に適用されて、手術中に患者５０７１の体腔内に挿入された内視鏡５００１によって、術野画像をモニタするシステムである。特に、医療用観察システム１０ａは、術野の３次元位置に基づいて、内視鏡５００１の位置・姿勢によらずに、常に設定した注目領域を拡大した拡大術野画像を表示するシステムである。

【0019】

医療用観察システム１０ａは、撮像装置４２ａと、カメラコントロールユニット１２ａとを備える。撮像装置４２ａは、前記した内視鏡５００１のカメラヘッド５００５に実装されて、患者５０７１の体腔内の術野を撮像して術野画像を得る。カメラコントロールユニット１２ａは、撮像装置４２ａが撮像を行う際に、術野画像を生成するとともに、術野の３次元情報を生成する。

【0020】

撮像装置４２ａは、光学系４３と、撮像素子４４ａを備える。光学系４３は、例えば、オートフォーカス機能及び画角調整機能（ズーム調整機能）を備えたレンズである。撮像素子４４ａは、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやＣＣＤ（Charge Coupled Device）イメージセンサ等の撮像素子（光電変換素子）で構成されて、術野からの光を電気信号に変換する。

【0021】

カメラコントロールユニット１２ａは、３次元情報生成部１４と、現像処理部１８と、注目領域設定部２０と、検波領域推定部２２と、３次元地図データ格納部２４と、パラメータ制御部２６と、表示制御部４０とを備える。カメラコントロールユニット１２ａは、内視鏡の位置・姿勢によらずに、常に注目領域が拡大された拡大術野画像を生成して、表示装置５０に表示する。なお、カメラコントロールユニット１２ａは、本開示における医療用観察装置の一例である。

【0022】

３次元情報生成部１４は、撮像素子４４ａが撮像した、例えば体腔内の術野画像の３次元位置を算出する。３次元情報生成部１４は、地図生成部１５と、自己位置推定部１６とを備える。地図生成部１５は、術野の３次元位置、及び後述する注目領域の３次元位置を示す３次元地図（以下、単に地図と呼ぶ）を生成する。地図の生成方法は後述する。自己位置推定部１６は、生成された地図と、所定のタイミングに撮像された術野画像とに基づいて、当該所定のタイミングにおける内視鏡５００１の自己位置及び姿勢を推定する。

【0023】

現像処理部１８は、撮像データを視認可能な画像に変換する。現像処理部１８は、撮像素子４４ａが出力したＲＡＷデータに対して、現像処理（デモザイク処理）等の、画像を表示するための各種の画像処理を施す。より具体的には、現像処理部１８は、ＲＡＷデータに対して、後述するＡＥ制御部２６ｄが指示したデジタルゲインやガンマカーブを適用することによって、ＲＡＷデータを可視可能な画像データとする。

【0024】

注目領域設定部２０は、撮像素子４４ａが撮像して現像処理部１８が視認可能に変換した術野画像の中から、例えば、手術によって摘出する腫瘍等の注目したい領域を設定する。より具体的には、医療用観察システム１０ａの操作者が、液晶モニタ等の表示装置５０で術野画像をモニタしながら、術野画像の中から、少なくとも一つの注目領域を設定する。注目領域の具体的な設定方法は後述する。なお、注目領域設定部２０は、本開示における設定部の一例である。

【0025】

検波領域推定部２２は、任意の時刻における術野画像の中の注目領域に対応する相対位置を検波領域として推定する。ここで、相対位置とは、所定のタイミングのフレームにて設定した注目領域の物理的な位置に対応する位置であり、例えば、異なるタイミングのフレームにおいて、前記物理的な位置に対応する被写体領域である。なお、検波領域推定部２２は、本開示における推定部の一例である。

【0026】

３次元地図データ格納部２４は、前記した地図生成部１５が生成した術野の３次元地図を格納する。なお、３次元地図データ格納部２４に格納される３次元地図は、時間の経過とともに更新される。

【0027】

パラメータ制御部２６は、検波領域推定部２２が推定した注目領域に対応する相対位置における術野画像の３次元情報と画素値とに基づいて、撮像装置４２ａ及び光源装置６０の制御パラメータを調整する。なお、パラメータ制御部２６は、本開示における調整部の一例である。ここで、パラメータ制御部２６が調整する制御パラメータとは、光学パラメータと、撮像パラメータと、現像パラメータと、発光パラメータである。

【0028】

光学パラメータは、撮像装置４２ａの光学系の状態を規定するパラメータである。具体的には、光学系４３のフォーカス位置、画角、絞り値等である。

【0029】

撮像パラメータは、撮像装置４２ａの露出条件を規定するパラメータである。具体的には、撮像素子４４ａを露光させる際のシャッター速度、ゲイン値等である。

【0030】

現像パラメータは、撮像装置４２ａの現像条件を規定するパラメータである。具体的には、現像処理部１８の現像条件であるデジタルゲイン、ガンマカーブ等である。

【0031】

発光パラメータは、撮像装置４２ａの撮像範囲に照明光を照射する光源装置６０の発光状態（発光量、発光時間）を規定するパラメータである。なお、光源装置６０は、例えばＬＥＤ（Light Emitting Diode）である。そして、発光パラメータとは、具体的には、波長、光量、発光タイミング等である。

【0032】

パラメータ制御部２６は、これらのパラメータを制御することによって、撮像装置４２ａのＡＦ機能、ＡＥ機能を実現する。ＡＦ機能とは、撮像装置４２ａが撮像した術野画像Ｋ（ｘ，ｙ）のフォーカス位置を調整する機能である。ＡＥ機能とは、撮像装置４２ａが撮像した術野画像Ｋ（ｘ，ｙ）の露出を調整する機能である。

【0033】

パラメータ制御部２６は、より詳細には、ＡＦ検波部２６ａと、レンズ制御部２６ｂと、ＡＥ検波部２６ｃと、ＡＥ制御部２６ｄと、光源制御部２６ｅを備える。

【0034】

ＡＦ検波部２６ａは、撮像装置４２ａが撮像した術野画像Ｋ（ｘ，ｙ）の中の、検波領域推定部２２が推定した注目領域に対応する相対位置における領域の画素値の分布から、注目領域に対する合焦状態を示す情報（検波値）を取り出す。合焦状態を示す情報とは、例えば、注目枠１１０の内部における明暗差、すなわちコントラストを表す情報やコントラストを所定の基準で評価した評価値、撮像素子に位相差が生じる画素を含む場合は位相情報等である。

【0035】

レンズ制御部２６ｂは、ＡＦ検波部２６ａが取り出した検波値に基づいて、注目枠１１０の位置にフォーカスが合うようにフォーカスレンズ位置やレンズ移動量などを制御する制御データを生成する。また、レンズ制御部２６ｂは、注目枠１１０を設定した領域までの距離に基づいて、撮像装置４２ａが備えるレンズの画角を制御する制御データを生成する。そして、レンズ制御部２６ｂは、生成した制御データを光学系４３に伝達する。

【0036】

ＡＥ検波部２６ｃは、撮像装置４２ａが撮像した術野画像Ｋ（ｘ，ｙ）の中の、検波領域推定部２２が推定した注目領域の推定位置に対応する領域の画素値の分布（ヒストグラム）から、露出調整に必要な画素情報（検波値）を取り出す。注目領域の露出調整に必要な画素情報とは、例えば、注目枠１１０の内部における画素値の分布から算出される、画素値の最小値と最大値との差（明暗差）、画素値の平均値、画素値の分散等の統計量である。

【0037】

ＡＥ制御部２６ｄは、ＡＥ検波部２６ｃが取り出した検波値に基づいて、術者５０６１が見やすい術野画像Ｋ（ｘ，ｙ）が撮像されるように、デジタルゲイン・ガンマカーブを含む制御パラメータを算出する。そして、ＡＥ制御部２６ｄは、算出したデジタルゲイン・ガンマカーブを含む制御パラメータを、現像処理部１８に伝達する。

【0038】

デジタルゲインは、撮像素子４４ａが出力したＲＡＷデータを、現像処理部１８が備える非図示のＡＤ変換器でデジタル信号に変換した後で増幅する際のゲインである。デジタルゲインは、現像された画像の後処理を行う際に用いられて、周辺減光補正やホワイトバランスの調整、露出調整等に利用される。

【0039】

ガンマカーブは、術野画像Ｋ（ｘ，ｙ）を表示装置５０に表示した際に、適正な明るさで表示されるように、画素値に補正を掛ける際の補正特性を示す。一般に、表示装置５０に表示する画像の画素値と、画面の明るさとは比例関係にない。したがって、画素値をそのまま表示装置５０に表示すると、明るさのバランスが崩れてしまう場合がある。そのため、一般に、画素値にガンマ補正をかけることによって、当該ガンマ補正をかけた画素値と画面の明るさとが比例関係になるように前処理を行う。ガンマカーブは、このガンマ補正を行う際の補正特性を示すものである。

【0040】

ＡＥ制御部２６ｄは、さらに、ＡＥ検波部２６ｃが取り出した検波値に基づいて、術者５０６１が見やすい術野画像Ｋ（ｘ，ｙ）が撮像されるように、アナログゲイン・シャッター速度を含む制御パラメータを算出する。そして、ＡＥ制御部２６ｄは、算出したアナログゲイン・シャッター速度を含む制御パラメータを、光学系４３に伝達する。さらに、ＡＥ制御部２６ｄは、ＡＥ検波部２６ｃが算出した情報に基づいて、術者５０６１が見やすい術野画像Ｋ（ｘ，ｙ）が撮像されるように、光源装置６０を制御するための光量情報を算出する。そして、ＡＥ制御部２６ｄは、算出した光量情報を光源制御部２６ｅに伝達する。

【0041】

アナログゲインは、撮像素子４４ａが出力するアナログ信号であるＲＡＷデータを増幅する際のゲインである。アナログゲインは、現像処理を行う前に用いられて、ＩＳＯ感度の調整等に利用される。

【0042】

また、ＡＥ制御部２６ｄは、ＡＥ検波部２６ｃが取り出した検波値に基づいて、術者５０６１が見やすい術野画像Ｋ（ｘ，ｙ）が撮像されるように、光源装置６０を発光させる際の光量情報を算出する。そして、ＡＥ制御部２６ｄは、算出した光量情報を含む制御パラメータを、光源制御部２６ｅに伝達する。

【0043】

光量情報は、例えば、光源装置６０に発光させる光量を示す情報である。

【0044】

なお、ＡＥ制御部２６ｄは、注目領域の露出調整だけではなく、注目領域の組織が観察しやすいように、現像処理部１８にホワイトバランスや色補正、ガンマカーブを含むパラメータを伝達してもよい。

【0045】

光源制御部２６ｅは、ＡＥ制御部２６ｄが算出した光量情報に基づいて、光源装置６０を実際に発光させる駆動信号である光源制御情報を生成する。そして、光源制御部２６ｅは、生成した光源制御情報を光源装置６０に伝達する。なお、光源制御部２６ｅは、ＡＥ検波部２６ｃが取り出した検波値に基づいて、制御パラメータとして、光源装置６０の発光色（発光波長）を制御することによって、術野画像Ｋ（ｘ，ｙ）の中の組織の視認性を向上させるようにしてもよい。

【0046】

撮像装置４２ａは、パラメータ制御部２６が調整した光源制御情報によって駆動された光源装置６０が照明を行ったタイミングで、パラメータ制御部２６が調整した撮像パラメータによって撮像を行う。そして、現像処理部１８は、撮像装置４２ａが撮像した画像を、パラメータ制御部２６が調整した現像パラメータによって現像処理する。そして、表示制御部４０は、現像処理部１８が現像処理した画像を表示装置５０に出力する表示制御を行う。なお、表示装置５０としては、液晶ディスプレイ装置、又はＥＬ（Electro Luminescence）ディスプレイ装置等、各種の公知の表示装置が適用可能である。

【0047】

なお、パラメータ制御部２６は、前記したようにＡＦ制御、ＡＥ制御、光源制御の全てを行ってもよいし、そのうちの一部のみを行う構成としてもよい。

【0048】

［３次元地図の生成方法の説明］
次に、地図生成部１５が、術野の３次元地図を生成する方法について説明する。図３は、地図生成部１５が術野の３次元地図を生成する方法を説明する図である。

【0049】

図３は、空間上の点を基準位置Ｏとする３次元空間ＸＹＺにおいて、撮像装置４２ａで静止した物体１００を観測している様子を示している。そして、撮像装置４２ａは、時刻ｔにおいて術野画像Ｋ（ｘ，ｙ，ｔ）を撮像して、時刻ｔ＋Δｔにおいて術野画像Ｋ（ｘ，ｙ，ｔ＋Δｔ）を撮像したものとする。なお、時間間隔Δｔは、例えば３３ｍｓｅｃ等の所定のタイミングに設定される。また、基準位置Ｏは任意に設定してよいが、例えば、時間とともに移動しない位置に設定するのが望ましい。

【0050】

地図生成部１５は、まず、術野画像Ｋ（ｘ，ｙ，ｔ）及び術野画像Ｋ（ｘ，ｙ，ｔ＋Δｔ）の中から、特徴となる点（画素）である特徴点を検出する。特徴点とは、例えば、隣接する画素との間で、画素値が所定値以上異なる画素である。なお、特徴点は、時間が経過しても安定して存在する点であることが望ましく、例えば、画像の中でエッジを構成する画素がよく利用される。ここで、以下の説明を簡単にするため、術野画像Ｋ（ｘ，ｙ，ｔ）の中から、物体の頂点である特徴点Ａ１，Ｂ１，Ｃ１，Ｄ１，Ｅ１，Ｆ１，Ｈ１が検出されたとする。

【0051】

次に、地図生成部１５は、術野画像Ｋ（ｘ，ｙ，ｔ＋Δｔ）の中から、特徴点Ａ１，Ｂ１，Ｃ１，Ｄ１，Ｅ１，Ｆ１，Ｈ１にそれぞれ対応する点を探索する。具体的には、特徴点Ａ１の画素値、特徴点Ａ１の近傍の画素値等に基づいて、同様の特徴を有する点を、術野画像Ｋ（ｘ，ｙ，ｔ＋Δｔ）の中から探索する。この探索処理によって、術野画像Ｋ（ｘ，ｙ，ｔ＋Δｔ）の中から、特徴点Ａ１，Ｂ１，Ｃ１，Ｄ１，Ｅ１，Ｆ１，Ｈ１に対応する特徴点Ａ２，Ｂ２，Ｃ２，Ｄ２，Ｅ２，Ｆ２，Ｈ２が、それぞれ検出されたとする。

【0052】

続いて、地図生成部１５は、３次元測量の原理に基づいて、例えば、特徴点Ａ１の術野画像Ｋ（ｘ，ｙ，ｔ＋Δｔ）上の２次元座標と、特徴点Ａ２の術野画像Ｋ（ｘ，ｙ，ｔ＋Δｔ）上の２次元座標とから、空間上の点Ａの３次元座標（Ｘ_Ａ，Ｙ_Ａ，Ｚ_Ａ）を算出する。このようにして算出された３次元座標（Ｘ_Ａ，Ｙ_Ａ，Ｚ_Ａ）の集合として、物体１００が置かれた空間の３次元地図Ｄ（Ｘ，Ｙ，Ｚ）が生成される。生成された３次元地図Ｄ（Ｘ，Ｙ，Ｚ）は、３次元地図データ格納部２４に記憶される。なお、３次元地図Ｄ（Ｘ，Ｙ，Ｚ）は、本開示における３次元情報の一例である。

【0053】

なお、時間間隔Δｔの間に、撮像装置４２ａの位置と姿勢が変化しているため、地図生成部１５は、撮像装置４２ａの位置と姿勢も同時に推定する。数学的には、物体１００を構成する各特徴点の３次元座標と、撮像装置４２ａの位置と、姿勢とを未知数として、術野画像Ｋ（ｘ，ｙ，ｔ）と術野画像Ｋ（ｘ，ｙ，ｔ＋Δｔ）でそれぞれ観測された特徴点の２次元座標に基づいて連立方程式を立てる。地図生成部１５は、この連立方程式を解くことによって、物体１００を構成する各特徴点の３次元座標と、撮像装置４２ａの位置及び姿勢とを推定する。

【0054】

このように、撮像装置４２ａが撮像した術野画像Ｋ（ｘ，ｙ，ｔ）の中から複数の特徴点を検出して、術野画像Ｋ（ｘ，ｙ，ｔ＋Δｔ）の中から、それらの特徴点に対応する点を検出することによって、撮像装置４２ａが観測している環境の３次元地図Ｄ（Ｘ，Ｙ，Ｚ）を生成することができる。さらに、撮像装置４２ａの位置と姿勢、すなわち自己位置を推定することができる。また、前記した処理を繰り返して実行することによって、例えば、当初は見えなかった特徴点が見えるようになることによって、３次元地図Ｄ（Ｘ，Ｙ，Ｚ）を拡充することができる。また、処理を繰り返すことによって、同じ特徴点の３次元位置を繰り返し算出することができるため、例えば平均化処理を行うことによって、算出誤差を低減することができる。このように、３次元地図データ格納部２４に記憶された３次元地図Ｄ（Ｘ，Ｙ，Ｚ）は、随時更新される。なお、環境の３次元地図を作成するとともに、撮像装置４２ａの自己位置を特定する技術は、一般にＳＬＡＭ（Simultaneous Localization and Mapping）技術と呼ばれている。

【0055】

単眼カメラを用いたＳＬＡＭ技術の基本的な原理は、例えば「Andrew J.Davison, “Real-Time Simultaneous Localization and Mapping with a Single Camera”, Proceedings of the 9th IEEE International Conference on Computer Vision Volume 2, 2003, pp.1403-1410」において説明されている。また、被写体のカメラ画像を用いて被写体の３次元位置を推定するＳＬＡＭ技術は、特にＶｉｓｕａｌ ＳＬＡＭとも称される。

【0056】

［注目領域の設定方法の説明］
注目領域は、注目領域設定部２０の作用によって設定する。具体的には、注目領域設定部２０は、注目領域を示す注目枠を術野画像に重畳して表示させて、当該注目枠の大きさ・形状・位置を指定することによって行う。

【0057】

図４は、注目枠の設定方法の一例を示す図である。図４Ａは、内視鏡５００１で観測された術野画像Ｋ（ｘ，ｙ）の一例を示す図である。なお、以下の説明において、術野画像を撮像した時刻の情報は省略して、術野画像は単にＫ（ｘ，ｙ）と記載して説明する。図４Ｂは、注目領域に設定したい患部が術野画像Ｋ（ｘ，ｙ）の中央に写るように、内視鏡５００１の向きを調整するとともに、注目領域設定部２０が、注目領域を示す注目枠１１０を設定した状態の一例を示す図である。図４Ｃは、カメラコントロールユニット１２ａが、設定された注目領域にＡＦ／ＡＥを調整し続ける制御を行った術野画像Ｋ（ｘ，ｙ）の一例を示す図である。

【0058】

スコピスト５０６２は、例えば、図４Ａに示す術野画像Ｋ（ｘ，ｙ）を見ながら、患部等の拡大したい特定位置が術野画像Ｋ（ｘ，ｙ）の中央（所定の位置の一例）に写るように、内視鏡５００１を移動させる。

【0059】

図４Ｂに示すように、注目したい特定位置が術野画像Ｋ（ｘ，ｙ）の中央（所定の位置の一例）に写ったら、スコピスト５０６２は、フットスイッチ５０５７（図１）を踏んで、注目領域設定部２０に対して、注目領域の設定を指示する。このとき、フットスイッチ５０５７が踏まれたことをトリガとして注目領域の設定を指示する設定信号が発生する。そして、注目領域設定部２０は、設定信号が入力されたことを条件として、図４Ｂに示すように、術野画像Ｋ（ｘ，ｙ）の中央に、予め決められたサイズの注目枠１１０を表示することによって、注目領域を設定する。なお、注目枠１１０のサイズ、形状は任意に設定してよい。

【0060】

続いて、パラメータ制御部２６は、図４Ｂで設定した注目枠１１０の内部を検波領域として、当該検波領域の内部で算出した検波値に基づいて、撮像装置４２ａ、カメラコントロールユニット１２ａ及び光源装置６０の制御パラメータを算出する。続いて、パラメータ制御部２６は、算出した制御パラメータで撮像装置４２ａ、カメラコントロールユニット１２ａ及び光源装置６０を制御して、術野画像Ｋ（ｘ，ｙ）を撮像する。そして、表示制御部４０は、図４Ｃに示すように、撮像された術野画像Ｋ（ｘ，ｙ）を表示装置５０に出力する。このとき、内視鏡５００１の位置と姿勢は変化するため、術野画像Ｋ（ｘ，ｙ）における注目枠１１０の位置は変化するが、注目枠１１０の内部は、常にフォーカスが合うとともに、観察しやすい明るさで表示される。術者５０６１は、図４Ｃに示す術野画像Ｋ（ｘ，ｙ）を観測しながら、手術を行う。

【0061】

なお、注目領域設定部２０が注目領域を設定させる方法は、前記した方法に限定されるものではない。例えば、表示装置５０の画面に積層させてタッチパネルを設置して、当該タッチパネルの操作を検出することによって、注目領域の位置や形状を設定してもよい。また、マウスによって、注目領域の位置や形状を設定してもよい。

【0062】

図５は、注目枠の設定方法の別の一例を示す図である。図５Ａは、内視鏡５００１で観測された術野画像Ｋ（ｘ，ｙ）の一例を示す図である。スコピスト５０６２は、表示装置５０に表示された術野画像Ｋ（ｘ，ｙ）を見ながら、注目したい領域の位置を、タッチパネルやマウス等の入力デバイスによって指定する。注目領域設定部２０は、術野画像Ｋ（ｘ，ｙ）に重畳させて、指定された領域を示す注目領域指示情報１０５を出力する。

【0063】

続いて、注目領域設定部２０は、入力された注目領域指示情報１０５の位置に、注目枠１１０を設定する。注目領域設定部２０は、術野画像Ｋ（ｘ，ｙ）に重畳させて、図５Ｂに示すように、設定された注目枠１１０を出力する。なお、注目枠１１０は、予め設定された大きさ、形状の枠であってもよいし、注目領域指示情報１０５を模した閉領域であってもよい。

【0064】

その後、医療用観察システム１０ａは、内視鏡５００１の位置と姿勢に関わらず、図５Ｃに示すように、設定された注目枠１１０にフォーカスと露出を合わせ続ける術野画像Ｋ（ｘ，ｙ）を生成して出力する。

【0065】

なお、注目領域設定部２０は、前記した３次元地図Ｄ（Ｘ，Ｙ，Ｚ）を利用して、３次元空間内での距離や撮像系からの距離が一定範囲にある等の条件を加味して注目領域を設定してもよい。また、注目枠１１０の表示形態は、図４、図５に示したものに限定される訳ではない。注目枠１１０の表示形態のバリエーションについては後述する（図１６参照）。さらに、注目領域設定部２０は、ジェスチャー等の操作に基づいて、注目領域の位置や形状を設定してもよい。

【0066】

［注目領域に対応する相対位置の推定方法の説明］
その後、スコピスト５０６２が内視鏡５００１を移動させると、検波領域推定部２２が、術野画像Ｋ（ｘ，ｙ）の中から注目領域に対応する相対位置を推定する。そして、パラメータ制御部２６は、推定した注目領域に対応する相対位置に対して、前記したパラメータ調整を行う。表示制御部４０は、調整されたパラメータによって撮像された術野画像Ｋ（ｘ，ｙ）を表示装置５０に出力する。このような処理を継続することによって、医療用観察システム１０ａは、表示装置５０に術野画像Ｋ（ｘ，ｙ）を表示させ続ける。

【0067】

ここで、内視鏡５００１の位置や姿勢が変化した場合に、検波領域推定部２２が、術野画像Ｋ（ｘ，ｙ）の中から、検波すべき、注目領域に対応する相対位置を推定する方法について説明する。

【0068】

検波領域推定部２２は、例えば、時刻ｔにおける内視鏡５００１の位置及び姿勢と、所定のタイミング、例えば時刻ｔとは異なる時刻ｔ＋Δｔにおける内視鏡５００１の位置及び姿勢と、３次元地図Ｄ（Ｘ，Ｙ，Ｚ）とに基づいて、時刻ｔにおける注目枠１１０が、時刻ｔ+Δｔにおいて、術野画像Ｋ（ｘ，ｙ、ｔ＋Δｔ）のどの位置に観測されるか、すなわち、注目枠１１０に対応する相対位置を推定する。

【0069】

具体的には、検波領域推定部２２は、内視鏡５００１の位置及び姿勢に基づいて、設定した注目枠１１０の近傍の複数の特徴点が、時刻ｔから時刻ｔ＋Δｔの間にどのように移動したかを特定する。そして、検波領域推定部２２は、注目枠１１０に係る情報、具体的には、特定した特徴点の移動状態に基づいて、検波すべき、注目枠１１０に対応する相対位置を推定する。

【0070】

なお、注目領域として設定した領域は、一般に、手術の対象となる患部であることが多い。患部は、手術によって切除されたり、出血したり、大きく変形したりする可能性が高い。したがって、仮に注目領域の内部に特徴点を設定しても、時間の経過とともに、その特徴点が消失する可能性がある。したがって、注目領域を設定した後の術野画像Ｋ（ｘ，ｙ）からは、注目領域の周囲を除いた領域の中から特徴点を抽出するのが望ましい。

【0071】

図６は、特徴点を抽出する領域を設定した例を示す画像である。前記した地図生成部１５は、図６に示すように、注目枠１１０を設定した画面の中央部を避けて、画面の周囲にマスク１２０を設定する。そして、地図生成部１５は、設定したマスク１２０の内部のみで特徴点を抽出する。設定されたマスク１２０の領域は、注目領域の位置を示す注目枠１１０から離れているため、手術中の変形が少ないと想定される。したがって、マスク１２０の内部は、時間の経過に関わらずに、安定して特徴点を検出することができる。そして、特徴点が安定して抽出できるため、３次元地図Ｄ（Ｘ，Ｙ，Ｚ）や内視鏡５００１の位置及び姿勢の推定精度の安定性が向上する。

【0072】

なお、術野画像Ｋ（ｘ，ｙ）において、マスク１２０の内部に、鉗子５０２３等の手術器具又は術者の指等の術野に関係しない物体が写り込む場合がある。これらの物体を構成する特徴点は、時間の経過とともに不規則に移動する可能性が高い。すなわち、これらの物体を構成する特徴点は、術野画像Ｋ（ｘ，ｙ）の中に安定して存在する保証がないため、ＡＦ／ＡＥに悪影響を及ぼすおそれがある。したがって、これらの物体を除去した上で特徴点を抽出するのが望ましい。そのため、地図生成部１５は、術野画像Ｋ（ｘ，ｙ）の中から、予め登録した、手術器具や指等の物体を除去する機能を備えてもよい。なお、この場合、地図生成部１５は、本開示おける検出部の一例である。

【0073】

術野画像Ｋ（ｘ，ｙ）の中から登録した物体を検出する処理は、例えば、予め登録した画像をテンプレートとして、当該テンプレートとマッチする領域を術野画像Ｋ（ｘ，ｙ）の中から探索することによって行えばよい。

【0074】

［第１の実施の形態に係る医療用観察システムが出力する画像の説明］
図７は、医療用観察システム１０ａが出力する術野画像Ｋ（ｘ，ｙ）の一例を示す図である。術野画像Ｋ（ｘ，ｙ）は、図７Ａに示すように、フォーカスが合っていない、いわゆる非合焦状態となる場合がある。さらに、術野画像Ｋ（ｘ，ｙ）は、図７Ｂに示す露出不足（露出アンダー）状態、又は露出過多（露出オーバ）状態となる場合がある。医療用観察システム１０ａは、術野画像Ｋ（ｘ，ｙ）の中に注目領域を設定して、当該注目領域に対してフォーカスと露出を調整し続けるように撮像パラメータを調整する。その結果、図７Ｃに示すように、注目枠１１０の内部にフォーカスが合って、尚且つ注目枠１１０の内部が適正露出となる術野画像Ｋ（ｘ，ｙ）が生成されて表示される。

【0075】

そして、医療用観察システム１０ａは、時間とともに移動する、注目枠１１０が示す領域の位置を推定して、推定された注目枠１１０が示す領域に対して、フォーカスと露出を調整し続ける。したがって、図７Ｄに示すように、内視鏡５００１が位置や姿勢が変化することによって、術野の表示位置が移動した場合であっても、術者５０６１やスコピスト５０６２等は、設定された注目領域を、常に見やすい状態で観察することができ、手術を進行させやすくすることができる。従来は、術野画像という２次元情報のみを参照していたため、術野画像において手術器具や術者の手等の術部以外の物体が術野に重なって映り込んだときなどに術部を見失ってしまい、精度良く術部に合わせて撮像パラメータを調整し続けることが難しかった。また、手術現場では術者やスコピストが撮像装置を頻繁に動かすため、２次元情報のみでは術部を見失いがちであった。これに対して、本開示では、３次元情報に基づいて注目領域を設定するため、精度良く注目領域に合わせて撮像パラメータを調整し続けることができる。

【0076】

［撮影倍率変更機能の説明］
図８は、医療用観察システム１０ａが、術野までの距離に応じて観察時の撮影倍率を変更する機能について説明する図である。医療用観察システム１０ａは、３次元地図Ｄ（Ｘ，Ｙ，Ｚ）から得られる被写体（注目領域）までの距離の情報を用いて、注目領域の大きさ、すなわち撮影倍率を調整し、目的とする被写体が常に同じ大きさで観察できるようにすることができる。

【0077】

すなわち、レンズ制御部２６ｂは、ＡＦ検波部２６ａが取り出した合焦状態を示す情報に基づいて算出した注目領域までの距離と、前回撮像した際の注目領域までの距離との差分値を算出する。次に、レンズ制御部２６ｂは、算出された距離の差分値に基づいて、注目領域の倍率の変化を求める。そして、レンズ制御部２６ｂは、光学系４３に対して、ズームレンズの位置を制御させることによって、注目領域が同じ大きさで観察されるように、撮影倍率を変更させる。

【0078】

例えば、図８Ａに示すように、トロッカ５０２５ａを介して患者５０７１の体腔内に挿入された内視鏡５００１が、術野画像Ｋａ（ｘ，ｙ）を撮像したとする。そして、その後、内視鏡の位置と姿勢が変化して、図８Ｂに示す術野画像Ｋｂ（ｘ，ｙ）が撮像されたとする。このとき、内視鏡５００１の先端から術野までの距離が大きくなっている、すなわと、撮像範囲Ｚ１が撮像範囲Ｚ２に変化しているため、術野はより小さく（注目枠１１０ｙ）観察される。このとき、レンズ制御部２６ｂは、注目領域までの距離が大きくなったことを検出できるため、レンズ制御部２６ｂは、光学系４３に対して、ズームレンズの位置を制御させることによって、撮影倍率を高める制御を行わせる。

【0079】

すなわち、現像処理部１８は、術野画像Ｋｂ（ｘ，ｙ）の撮影倍率を高めることによって、図８Ｃに示す術野画像Ｋｃ（ｘ，ｙ）を生成する。また、注目領域設定部２０（設定部）は、注目枠１１０ｙを術野画像Ｋｃ（ｘ，ｙ）と同じ撮影倍率で拡大した注目枠１１０ｚを設定する。そして、表示制御部４０は、術野画像Ｋｃ（ｘ，ｙ）に注目枠１１０ｚを重畳して表示装置５０に表示する。これによって、内視鏡５００１の先端から術野までの距離が大きくなった場合であっても、術野画像Ｋａ（ｘ，ｙ）において観察される注目領域（注目枠１１０ｘ）と同じ大きさの注目領域として、術野を観察し続けることができる。

【0080】

なお、パラメータ制御部２６は、検波領域推定部２２（推定部）が推定した注目領域に対応する相対位置と、パラメータ制御部２６が調整したフォーカス位置（注目領域の３次元位置）と、に応じて、撮像装置４２ａが術野画像Ｋ（ｘ，ｙ）を撮像する際の制御パラメータの初期値を設定するようにしてもよい。

【0081】

［第１の実施の形態に係る医療用観察システムが行う処理の流れの説明］
次に、第１の実施の形態の医療用観察システム１０ａが行う処理の流れを説明する。図９は、医療用観察システム１０ａが行う処理の流れの一例を示すフローチャートである。

【0082】

以下、図８のフローチャートについて説明する。まず、撮像素子４４ａは、術野画像Ｋ（ｘ，ｙ）を撮像する（ステップＳ１０）。

【0083】

地図生成部１５は、撮像した術野画像Ｋ（ｘ，ｙ）の中から特徴点を抽出する（ステップＳ１１）。

【0084】

さらに、撮像素子４４ａは、Δｔ秒後の術野画像Ｋ（ｘ，ｙ）を撮像する（ステップＳ１２）。

【0085】

地図生成部１５は、撮像したΔｔ秒後の術野画像Ｋ（ｘ，ｙ）の中から特徴点を抽出する（ステップＳ１３）。

【0086】

地図生成部１５は、特徴点の３次元位置を算出することによって、３次元地図Ｄ（Ｘ，Ｙ，Ｚ）を生成する（ステップＳ１４）。

【0087】

自己位置推定部１６は、内視鏡５００１の位置及び姿勢を推定する（ステップＳ１５）。

【0088】

注目領域設定部２０は、術野画像Ｋ（ｘ，ｙ）の中に注目領域を設定する（ステップＳ１６）。

【0089】

パラメータ制御部２６は、術野画像Ｋ（ｘ，ｙ）の中の、注目領域の位置に対応する領域の画素値に基づいて、撮像パラメータ（光学パラメータ、撮像パラメータ、現像パラメータ、発光パラメータ）を調整する（ステップＳ１７）。

【0090】

撮像素子４４ａは、ステップＳ１７で調整した撮像パラメータによって、Δｔ秒後の術野画像Ｋ（ｘ，ｙ）を撮像する（ステップＳ１８）。

【0091】

表示制御部４０は、撮像された術野画像Ｋ（ｘ，ｙ）を表示装置５０に出力する（ステップＳ１９）。

【0092】

表示制御部４０は、処理の終了指示があるかを判定する（ステップＳ２０）。終了指示があると判定される（ステップＳ２０：Ｙｅｓ）と、医療用観察システム１０ａは、図６の処理を終了する。一方、終了指示があると判定されない（ステップＳ２０：Ｎｏ）と、ステップＳ２１に移行する。なお、処理の終了指示は、例えば、カメラコントロールユニット１２ａの電源スイッチ（非図示）をＯＦＦにする等の操作を検出することによって行われる。

【0093】

ステップＳ２０においてＮｏと判定されると、地図生成部１５は、撮像されたΔｔ秒後の術野画像Ｋ（ｘ，ｙ）の中から特徴点を抽出する（ステップＳ２１）。

【0094】

地図生成部１５は、特徴点の３次元位置を算出することによって、ステップＳ１４で生成した３次元地図Ｄ（Ｘ，Ｙ，Ｚ）を更新する（ステップＳ２２）。

【0095】

自己位置推定部１６は、内視鏡５００１の位置及び姿勢を推定する（ステップＳ２３）。

【0096】

検波領域推定部２２は、ステップＳ１８で撮像したΔｔ秒後の術野画像Ｋ（ｘ，ｙ）における注目領域（検波領域）の位置を推定する（ステップＳ２４）。その後、ステップＳ１７に戻る。

【0097】

［第１の実施の形態の作用効果の説明］
以上説明したように、第１の実施の形態の医療用観察システム１０ａによると、３次元情報生成部１４は、撮像装置４２ａが撮像した術野画像Ｋ（ｘ，ｙ）から、術野の３次元地図Ｄ（Ｘ，Ｙ，Ｚ）（３次元情報）を生成する。そして、注目領域設定部２０（設定部）は、所定のタイミングに撮像した術野画像Ｋ（ｘ，ｙ）の中に、少なくとも一つの注目領域を設定する。検波領域推定部２２（推定部）は、３次元地図Ｄ（Ｘ，Ｙ，Ｚ）と注目領域設定部２０が設定した注目領域に係る情報とに基づいて、前記所定のタイミングとは異なるタイミングに撮像した術野画像Ｋ（ｘ，ｙ）の中から、注目領域に対応する相対位置を推定する。そして、パラメータ制御部２６（調整部）は、検波領域推定部２２が推定した注目領域の相対位置に対応する術野画像Ｋ（ｘ，ｙ）の３次元情報と画素値とに基づいて、撮像装置４２ａ及び撮像装置４２ａの周辺機器である光源装置６０の撮像パラメータを調整して術野画像Ｋ（ｘ，ｙ）を撮像させる。そして、表示制御部４０は、撮像された術野画像Ｋ（ｘ，ｙ）を表示する。したがって、撮像装置４２ａが実装された内視鏡５００１が位置や姿勢を変化させた場合であっても、ＡＦ機能やＡＥ機能等にかかる撮像パラメータの調整を、例えば手術箇所等の注目領域に合わせて行い続けることができる。

【0098】

また、第１の実施の形態の医療用観察システム１０ａによると、撮像装置４２ａは、１つの撮像素子４４ａを備えて、３次元情報生成部１４は、撮像装置４２ａが異なる時刻に撮像した少なくとも２枚の術野画像Ｋ（ｘ，ｙ）に基づいて、術野の３次元地図Ｄ（Ｘ，Ｙ，Ｚ）（３次元情報）を生成する。したがって、単眼カメラのみという簡易な構成の撮像装置４２ａを用いて、手術箇所等の注目領域にフォーカスが合致して、尚且つ注目領域が見やすい明るさで撮像された術野画像Ｋ（ｘ，ｙ）を観察し続けることができる。

【0099】

また、第１の実施の形態の医療用観察システム１０ａによると、３次元情報生成部１４は、術野画像Ｋ（ｘ，ｙ）の全体又は任意の範囲から抽出した特徴点の３次元情報を生成する。したがって、注目領域の設定前には術野画像Ｋ（ｘ，ｙ）の全体から特徴点を抽出することによって、できるだけ多くの特徴点の３次元位置に基づく３次元地図Ｄ（Ｘ，Ｙ，Ｚ）を生成することができる。そして、注目領域の設定後には、手術によって変動が大きい、注目領域及びその近傍の領域から特徴点を抽出しないことによって、時間の経過とともに変動の少ない、安定した特徴点の３次元位置に基づいて、３次元地図Ｄ（Ｘ，Ｙ，Ｚ）を更新することができる。

【0100】

また、第１の実施の形態の医療用観察システム１０ａによると、パラメータ制御部２６（調整部）は、制御パラメータとして、撮像装置４２ａの光学系の状態を規定する光学パラメータを、術野画像Ｋ（ｘ，ｙ）の中の、検波領域推定部２２（推定部）が推定した注目領域の推定位置に対応する領域の画素値に応じて調整する。したがって、注目領域の位置が移動した場合であっても、当該注目領域にフォーカスが合った術野画像Ｋ（ｘ，ｙ）を得ることができる。

【0101】

また、第１の実施の形態の医療用観察システム１０ａによると、パラメータ制御部２６（調整部）は、制御パラメータとして、撮像装置４２ａの露出条件を規定する撮像パラメータを、術野画像Ｋ（ｘ，ｙ）の中の、検波領域推定部２２（推定部）が推定した注目領域の推定位置に対応する領域の画素値に応じて調整する。したがって、注目領域の位置が移動した場合であっても、当該注目領域が見やすくなるように露光された術野画像Ｋ（ｘ，ｙ）を得ることができる。

【0102】

また、第１の実施の形態の医療用観察システム１０ａによると、パラメータ制御部２６（調整部）は、制御パラメータとして、撮像装置４２ａの現像条件を規定する現像パラメータを、術野画像Ｋ（ｘ，ｙ）の中の、検波領域推定部２２（推定部）が推定した注目領域の推定位置に対応する領域の画素値に応じて調整する。したがって、注目領域の位置が移動した場合であっても、当該注目領域が見やすくなるように露出補正された術野画像Ｋ（ｘ，ｙ）を得ることができる。

【0103】

また、第１の実施の形態の医療用観察システム１０ａによると、パラメータ制御部２６（調整部）は、制御パラメータとして、撮像装置４２ａの撮像範囲に照明光を照射する光源装置６０の発光状態を規定する発光パラメータを、術野画像Ｋ（ｘ，ｙ）の中の、検波領域推定部２２（推定部）が推定した注目領域の推定位置に対応する領域の画素値に応じて調整する。したがって、注目領域の位置が移動した場合であっても、当該注目領域が見やすくなるように照明された術野画像Ｋ（ｘ，ｙ）を得ることができる。

【0104】

また、第１の実施の形態の医療用観察システム１０ａによると、地図生成部１５（検出部）は、術野画像Ｋ（ｘ，ｙ）の中から、予め登録された物体を検出する。そして、注目領域設定部２０（設定部）は、術野画像Ｋ（ｘ，ｙ）のうち、地図生成部１５（検出部）が検出した物体を除いた領域の中から、特徴点を抽出する。したがって、鉗子５０２３や指等の物体が有する特徴点が抽出されないため、ＡＦ／ＡＥに悪影響を及ぼすのを防ぐことができる。

【0105】

また、第１の実施の形態の医療用観察システム１０ａによると、パラメータ制御部２６（調整部）は、検波領域推定部２２（推定部）が推定した注目領域に対応する相対位置と、パラメータ制御部２６が調整したフォーカス位置（注目領域の３次元位置）と、に基づく注目領域の３次元位置に応じて、撮像装置４２ａが撮像する術野画像Ｋ（ｘ，ｙ）の撮影倍率を変更する。そして、注目領域設定部２０（設定部）は、前記撮影倍率に応じて、注目領域の大きさを変化させる。したがって、内視鏡５００１の位置や姿勢が変化した場合であっても、術野画像Ｋ（ｘ，ｙ）の注目領域を同じ大きさで観察し続けることができる。

【0106】

また、第１の実施の形態の医療用観察システム１０ａによると、パラメータ制御部２６（調整部）は、検波領域推定部２２（推定部）が推定した注目領域に対応する相対位置と、パラメータ制御部２６が調整したフォーカス位置（注目領域の３次元位置）と、に応じて、撮像装置４２ａが術野画像Ｋ（ｘ，ｙ）を撮像する際の制御パラメータの初期値を設定する。したがって、内視鏡５００１の位置や姿勢が変化した場合であっても、術野画像Ｋ（ｘ，ｙ）の注目領域を撮像する際の制御パラメータの調整を迅速に行うことができる。

【0107】

また、第１の実施の形態の医療用観察システム１０ａによると、撮像装置４２ａは内視鏡５００１に実装される。したがって、内視鏡５００１を利用した手術等を行う際に、患部にフォーカスや露出を調整し続けることができる。

【0108】

また、第１の実施の形態のカメラコントロールユニット１２ａ（医療用観察装置）によると、異なる位置から術野を撮像した少なくとも２枚の術野画像Ｋ（ｘ，ｙ）から、３次元情報生成部１４が術野の３次元地図Ｄ（Ｘ，Ｙ，Ｚ）（３次元情報）を生成する。そして、注目領域設定部２０（設定部）が、所定のタイミングに撮像した術野画像Ｋ（ｘ，ｙ）の中に、少なくとも一つの注目領域を設定する。検波領域推定部２２（推定部）は、３次元地図Ｄ（Ｘ，Ｙ，Ｚ）と注目領域設定部２０が設定した注目領域の位置とに基づいて、前記所定のタイミングとは異なるタイミングに撮像した術野画像Ｋ（ｘ，ｙ）の中から、注目領域に対応する相対位置を推定する。そして、パラメータ制御部２６（調整部）が、３次元地図Ｄ（Ｘ，Ｙ，Ｚ）と注目領域の相対位置とに基づいて、撮像装置４２ａ及び撮像装置４２ａの周辺機器である光源装置６０の撮像パラメータを調整して術野画像Ｋ（ｘ，ｙ）を撮像し、表示制御部４０が、撮像された術野画像Ｋ（ｘ，ｙ）を表示する。したがって、撮像装置４２ａが実装された内視鏡５００１が移動した場合であっても、ＡＦ機能やＡＥ機能等にかかる撮像パラメータの調整を、例えば手術箇所等の注目領域に合わせて行い続けることができる。

【0109】

なお、医療用観察システム１０ａにおいて、撮像装置４２ａを内蔵する内視鏡５００１が、ジャイロセンサ等の加速度センサを実装していてもよい。加速度センサの出力によって、内視鏡５００１の位置と姿勢を計測することができるため、撮像装置４２ａが異なる時刻に２枚の画像を撮像することなく、内視鏡５００１の位置と姿勢を計測することができ、これによって、注目領域の位置を推定することができる。

【0110】

（第２の実施の形態）
医療用観察システム１０ａの構成は、第１の実施の形態で説明した構成に限定されるものではなく、様々な変形例を実現することができる。以下、医療用観察システムの別の実施の形態について、順を追って説明する。

【0111】

第１の実施の形態において、医療用観察システム１０ａは、撮像装置４２ａが１つの撮像素子４４ａを有するものとして説明した。しかしながら、撮像装置の構成は、これに限定されるものではない。

【0112】

図１０は、撮像装置４２ｂが像面位相差センサ４６を備える撮像素子４４ｂで構成された医療用観察システム１０ｂの概略的な構成の一例を示す図である。なお、図１０は、図２を一部省略して描いており、特に断りのない限り、省略された箇所は図２と同じ構成を有している。

【0113】

像面位相差センサ４６は、撮像素子４４ｂの中に、測距を行う画素を離散配置した構成を有している。図１０のように構成された医療用観察システム１０ｂを用いることによって、地図生成部１５は、像面位相差センサ４６が出力する像面位相差情報から、撮像した物体１００までの深度情報（距離情報）を取り出すことができる。したがって、ＳＬＡＭ技術を有効に活用することができる。なお、像面位相差センサ４６は、撮像した１枚の画像のみから深度情報を得ることができる。

【0114】

図１１は、像面位相差センサを利用する場合の術野画像Ｋ（ｘ，ｙ）の表示形態の一例を示す図である。図１１Ａに示すように、術野画像Ｋ（ｘ，ｙ）の注目領域には、注目枠１１０が重畳表示されている。このとき、像面位相差センサ４６は、注目枠１１０の内部において術野までの測距を行う。測距結果は、図１１Ｂに示すように、合焦位置を示す複数のインジケータ１１２によって表示される。

【0115】

このように、第２の実施の形態によると、撮像した１枚の術野画像Ｋ（ｘ，ｙ）から深度情報を得ることができるため、物体が動いている場合であっても、当該物体の３次元位置を高精度に計測することによって、ＡＦ／ＡＥの制御を精度高く行うことができる。

【0116】

（第３の実施の形態）
図１２は、撮像装置４２ｃが２つの撮像素子４４ｃ、４４ｄで構成された医療用観察システム１０ｃの概略的な構成の一例を示す図である。なお、２つの撮像素子４４ｃ、４４ｄは、予め決められた相対関係を保った状態で配置されて、患部の異なる場所を、一部が重複するように撮像する。より具体的には、撮像素子４４ｃ、４４ｄは、立体視に対応する右目用及び左目用の画像信号をそれぞれ取得する。なお、図１２は、図２を一部省略して描いており、特に断りのない限り、省略された箇所は図２と同じ構成を有している。

【0117】

また、医療用観察システム１０ｃにおいて、カメラコントロールユニット１２ｂは、図２で説明した構成に加えて、深度情報生成部３０を備える。深度情報生成部３０は、２つの撮像素子４４ｃ、４４ｄでそれぞれ撮像された２枚の術野画像のマッチングを行って、深度情報を生成する。

【0118】

図１２のように構成された医療用観察システム１０ｃを用いることによって、地図生成部１５は、深度情報生成部３０が生成した深度情報と、撮像素子４４ｃ、４４ｄがそれぞれ撮像した術野画像とにより、ＳＬＡＭ技術を活用して３次元地図Ｄ（Ｘ，Ｙ，Ｚ）を生成することができる。また、２つの撮像素子４４ｃ、４４ｄは、同時に撮像を行うことができるため、１回の撮像で得た２枚の画像から深度情報を得ることができる。したがって、物体が動いている場合であっても、当該物体の３次元位置を高精度に計測することができる。

【0119】

このように、第３の実施の形態によると、撮像装置４２ｃは、一部が重複する異なる範囲を撮像する２つの撮像素子４４ｃ、４４ｄを備えて、３次元情報生成部１４は、撮像装置４２ｃが同じ時刻に撮像した２枚の術野画像Ｋ（ｘ，ｙ）に基づいて、術野の３次元情報を生成する。したがって、１回の撮像で得た２枚の術野画像Ｋ（ｘ，ｙ）から深度情報を得ることができるため、術野が動いている場合であっても、当該術野の３次元位置を高精度に計測することができる。

【0120】

（第４の実施の形態）
図１３は、撮像装置４２ｃが２つの撮像素子で構成されるとともに、カメラコントロールユニット１２ｃがトラッキング処理部３４を備える医療用観察システム１０ｄの概略的な構成の一例を示す図である。なお、図１３は、図２を一部省略して描いており、特に断りのない限り、省略された箇所は図２と同じ構成を有している。

【0121】

医療用観察システム１０ｄのカメラコントロールユニット１２ｃは、深度情報生成部３０と、３次元情報生成部３２と、トラッキング処理部３４と、ズーム領域算出部３６を備える。

【0122】

３次元情報生成部３２は、３次元情報生成部１４に代わって備えられて、深度情報生成部３０が生成した深度情報に基づいて、術野画像Ｋ（ｘ，ｙ）の３次元情報を生成する。トラッキング処理部３４は、３次元地図データ格納部２４に代わって備えられて、直前フレームの３次元情報と現フレームの３次元情報とに基づいて、２つの点群を重ね合わせる手法であるＩＣＰ（Iterative Closest Point）法等を用いることによって撮像装置４２ｃの位置・姿勢の差分を算出する。検波領域推定部２２は、トラッキング処理部３４が算出した撮像装置４２ｃの位置・姿勢の差分値に基づいて、術野画像Ｋ（ｘ，ｙ）における検波領域の位置を算出する。そして、前記したパラメータ制御部２６（図２）が、算出された検波領域にフォーカスが合致して、尚且つ検波領域が見やすい明るさで撮像される制御パラメータを算出する。そして、パラメータ制御部２６は、算出された制御パラメータによって、撮像装置４２ｃに術野画像Ｋ（ｘ，ｙ）を撮像させる。

【0123】

このように、第４の実施の形態によると、撮像装置４２ｃの動きによらずに、術野画像Ｋ（ｘ，ｙ）の中の注目領域を安定してトラッキング（追尾）することができる。

【0124】

（第５の実施の形態）
図１４は、撮像装置４２ｄが撮像素子４４ａとデプスセンサ４８で構成された医療用観察システム１０ｅの概略的な構成の一例を示す図である。なお、図１４は、図２を一部省略して描いており、特に断りのない限り、省略された箇所は図２と同じ構成を有している。

【0125】

デプスセンサ４８は、被写体までの距離を測定する、いわゆる３Ｄセンサである。デプスセンサ４８は、被写体に向けて照射した、例えば赤外光等の反射光を受光することによって、光の飛行時間を計測して被写体までの距離を測定する、いわゆるＴｏＦ（Time of Flight）センサである。また、デプスセンサ４８は、被写体に照射された複数の異なる幾何パターンを有する投影光の像を撮像することによって、被写体までの距離を測定する、いわゆるパターン投影法（Structured Light）によって実現される。

【0126】

地図生成部１５は、撮像素子４４ａが撮像した術野画像Ｋ（ｘ，ｙ）と、デプスセンサ４８が出力する距離とに基づいて、撮像した物体１００までの深度情報（距離情報）を取り出す。より具体的には、地図生成部１５は、デプスセンサ４８が測距した点が、撮像素子４４ａが撮像した術野画像Ｋ（ｘ，ｙ）のどの画素に対応するかを算出する。そして、地図生成部１５は、術野の３次元地図Ｄ（Ｘ，Ｙ，Ｚ）（３次元情報）を生成する。したがって、ＳＬＡＭ技術を有効に活用することができる。

【0127】

このように、第５の実施の形態によると、撮像装置４２ｄは、１つの撮像素子４４ａと対象物までの距離を計測するデプスセンサ４８（測距装置）とを備えて、３次元情報生成部１４は、撮像素子４４ａが撮像した画像とデプスセンサ４８が計測した距離とに基づいて、術野の３次元地図Ｄ（Ｘ，Ｙ，Ｚ）（３次元情報）を生成する。したがって、術野までの距離を容易且つ確実に測定することができる。

【0128】

（第６の実施の形態）
図１５は、撮像装置４２ｄが撮像素子４４ａとデプスセンサ４８で構成されるとともに、カメラコントロールユニット１２ｄがトラッキング処理部３４を備える医療用観察システム１０ｆの概略的な構成の一例を示す図である。なお、図１５は、図２を一部省略して描いており、特に断りのない限り、省略された箇所は図２と同じ構成を有している。

【0129】

医療用観察システム１０ｆのカメラコントロールユニット１２ｄは、３次元情報生成部３２と、トラッキング処理部３４と、ズーム領域算出部３６を備える。

【0130】

３次元情報生成部３２は、３次元情報生成部１４に代わって備えられて、デプスセンサ４８が異なる位置から測定した２つの距離情報（例えば、被写体までの距離に対応する画素値が格納された距離画像）をマッチングさせることによって、術野の移動状態を求める。トラッキング処理部３４は、３次元地図データ格納部２４に代わって備えられて、前記した術野の移動状態に基づいて、撮像装置４２ｃの位置・姿勢の差分を算出する。検波領域推定部２２は、トラッキング処理部３４が算出した撮像装置４２ｄの位置・姿勢の差分値に基づいて、術野画像Ｋ（ｘ，ｙ）における検波領域の位置を算出する。そして、前記したパラメータ制御部２６（図２）が、算出された検波領域にフォーカスが合致して、尚且つ検波領域が見やすい明るさで撮像される制御パラメータを算出する。そして、パラメータ制御部２６は、算出された制御パラメータによって、撮像装置４２ｄに術野画像Ｋ（ｘ，ｙ）を撮像させる。

【0131】

このように、第６の実施の形態によると、撮像装置４２ｄの動きによらずに、術野画像Ｋ（ｘ，ｙ）の中の注目領域を安定してトラッキング（追尾）することができる。

【0132】

（第７の実施の形態）
図１６は、術野画像Ｋ（ｘ，ｙ）の中に複数の注目枠１１０ａ、１１０ｂを設定した例を示す図である。

【0133】

図１６に示すように、注目領域設定部２０（図２）は、術野画像Ｋ（ｘ，ｙ）の中に複数の注目領域を設定してもよい。例えば、複数の患部に注目する必要がある場合、注目領域設定部２０は、スコピスト５０６２の指示に基づいて、各注目領域を示す注目枠１１０ａ、１１０ｂを設定する。パラメータ制御部２６は、設定された各注目枠１１０ａ、１１０ｂを含む注目領域に対して、ともにフォーカスが合うようにＡＦ制御を行う。また、各注目枠１１０ａ、１１０ｂを含む注目領域が、ともに観察しやすい明るさとなるようにＡＥ制御、光源制御を行う。このとき、パラメータ制御部２６は、例えば、各注目枠１１０ａ、１１０ｂを設定した領域までの距離等を用いて、注目枠１１０ａ、１１０ｂの双方に合焦して、尚且つ注目枠１１０ａ、１１０ｂの双方が観察しやすい明るさとなるように、適切な制御パラメータを決定する。そして、表示制御部４０は、パラメータ制御部２６が調整した制御パラメータに基づいて撮像された術野画像Ｋ（ｘ，ｙ）を、表示装置５０に出力する。

【0134】

なお、本実施の形態の変形例として、複数の注目枠１１０ａ、１１０ｂのうち、一方の注目枠１１０ａは、合焦させる領域として設定し、他方の注目枠１１０ｂは、合焦させない、すなわちフォーカス対象から除外する領域として設定してもよい。このように、合焦対象から除外する領域を設定することによって、例えば、レンズ制御部２６ｂがコントラストＡＦ等における演算処理を行う際に、不必要にフォーカスの合う位置を探索する必要がなくなるため、合焦速度の高速化を行うことができる。なお、合焦させる領域を示す注目枠１１０ａと、合焦対象から除外する領域を示す注目枠１１０ｂとは、識別性を高めるために、異なる色や異なる形態で表示するのが望ましい。

【0135】

このように、第７の実施の形態によると、術野の中に複数の注目したい領域がある場合に、注目領域設定部２０は複数の注目領域を設定する。したがって、複数の注目領域に対して制御パラメータを調整することができる。

【0136】

（第８の実施の形態）
図１７は、術野画像Ｋ（ｘ，ｙ）の中から、所定の距離範囲の領域を強調表示させた表示形態の一例を示す図である。

【0137】

注目領域設定部２０は、注目領域を設定する際に、図１７に示すように、術野画像Ｋ（ｘ，ｙ）の中の所定の距離範囲領域に所定の着色をして出力する。図１７は、距離ｄ１よりも近い距離を有する領域Ｒ１と、距離ｄ２よりも遠い距離を有する領域Ｒ２と、にそれぞれ異なる着色をさせた表示した例である。なお、これは、注目領域の設定を行い易くする目的で、注目領域までの距離範囲を、距離ｄ１から距離ｄ２の間に制限するために行う処理である。

【0138】

距離ｄ１及び距離ｄ２の値は、例えば、図１７に示すように、注目領域設定部２０が、術野画像Ｋ（ｘ，ｙ）の近傍に、距離目盛を表示させて、スコピスト５０６２がマウスやタッチパネル等の入力デバイスを操作することによって設定すればよい。そして、設定された距離ｄ１及び距離ｄ２の値に応じて、注目領域設定部２０は、術野画像Ｋ（ｘ，ｙ）上の領域Ｒ１及び領域Ｒ２を、リアルタイムで着色表示する。このとき、操作者は、距離目盛上の設定したい距離の位置で入力デバイスをポインティングして、距離ｄ１又は距離ｄ２を設定する。そして、操作者は、入力デバイスをポインティングしたまま距離目盛上の遠方方向又は近接方向に向かって入力デバイスをドラッグする。注目領域設定部２０は、このドラッグ操作を検出することによって、図１７に示すように、距離目盛上に、ドラッグされた距離範囲に着色される色を表示する。このようなＧＵＩ（Graphical User Interface）とすることによって、操作者は、術野画像Ｋ（ｘ，ｙ）において、自身が設定した距離範囲に対応する領域を認識しやすくなる。なお、距離目盛上に、設定された距離範囲を表示する方法は、図１７に示した方法に限定される訳ではなく、設定された距離範囲が明示されるものであれば、その他の表示形態をとってもよい。

【0139】

表示制御部４０は、領域Ｒ１及び領域Ｒ２が着色表示された術野画像Ｋ（ｘ，ｙ）を表示装置５０に出力する。そして、スコピスト５０６２は、領域Ｒ１及び領域Ｒ２が着色表示された術野画像Ｋ（ｘ，ｙ）を見ながら、前記した手順（図４参照）に従って、注目領域を設定する。

【0140】

このように、第８の実施の形態によると、注目領域設定部２０（設定部）は、注目領域が存在する距離範囲を指定する機能を、更に備えて、指定された距離範囲の中で注目領域を設定させる。したがって、スコピスト５０６２は、注目領域の設定をより容易に行うことができる。

【0141】

（第９の実施の形態）
図１８は、術野画像Ｋ（ｘ，ｙ）の中に設定する注目枠１１０ｃ～１１０ｇの表示形態の一例を示す図である。

【0142】

注目枠の表示形態は、図４に示した矩形状の枠に限定されるものではない。図１８Ａは、注目枠１１０ｃを円形領域で表示した例である。図１８Ｂは、注目枠１１０ｄを着色（ハイライト）された閉領域で示した例である。図１８Ｃは、注目枠１１０ｅを記号で示した例である。図１８Ｄは、注目枠１１０ｆを閉曲線で示した例である。図１８Ｅは、注目枠１１０ｇ及び注目枠１１０ｇを設定した位置と等しい距離を有する領域を、ともに着色して表示した例である。特に、図１８Ｅの表示形態によると、スコピスト５０６２は、注目領域と等しい距離の位置に別の領域が存在することを認識することができる。したがって、内視鏡５００１が誤って別の領域の方向を向くことによって、注目領域に対する追尾が外れないように、内視鏡５００１をより一層注意深く把持することができる。

【0143】

なお、注目枠をいずれの形態で表示するかは、スコピスト５０６２が、予め注目領域設定部２０に設定しておけばよい。なお、注目枠１１０ｃ～１１０ｇの設定方法は、図４または図５で説明した方法に従えばよい。注目領域を画面の中央に移動した後で注目枠を設定するだけではなく、タッチパネルやマウス等の入力デバイスを用いて、注目枠の位置を直接画面上で設定してもよい。特に、図１８Ｂ、図１８Ｄ、図１８Ｅに示すように、注目枠を任意形状の閉領域として設定する場合は、図５で説明したように、表示装置５０に表示された術野画像Ｋ（ｘ，ｙ）の上で、注目枠の位置と形状を直接設定するのが効率的である。

【0144】

このように、第９の実施の形態によると、設定された注目領域に、操作者が見やすい形態の注目枠１１０ｃ～１１０ｇを表示することができる。

【0145】

（第１０の実施の形態）
図１９は、術野画像Ｋ（ｘ，ｙ）の中から反射光の大きい場所を検出する機能について説明する図である。腹腔内及び臓器は、腹水、粘液、血液等の液体に覆われている。これらの液体は、外部から照明光を照射した場合に高い正反射特性を示す。こうして発生した正反射光が撮像素子４４ａに受光されると、受光した画素の画素値がオーバフローする可能性がある。このようなオーバフローが発生すると、術野画像Ｋ（ｘ，ｙ）の明るさ、色、形状等を識別できなくなるため、術野を観察する画像として望ましくないおそれがある。したがって、医療用観察システム１０ａにおいては、撮像素子４４ａが正反射光を受光しない観察レイアウトをとるのが望ましい。

【0146】

正反射光の進行方向は、腹腔内に存在する立体物の法線方向に依存する。そして、腹腔内の立体物の法線方向は、一般に多岐の方向に亘って分布するため、撮像素子４４ａが正反射光を受光しない観察レイアウトを実現することは現実的ではない。そのため、本実施の形態では、正反射光が発生する可能性のある位置を予め予測することによって、当該位置を観察対象となる注目領域として設定できないようにする。

【0147】

本実施の形態では、第１の実施の形態で説明した医療用観察システム１０ａにおける注目領域設定部２０に、術野画像Ｋ（ｘ，ｙ）における正反射光の発生位置を予測する機能を持たせる。すなわち、注目領域設定部２０は、地図生成部１５が生成した、図１９Ａに示す３次元地図Ｄ（Ｘ，Ｙ，Ｚ）と、光源装置６０の設置位置とを照らし合わせることによって、図１９Ｂに示す術野画像Ｋ（ｘ，ｙ）における、光源装置６０から出射した光の正反射光の発生位置を予測する。

【0148】

具体的には、地図生成部１５は、３次元地図Ｄ（Ｘ，Ｙ，Ｚ）における隣接する点の３次元位置に基づいて、点（Ｘ，Ｙ，Ｚ）における３次元的な法線方向を算出する。そして、注目領域設定部２０は、地図生成部１５（３次元情報生成部１４）が算出した法線方向と、光源装置６０の設置位置とを照らし合わせることによって、光源装置６０から出射した光線の正反射光が、撮像素子４４ａに到達する位置を算出する。正反射光の到達位置の算出は、光線追跡法によって行えばよい。この処理によって、例えば、図１９Ａにおいて、領域Ｑ１における正反射光が、図１９Ｂにおける術野画像Ｋ（ｘ，ｙ）の領域Ｑ２に到達することが予測される。

【0149】

注目領域設定部２０は、さらに、正反射光の到達位置である領域Ｑ２にマスクを設定する。そして、注目領域設定部２０は、領域Ｑ２に注目領域を設定できないようにする。

【0150】

このように、第１０の実施の形態によると、注目領域設定部２０（設定部）は、３次元情報生成部１４が生成した術野の３次元地図Ｄ（Ｘ，Ｙ，Ｚ）（３次元情報）に基づいて、光源装置６０による照明光の正反射方向を予測する。そして、注目領域設定部２０は、予測された方向に進む正反射光が撮像装置４２ａに撮像されると判定した場合に、当該正反射光が撮像される領域を注目領域の設定対象から除外する。したがって、注目領域設定部２０は、正反射光が到達しない位置に注目領域を設定するため、当該注目領域における画素値に基づいてＡＥ制御を行うことによって、適切な露出を得ることができる。

【0151】

なお、本実施の形態において、正反射光が撮像装置４２ａで撮像される場合に、観測される正反射光によって、画素値がオーバフローしないように、ＡＥ用の制御パラメータや光源制御パラメータを調整するようにしてもよい。

【0152】

（第１１の実施の形態）
図２０は、本開示に係る技術が適用され得る顕微鏡手術システム５３００の概略的な構成の一例を示す図である。図２０を参照すると、顕微鏡手術システム５３００は、顕微鏡装置５３０１と、制御装置５３１７と、表示装置５０と、から構成される。なお、以下の顕微鏡手術システム５３００についての説明において、「ユーザ」とは、術者及び助手等、顕微鏡手術システム５３００を使用する任意の医療スタッフのことを意味する。

【0153】

顕微鏡装置５３０１は、観察対象（患者の術部）を拡大観察するための顕微鏡部５３０３と、顕微鏡部５３０３を先端で支持するアーム部５３０９と、アーム部５３０９の基端を支持するベース部５３１５と、を有する。

【0154】

顕微鏡部５３０３は、略円筒形状の筒状部５３０５と、当該筒状部５３０５の内部に設けられる撮像部（図示せず）と、から構成される。顕微鏡部５３０３は、撮像部によって電子的に撮像画像を撮像する、電子撮像式の顕微鏡部（いわゆるビデオ式の顕微鏡部）である。なお、撮像部は、本開示における撮像装置の一例である。

【0155】

筒状部５３０５の下端の開口面には、内部の撮像部を保護するカバーガラスが設けられる。観察対象からの光（以下、観察光ともいう）は、当該カバーガラスを通過して、筒状部５３０５の内部の撮像部に入射する。なお、筒状部５３０５の内部には例えばＬＥＤ（Light Emitting Diode）等からなる光源が設けられてもよく、撮像時には、当該カバーガラスを介して、当該光源から観察対象に対して光が照射されてもよい。

【0156】

撮像部は、観察光を集光する光学系と、当該光学系が集光した観察光を受光する撮像素子と、から構成される。当該光学系は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成され、その光学特性は、観察光を撮像素子の受光面上に結像するように調整されている。当該撮像素子は、観察光を受光して光電変換することにより、観察光に対応した信号、すなわち観察像に対応した画像信号を生成する。当該撮像素子としては、例えばＢａｙｅｒ配列を有するカラー撮影可能なものが用いられる。当該撮像素子は、ＣＭＯＳイメージセンサ又はＣＣＤイメージセンサ等、各種の公知の撮像素子であってよい。撮像素子によって生成された画像信号は、ＲＡＷデータとして制御装置５３１７に送信される。ここで、この画像信号の送信は、好適に光通信によって行われてもよい。手術現場では、術者が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術野の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信で画像信号が送信されることにより、低レイテンシで撮像画像を表示することが可能となる。

【0157】

なお、撮像部は、その光学系のズームレンズ及びフォーカスレンズを光軸に沿って移動させる駆動機構を有してもよい。当該駆動機構によってズームレンズ及びフォーカスレンズが適宜移動されることにより、撮像画像の撮影倍率及び撮像時の焦点距離が調整され得る。また、撮像部には、ＡＥ機能やＡＦ機能等、一般的に電子撮像式の顕微鏡部に備えられ得る各種の機能が搭載されてもよい。

【0158】

また、撮像部は、１つの撮像素子を有するいわゆる単板式の撮像部として構成されてもよいし、複数の撮像素子を有するいわゆる多板式の撮像部として構成されてもよい。撮像部が多板式で構成される場合には、例えば各撮像素子によってＲＧＢそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、当該撮像部は、立体視（３Ｄ表示）に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成されてもよい。３Ｄ表示が行われることにより、術者は術野における生体組織の奥行きをより正確に把握することが可能になる。なお、当該撮像部が多板式で構成される場合には、各撮像素子に対応して、光学系も複数系統が設けられ得る。

【0159】

アーム部５３０９は、複数のリンク（第１リンク５３１３ａ～第６リンク５３１３ｆ）が、複数の関節部（第１関節部５３１１ａ～第６関節部５３１１ｆ）によって互いに回動可能に連結されることによって構成される。

【0160】

第１関節部５３１１ａは、略円柱形状を有し、その先端（下端）で、顕微鏡部５３０３の筒状部５３０５の上端を、当該筒状部５３０５の中心軸と平行な回転軸（第１軸Ｏ_１）まわりに回動可能に支持する。ここで、第１関節部５３１１ａは、第１軸Ｏ_１が顕微鏡部５３０３の撮像部の光軸と一致するように構成され得る。これにより、第１軸Ｏ_１まわりに顕微鏡部５３０３を回動させることにより、撮像画像を回転させるように視野を変更することが可能になる。

【0161】

第１リンク５３１３ａは、先端で第１関節部５３１１ａを固定的に支持する。具体的には、第１リンク５３１３ａは略Ｌ字形状を有する棒状の部材であり、その先端側の一辺が第１軸Ｏ_１と直交する方向に延伸しつつ、当該一辺の端部が第１関節部５３１１ａの外周の上端部に当接するように、第１関節部５３１１ａに接続される。第１リンク５３１３ａの略Ｌ字形状の基端側の他辺の端部に第２関節部５３１１ｂが接続される。

【0162】

第２関節部５３１１ｂは、略円柱形状を有し、その先端で、第１リンク５３１３ａの基端を、第１軸Ｏ_１と直交する回転軸（第２軸Ｏ_２）まわりに回動可能に支持する。第２関節部５３１１ｂの基端には、第２リンク５３１３ｂの先端が固定的に接続される。

【0163】

第２リンク５３１３ｂは、略Ｌ字形状を有する棒状の部材であり、その先端側の一辺が第２軸Ｏ_２と直交する方向に延伸しつつ、当該一辺の端部が第２関節部５３１１ｂの基端に固定的に接続される。第２リンク５３１３ｂの略Ｌ字形状の基端側の他辺には、第３関節部５３１１ｃが接続される。

【0164】

第３関節部５３１１ｃは、略円柱形状を有し、その先端で、第２リンク５３１３ｂの基端を、第１軸Ｏ_１及び第２軸Ｏ_２と互いに直交する回転軸（第３軸Ｏ_３）まわりに回動可能に支持する。第３関節部５３１１ｃの基端には、第３リンク５３１３ｃの先端が固定的に接続される。第２軸Ｏ_２及び第３軸Ｏ_３まわりに顕微鏡部５３０３を含む先端側の構成を回動させることにより、水平面内での顕微鏡部５３０３の位置を変更するように、当該顕微鏡部５３０３を移動させることができる。つまり、第２軸Ｏ_２及び第３軸Ｏ_３まわりの回転を制御することにより、撮像画像の視野を平面内で移動させることが可能になる。

【0165】

第３リンク５３１３ｃは、その先端側が略円柱形状を有するように構成されており、当該円柱形状の先端に、第３関節部５３１１ｃの基端が、両者が略同一の中心軸を有するように、固定的に接続される。第３リンク５３１３ｃの基端側は角柱形状を有し、その端部に第４関節部５３１１ｄが接続される。

【0166】

第４関節部５３１１ｄは、略円柱形状を有し、その先端で、第３リンク５３１３ｃの基端を、第３軸Ｏ_３と直交する回転軸（第４軸Ｏ_４）まわりに回動可能に支持する。第４関節部５３１１ｄの基端には、第４リンク５３１３ｄの先端が固定的に接続される。

【0167】

第４リンク５３１３ｄは、略直線状に延伸する棒状の部材であり、第４軸Ｏ_４と直交するように延伸しつつ、その先端の端部が第４関節部５３１１ｄの略円柱形状の側面に当接するように、第４関節部５３１１ｄに固定的に接続される。第４リンク５３１３ｄの基端には、第５関節部５３１１ｅが接続される。

【0168】

第５関節部５３１１ｅは、略円柱形状を有し、その先端側で、第４リンク５３１３ｄの基端を、第４軸Ｏ_４と平行な回転軸（第５軸Ｏ_５）まわりに回動可能に支持する。第５関節部５３１１ｅの基端には、第５リンク５３１３ｅの先端が固定的に接続される。第４軸Ｏ_４及び第５軸Ｏ_５は、顕微鏡部５３０３を上下方向に移動させ得る回転軸である。第４軸Ｏ_４及び第５軸Ｏ_５まわりに顕微鏡部５３０３を含む先端側の構成を回動させることにより、顕微鏡部５３０３の高さ、すなわち顕微鏡部５３０３と観察対象との距離を調整することができる。

【0169】

第５リンク５３１３ｅは、一辺が鉛直方向に延伸するとともに他辺が水平方向に延伸する略Ｌ字形状を有する第１の部材と、当該第１の部材の水平方向に延伸する部位から鉛直下向きに延伸する棒状の第２の部材と、が組み合わされて構成される。第５リンク５３１３ｅの第１の部材の鉛直方向に延伸する部位の上端近傍に、第５関節部５３１１ｅの基端が固定的に接続される。第５リンク５３１３ｅの第２の部材の基端（下端）には、第６関節部５３１１ｆが接続される。

【0170】

第６関節部５３１１ｆは、略円柱形状を有し、その先端側で、第５リンク５３１３ｅの基端を、鉛直方向と平行な回転軸（第６軸Ｏ_６）まわりに回動可能に支持する。第６関節部５３１１ｆの基端には、第６リンク５３１３ｆの先端が固定的に接続される。

【0171】

第６リンク５３１３ｆは鉛直方向に延伸する棒状の部材であり、その基端はベース部５３１５の上面に固定的に接続される。

【0172】

第１関節部５３１１ａ～第６関節部５３１１ｆの回転可能範囲は、顕微鏡部５３０３が所望の動きを可能であるように適宜設定されている。これにより、以上説明した構成を有するアーム部５３０９においては、顕微鏡部５３０３の動きに関して、並進３自由度及び回転３自由度の計６自由度の動きが実現され得る。このように、顕微鏡部５３０３の動きに関して６自由度が実現されるようにアーム部５３０９を構成することにより、アーム部５３０９の可動範囲内において顕微鏡部５３０３の位置及び姿勢を自由に制御することが可能になる。従って、あらゆる角度から術野を観察することが可能となり、手術をより円滑に実行することができる。

【0173】

なお、図示するアーム部５３０９の構成はあくまで一例であり、アーム部５３０９を構成するリンクの数及び形状（長さ）、並びに関節部の数、配置位置及び回転軸の方向等は、所望の自由度が実現され得るように適宜設計されてよい。例えば、上述したように、顕微鏡部５３０３を自由に動かすためには、アーム部５３０９は６自由度を有するように構成されることが好ましいが、アーム部５３０９はより大きな自由度（すなわち、冗長自由度）を有するように構成されてもよい。冗長自由度が存在する場合には、アーム部５３０９においては、顕微鏡部５３０３の位置及び姿勢が固定された状態で、アーム部５３０９の姿勢を変更することが可能となる。従って、例えば表示装置５０を見る術者の視界にアーム部５３０９が干渉しないように当該アーム部５３０９の姿勢を制御する等、術者にとってより利便性の高い制御が実現され得る。

【0174】

ここで、第１関節部５３１１ａ～第６関節部５３１１ｆには、モータ等の駆動機構、及び各関節部における回転角度を検出するエンコーダ等が搭載されたアクチュエータが設けられ得る。そして、第１関節部５３１１ａ～第６関節部５３１１ｆに設けられる各アクチュエータの駆動が制御装置５３１７によって適宜制御されることにより、アーム部５３０９の姿勢、すなわち顕微鏡部５３０３の位置及び姿勢が制御され得る。具体的には、制御装置５３１７は、エンコーダによって検出された各関節部の回転角度についての情報に基づいて、アーム部５３０９の現在の姿勢、並びに顕微鏡部５３０３の現在の位置及び姿勢を把握することができる。制御装置５３１７は、把握したこれらの情報を用いて、顕微鏡部５３０３が所望の移動を実現するように、各関節部に対する制御値（例えば、回転角度又は発生トルク等）を算出し、当該制御値に応じて各関節部の駆動機構を駆動させる。なお、この際、制御装置５３１７によるアーム部５３０９の制御方式は限定されず、力制御又は位置制御等、各種の公知の制御方式が適用されてよい。

【0175】

例えば、術者が、図示しない入力装置を介して適宜操作入力を行うことにより、当該操作入力に応じて、制御装置５３１７によってアーム部５３０９の駆動が適宜制御され、顕微鏡部５３０３の位置及び姿勢が制御されてもよい。当該制御により、顕微鏡部５３０３を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、当該入力装置としては、術者の利便性を考慮して、例えばフットスイッチ等、術者が手に術具を有していても操作可能なものが適用されることが好ましい。また、ウェアラブルデバイスや手術室内に設けられるカメラを用いたジェスチャー検出や視線検出に基づいて、非接触で操作入力が行われてもよい。これにより、清潔域に属するユーザであっても、不潔域に属する機器をより自由度高く操作することが可能になる。あるいは、アーム部５３０９は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部５３０９は、手術室から離れた場所に設置される入力装置を介してユーザによって遠隔操作され得る。

【0176】

また、力制御が適用される場合には、ユーザからの外力を受け、その外力にならってスムーズにアーム部５３０９が移動するように第１関節部５３１１ａ～第６関節部５３１１ｆのアクチュエータが駆動される、いわゆるパワーアシスト制御が行われてもよい。これにより、ユーザが、顕微鏡部５３０３を把持して直接その位置を移動させようとする際に、比較的軽い力で顕微鏡部５３０３を移動させることができる。従って、より直感的に、より簡易な操作で顕微鏡部５３０３を移動させることが可能となり、ユーザの利便性を向上させることができる。

【0177】

また、アーム部５３０９は、ピボット動作をするようにその駆動が制御されてもよい。ここで、ピボット動作とは、顕微鏡部５３０３の光軸が空間上の所定の点（以下、ピボット点という）を常に向くように、顕微鏡部５３０３を移動させる動作である。ピボット動作によれば、同一の観察位置を様々な方向から観察することが可能となるため、より詳細な患部の観察が可能となる。なお、顕微鏡部５３０３が、その焦点距離を調整不可能に構成される場合には、顕微鏡部５３０３とピボット点との距離が固定された状態でピボット動作が行われることが好ましい。この場合には、顕微鏡部５３０３とピボット点との距離を、顕微鏡部５３０３の固定的な焦点距離に調整しておけばよい。これにより、顕微鏡部５３０３は、ピボット点を中心とする焦点距離に対応する半径を有する半球面（図２０に概略的に図示する）上を移動することとなり、観察方向を変更しても鮮明な撮像画像が得られることとなる。一方、顕微鏡部５３０３が、その焦点距離を調整可能に構成される場合には、顕微鏡部５３０３とピボット点との距離が可変な状態でピボット動作が行われてもよい。この場合には、例えば、制御装置５３１７は、エンコーダによって検出された各関節部の回転角度についての情報に基づいて、顕微鏡部５３０３とピボット点との距離を算出し、その算出結果に基づいて顕微鏡部５３０３の焦点距離を自動で調整してもよい。あるいは、顕微鏡部５３０３にＡＦ機能が設けられる場合であれば、ピボット動作によって顕微鏡部５３０３とピボット点との距離が変化するごとに、当該ＡＦ機能によって自動で焦点距離の調整が行われてもよい。

【0178】

制御装置５３１７は、顕微鏡装置５３０１及び表示装置５０の動作を制御することにより、顕微鏡手術システム５３００の動作を統括的に制御する。例えば、制御装置５３１７は、所定の制御方式に従って第１関節部５３１１ａ～第６関節部５３１１ｆのアクチュエータを動作させることにより、アーム部５３０９の駆動を制御する。また、例えば、制御装置５３１７は、第１関節部５３１１ａ～第６関節部５３１１ｆのブレーキの動作を制御することにより、アーム部５３０９の動作モードを変更する。また、制御装置５３１７は、第１の実施の形態で説明したカメラコントロールユニット１２ａの機能を備えている。そして、制御装置５３１７は、顕微鏡部５３０３の撮像部が撮像した術野画像Ｋ（ｘ，ｙ）の中から、注目領域にフォーカスや露出が合った術野画像Ｋ（ｘ，ｙ）を生成して、表示装置５０に出力する。なお、制御装置５３１７は、顕微鏡装置５３０１の顕微鏡部５３０３の撮像部が取得した術野画像Ｋ（ｘ，ｙ）に、例えば現像処理（デモザイク処理）、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise reduction）処理及び／又は手ブレ補正処理等）等、各種の公知の信号処理が行ってもよい。

【0179】

制御装置５３１７と顕微鏡部５３０３との通信、及び制御装置５３１７と第１関節部５３１１ａ～第６関節部５３１１ｆとの通信は、有線通信であってもよいし無線通信であってもよい。有線通信の場合には、電気信号による通信が行われてもよいし、光通信が行われてもよい。この場合、有線通信に用いられる伝送用のケーブルは、その通信方式に応じて電気信号ケーブル、光ファイバ、又はこれらの複合ケーブルとして構成され得る。一方、無線通信の場合には、手術室内に伝送ケーブルを敷設する必要がなくなるため、当該伝送ケーブルによって医療スタッフの手術室内の移動が妨げられる事態が解消され得る。

【0180】

制御装置５３１７は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等のプロセッサ、又はプロセッサとメモリ等の記憶素子が混載されたマイコン若しくは制御基板等であり得る。制御装置５３１７のプロセッサが所定のプログラムに従って動作することにより、上述した各種の機能が実現され得る。なお、図示する例では、制御装置５３１７は、顕微鏡装置５３０１と別体の装置として設けられているが、制御装置５３１７は、顕微鏡装置５３０１のベース部５３１５の内部に設置され、顕微鏡装置５３０１と一体的に構成されてもよい。あるいは、制御装置５３１７は、複数の装置によって構成されてもよい。例えば、顕微鏡部５３０３や、アーム部５３０９の第１関節部５３１１ａ～第６関節部５３１１ｆにそれぞれマイコンや制御基板等が配設され、これらが互いに通信可能に接続されることにより、制御装置５３１７と同様の機能が実現されてもよい。

【0181】

表示装置５０は、手術室内に設けられ、制御装置５３１７からの制御により、当該制御装置５３１７によって生成された画像データに対応する画像を表示する。つまり、表示装置５０には、顕微鏡部５３０３によって撮像された術野画像Ｋ（ｘ，ｙ）が表示される。なお、表示装置５０は、術野画像Ｋ（ｘ，ｙ）に代えて、又は術野画像Ｋ（ｘ，ｙ）とともに、例えば患者の身体情報や手術の術式についての情報等、手術に関する各種の情報を表示してもよい。この場合、表示装置５０の表示は、ユーザによる操作によって適宜切り替えられてよい。あるいは、表示装置５０は複数設けられてもよく、複数の表示装置５０のそれぞれに、術野画像Ｋ（ｘ，ｙ）や手術に関する各種の情報が、それぞれ表示されてもよい。なお、表示装置５０としては、液晶ディスプレイ装置又はＥＬディスプレイ装置等、各種の公知の表示装置が適用されてよい。

【0182】

図２１は、図２０に示す顕微鏡手術システム５３００を用いた手術の様子を示す図である。図２１では、術者５０６１が、顕微鏡手術システム５３００を用いて、患者ベッド５０６９上の患者５０７１に対して手術を行っている様子を概略的に示している。なお、図２１では、簡単のため、顕微鏡手術システム５３００の構成のうち制御装置５３１７の図示を省略するとともに、顕微鏡部５３０３（図２０）を含む顕微鏡装置５３０１を簡略化して図示している。

【0183】

図２１に示すように、手術時には、顕微鏡手術システム５３００を用いて、制御装置５３１７によって調整された撮像パラメータによって、顕微鏡装置５３０１が撮像した術野画像Ｋ（ｘ，ｙ）が、手術室の壁面に設置される表示装置５０に表示される。表示装置５０は、術者５０６１と対向する位置に設置されており、術者５０６１は、表示装置５０に写し出された、術野にフォーカスや露出が合った術野画像Ｋ（ｘ，ｙ）によって術部の様子を観察しながら、患部の切除等の各種の処置を行う。

【0184】

このように、第１１の実施の形態によると、撮像部は顕微鏡部５３０３に実装される。したがって、顕微鏡手術システム５３００は、顕微鏡を利用した手術を行う際に、術野にフォーカスや露出を調整し続ける術野画像Ｋ（ｘ，ｙ）を出力することができる。

【0185】

以上、本開示に係る技術が適用され得る顕微鏡手術システム５３００の一例について説明した。なお、ここでは、一例として顕微鏡手術システム５３００について説明したが、本開示に係る技術が適用され得るシステムはかかる例に限定されない。例えば、顕微鏡装置５３０１は、その先端に顕微鏡部５３０３に代えて他の観察装置や他の術具を支持する、支持アーム装置としても機能し得る。当該他の観察装置としては、例えば内視鏡が適用され得る。また、当該他の術具としては、鉗子、攝子、気腹のための気腹チューブ、又は焼灼によって組織の切開や血管の封止を行うエネルギー処置具等が適用され得る。これらの観察装置や術具を支持アーム装置によって支持することにより、医療スタッフが人手で把持する場合に比べて、より安定的に位置を固定することが可能となるとともに、医療スタッフの負担を軽減することが可能となる。本開示に係る技術は、このような顕微鏡部以外の構成を支持する支持アーム装置に適用されてもよい。

【0186】

なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

【0187】

また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

【0188】

例えば、上記で説明した注目領域の設定方法について、ユーザが検波枠を設定するだけでなく、注目領域設定部２０が自動で注目領域を設定するようにしてもよい。このとき、注目領域設定部２０は、ユーザによるフットスイッチ等を用いたトリガ信号に基づいて、画面内の一定の条件を満たす領域を注目領域として設定する。例えば、注目領域設定部２０は、術野画像または３次元情報において、トリガ信号を取得した時点における画面内で所定の面積以上を占める被写体、最も手前にある被写体、中央付近にある被写体のいずれかの条件を満たす、または複数の条件を満たす被写体に対して注目領域として設定する。また、注目領域設定部２０は、注目領域が設定された複数の術野画像または３次元情報を学習データとして機械学習アルゴリズム（例えば、多層ニューラルネットワークを用いた機械学習アルゴリズム）にて予め学習を行ってパラメータ（例えば、多層ニューラルネットワークの各層の重み係数）を生成した分類器を含み、入力された術野画像に基づいて注目領域を設定するようにしてもよい。また、ユーザによるトリガ信号は、カメラヘッドの任意のボタンの押圧情報（例えば全押し、半押しの情報）に基づいて生成されてもよい。

【0189】

なお、本開示は、以下のような構成もとることができる。
（１）
術野を撮像して術野画像を得る撮像装置と、
前記撮像装置が撮像した術野画像から、術野の３次元情報を生成する３次元情報生成部と、
前記撮像装置が、所定のタイミングに撮像した術野画像の中に、少なくとも一つの注目領域を設定する設定部と、
前記３次元情報と前記注目領域に係る情報とに基づいて、前記所定のタイミングとは異なるタイミングに撮像した術野画像の中から、前記注目領域に対応する相対位置を推定する推定部と、
前記推定部が推定した注目領域の相対位置に対応する術野画像の３次元情報と画素値とに基づいて、前記撮像装置が術野画像を撮像する際に、当該撮像装置の制御パラメータを調整する調整部と、
前記調整部が調整した制御パラメータによって前記撮像装置が撮像した術野画像を出力する表示制御部と、
を備える医療用観察システム。
（２）
前記撮像装置は、１つの撮像素子を備えて、
前記３次元情報生成部は、前記撮像装置が異なる時刻に撮像した少なくとも２枚の術野画像に基づいて、術野の３次元情報を生成する、
前記（１）に記載の医療用観察システム。
（３）
前記撮像装置は、一部が重複する異なる範囲を撮像する２つの撮像素子を備えて、
前記３次元情報生成部は、前記撮像素子が同じ時刻に撮像した２枚の術野画像に基づいて、術野の３次元情報を生成する、
前記（１）に記載の医療用観察システム。
（４）
前記撮像装置は、１つの撮像素子と対象物までの距離を計測する測距装置とを備えて、
前記３次元情報生成部は、前記撮像素子が撮像した画像と前記測距装置が計測した距離とに基づいて、術野の３次元情報を生成する、
前記（１）に記載の医療用観察システム。
（５）
前記３次元情報生成部は、前記術野画像の全体又は任意の範囲から抽出した特徴点の３次元情報を生成する、
前記（１）乃至（４）のいずれかに記載の医療用観察システム。
（６）
前記制御パラメータは、前記撮像装置の光学系の状態を規定する光学パラメータである、
前記（１）乃至（５）のいずれかに記載の医療用観察システム。
（７）
前記制御パラメータは、前記撮像装置の露出条件を規定する撮像パラメータである、
前記（１）乃至（６）のいずれかに記載の医療用観察システム。
（８）
前記制御パラメータは、前記撮像装置の現像条件を規定する現像パラメータである、
前記（１）乃至（７）のいずれかに記載の医療用観察システム。
（９）
前記制御パラメータは、前記撮像装置の撮像範囲に照明光を照射する光源装置の発光状態を規定する発光パラメータである、
前記（１）乃至（８）のいずれかに記載の医療用観察システム。
（１０）
前記設定部は、前記３次元情報生成部が生成した術野の３次元情報に基づいて、前記光源装置による照明光の反射方向を予測するとともに、
予測された反射方向に進む反射光が、前記撮像装置に撮像される場合に、当該反射光が撮像される領域を前記注目領域の設定対象から除外する、
前記（９）に記載の医療用観察システム。
（１１）
前記設定部は、前記注目領域が存在する距離範囲を指定する機能を更に備えて、指定された距離範囲の中で注目領域を設定する、
前記（１）乃至（１０）のいずれかに記載の医療用観察システム。
（１２）
前記術野画像の中から、登録された物体を検出する検出部を更に備えて、
前記設定部は、前記術野画像から、前記検出部が検出した物体を除いた領域の中から、前記特徴点を設定する、
前記（５）に記載の医療用観察システム。
（１３）
前記調整部は、推定された前記注目領域の３次元位置に応じて、前記撮像装置が撮像する術野画像の撮影倍率を変更するとともに、
前記設定部は、前記撮影倍率に応じて、前記注目領域の大きさを変化させる、
前記（１）乃至（１２）のいずれかに記載の医療用観察システム。
（１４）
前記調整部は、推定された前記注目領域の３次元位置に応じて、前記撮像装置が術野画像を撮像する際の制御パラメータの初期値を設定する、
前記（１）乃至（１３）のいずれかに記載の医療用観察システム。
（１５）
前記撮像部は、内視鏡に実装される、
前記（１）乃至（１４）のいずれかに記載の医療用観察システム。
（１６）
前記撮像部は、顕微鏡に実装される、
前記（１）乃至（１４）のいずれかに記載の医療用観察システム。
（１７）
術野を撮像した術野画像から、術野の３次元情報を生成する３次元情報生成部と、
所定のタイミングに撮像した術野画像の中に、少なくとも一つの注目領域を設定する設定部と、
前記３次元情報と前記注目領域に係る情報とに基づいて、前記所定のタイミングとは異なるタイミングに撮像した術野画像の中から、前記注目領域に対応する相対位置を推定する推定部と、
前記推定部が推定した注目領域の相対位置に対応する術野画像の３次元情報と画素値とに基づいて、術野画像を撮像する際の制御パラメータを調整する調整部と、
前記調整部が調整した制御パラメータによって撮像された術野画像を出力する表示制御部と、
を備える医療用観察装置。
（１８）
術野を撮像した術野画像から、術野の３次元情報を生成するステップと、
所定のタイミングに撮像した術野画像の中に、少なくとも一つの注目領域を設定するステップと、
前記３次元情報と前記注目領域の位置とに基づいて、前記所定のタイミングとは異なるタイミングに撮像した術野画像の中から、前記注目領域に対応する相対位置を推定するステップと、
推定された注目領域の相対位置に対応する術野画像の３次元情報と画素値とに基づいて、術野画像を撮像する際の制御パラメータを調整するステップと、
調整された制御パラメータによって撮像した術野画像を表示するステップと、
を備える医療用観察方法。

【符号の説明】

【0190】

１０ａ、１０ｂ、１０ｃ、１０ｄ、１０ｅ、１０ｆ 医療用観察システム
１２ａ、１２ｂ、１２ｃ カメラコントロールユニット（医療用観察装置）
１４ ３次元情報生成部
１５ 地図生成部（検出部）
１６ 自己位置推定部
１８ 現像処理部
２０ 注目領域設定部（設定部）
２２ 検波領域推定部（推定部）
２４ ３次元地図データ格納部
２６ パラメータ制御部（調整部）
４０ 表示制御部
４２ａ、４２ｂ、４２ｃ、４２ｄ 撮像装置
４４ａ、４４ｂ、４４ｃ、４４ｄ 撮像素子
４６ 像面位相差センサ
４８ デプスセンサ（測距装置）
５０ 表示装置
１１０ 注目枠
５００１ 内視鏡
５０６１ 術者
５０６２ スコピスト
５０６３ 助手
５３００ 顕微鏡手術システム
５３０３ 顕微鏡部
５３１７ 制御装置
Ｄ（Ｘ，Ｙ，Ｚ） ３次元地図（３次元情報）
Ｋ（ｘ，ｙ）、Ｋ（ｘ，ｙ，ｔ） 術野画像
Ｌ（ｘ，ｙ） 拡大術野画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】