特開 2022-179728 情報処理装置、制御方法、プログラム、内視鏡システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022179728

(43)【公開日】2022-12-02

(54)【発明の名称】情報処理装置、制御方法、プログラム、内視鏡システム

(51)【国際特許分類】

   A61B 1/045 20060101AFI20221125BHJP

   A61B 1/00 20060101ALI20221125BHJP

【ＦＩ】

A61B1/045 610

A61B1/00 735

【審査請求】有

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2022164512

(22)【出願日】2022-10-13

(62)【分割の表示】P 2018051955の分割

【原出願日】2018-03-20

(71)【出願人】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】100121131

【弁理士】

【氏名又は名称】西川 孝

(74)【代理人】

【識別番号】100082131

【弁理士】

【氏名又は名称】稲本 義雄

(74)【代理人】

【識別番号】100168686

【弁理士】

【氏名又は名称】三浦 勇介

(72)【発明者】

【氏名】川井 崇史

(72)【発明者】

【氏名】細野 喜代司

(57)【要約】

【課題】手術に適した内視鏡画像を撮像することができるようにする。
【解決手段】本技術の一側面の情報処理装置は、内視鏡の撮像画像に設定されたAF検波枠内の検波を行うことによって第１のAF評価値を算出し、撮像画像の有効領域を第１のAF評価値に基づいて検出し、有効領域の検出後に有効領域内に設定された評価値算出対象領域を対象として第２のAF評価値を算出し、評価値算出対象領域を対象として算出された第２のAF評価値に基づいて自動合焦処理を実行する。本技術は、内視鏡システムに適用することができる。
【選択図】図１２

【特許請求の範囲】

【請求項1】

内視鏡の撮像画像に設定されたAF検波枠内の検波を行い、第１のAF評価値を算出するAF検波部と、
前記撮像画像の有効領域を前記第１のAF評価値に基づいて検出する検出部と、
自動合焦処理を実行する制御部と
を備え、
前記AF検波部は、前記有効領域の検出後に前記有効領域内に設定された評価値算出対象領域を対象として第２のAF評価値を算出し、
前記制御部は、前記評価値算出対象領域を対象として算出された前記第２のAF評価値に基づいて前記自動合焦処理を実行する
情報処理装置。

【請求項2】

前記有効領域は、前記内視鏡が有するスコープによるケラレがない領域である
請求項１に記載の情報処理装置。

【請求項3】

前記AF検波部は、位置を変えて設定された前記AF検波枠内の検波を行い、前記有効領域の検出に用いられる前記第１のAF評価値を算出する
請求項１または２に記載の情報処理装置。

【請求項4】

前記AF検波部は、位置とともに大きさを変えて設定された前記AF検波枠内の検波を行い、前記有効領域の検出に用いられる前記第１のAF評価値を算出する
請求項３に記載の情報処理装置。

【請求項5】

前記検出部は、前記第１のAF評価値に基づいて前記有効領域のエッジを検出し、前記スコープの径と、前記有効領域の中心位置を特定する
請求項２に記載の情報処理装置。

【請求項6】

前記制御部は、前記スコープの径と前記有効領域の中心位置により表される前記有効領域内に前記評価値算出対象領域を設定する
請求項５に記載の情報処理装置。

【請求項7】

前記制御部は、前記撮像画像にタイル状に設定された前記評価値算出対象領域のうち、前記スコープの径と前記有効領域の中心位置により表される前記有効領域内の前記評価値算出対象領域において算出された前記第２のAF評価値に基づいて前記自動合焦処理を実行する
請求項５に記載の情報処理装置。

【請求項8】

前記制御部は、前記検出部による検出結果に基づいて推定される前記スコープのＦ値と焦点深度とのうちの少なくともいずれかに基づいて、前記自動合焦処理を規定するパラメータを設定する
請求項２、５、６、または７に記載の情報処理装置。

【請求項9】

前記制御部は、前記検出部による検出結果に基づいて、予め記憶された前記スコープのＦ値または焦点深度のいずれかを少なくとも含むテーブルを参照し、参照結果に基づいて前記自動合焦処理を規定するパラメータを設定する
請求項２、５、６、または７に記載の情報処理装置。

【請求項10】

内視鏡の撮像画像に設定されたAF検波枠内の検波を行うことによって第１のAF評価値を算出し、
前記撮像画像の有効領域を前記第１のAF評価値に基づいて検出し、
前記有効領域の検出後に前記有効領域内に設定された評価値算出対象領域を対象として第２のAF評価値を算出し、
前記評価値算出対象領域を対象として算出された前記第２のAF評価値に基づいて自動合焦処理を実行する
制御方法。

【請求項11】

コンピュータに、
内視鏡の撮像画像に設定されたAF検波枠内の検波を行うことによって第１のAF評価値を算出し、
前記撮像画像の有効領域を前記第１のAF評価値に基づいて検出し、
前記有効領域の検出後に前記有効領域内に設定された評価値算出対象領域を対象として第２のAF評価値を算出し、
前記評価値算出対象領域を対象として算出された前記第２のAF評価値に基づいて自動合焦処理を実行する
処理を実行させるプログラム。

【請求項12】

術野領域に光を照射する光源装置と、
前記術野領域を撮像する内視鏡と、
前記内視鏡および前記光源装置に接続される情報処理装置であって、
前記内視鏡の撮像画像に設定されたAF検波枠内の検波を行い、第１のAF評価値を算出するAF検波部と、
前記撮像画像の有効領域を前記第１のAF評価値に基づいて検出する検出部と、
自動合焦処理を実行する制御部と
を備え、
前記AF検波部は、前記有効領域の検出後に前記有効領域内に設定された評価値算出対象領域を対象として第２のAF評価値を算出し、
前記制御部は、前記評価値算出対象領域を対象として算出された前記第２のAF評価値に基づいて前記自動合焦処理を実行する
前記情報処理装置と
を含む内視鏡システム。

【発明の詳細な説明】

【技術分野】

【0001】

本技術は、情報処理装置、制御方法、プログラム、内視鏡システムに関し、特に、手術に適した内視鏡画像を撮像することができるようにした情報処理装置、制御方法、プログラム、内視鏡システムに関する。

【背景技術】

【0002】

近年、侵襲性が低い内視鏡手術が注目されている。手術に適した内視鏡画像を得るために、AF(Auto Focus)機能、AE(Automatic Exposure)機能、AWB(Auto White Balance）機能を内視鏡に搭載することが提案されている。

【0003】

例えば、特許文献１には、内視鏡画像に基づいてフォーカス評価値を算出し、内視鏡のAFを行う技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１３-８０１０８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

通常、内視鏡画像の縁付近には、スコープの光学的な影（ケラレ）によって、極端に暗い領域であるマスク領域が生じてしまう。このような内視鏡画像に基づいて、例えばAFを行うとした場合、マスク領域を基準としてフォーカスを合わせてしまうことがある。

【0006】

また、内視鏡が硬性鏡である場合、装着されるスコープの種類によってマスク領域の位置や大きさが変わるため、評価値の算出対象となる領域を予め固定しておくことができない。

【0007】

本技術はこのような状況に鑑みてなされたものであり、手術に適した内視鏡画像を撮像することができるようにするものである。

【課題を解決するための手段】

【0008】

本技術の一側面の情報処理装置は、内視鏡の撮像画像に設定されたAF検波枠内の検波を行い、第１のAF評価値を算出するAF検波部と、前記撮像画像の有効領域を前記第１のAF評価値に基づいて検出する検出部と、自動合焦処理を実行する制御部とを備える。前記AF検波部は、前記有効領域の検出後に前記有効領域内に設定された評価値算出対象領域を対象として第２のAF評価値を算出し、前記制御部は、前記評価値算出対象領域を対象として算出された前記第２のAF評価値に基づいて前記自動合焦処理を実行する。

【0009】

本技術の他の側面の内視鏡システムは、術野領域に光を照射する光源装置と、前記術野領域を撮像する内視鏡と、前記撮像装置および前記光源装置に接続される情報処理装置を含む内視鏡システムである。前記情報処理装置は、前記内視鏡の撮像画像に設定されたAF検波枠内の検波を行い、第１のAF評価値を算出するAF検波部と、前記撮像画像の有効領域を前記第１のAF評価値に基づいて検出する検出部と、自動合焦処理を実行する制御部とを備える。前記AF検波部は、前記有効領域の検出後に前記有効領域内に設定された評価値算出対象領域を対象として第２のAF評価値を算出し、前記制御部は、前記評価値算出対象領域を対象として算出された前記第２のAF評価値に基づいて前記自動合焦処理を実行する。

【0010】

本技術においては、内視鏡の撮像画像に設定されたAF検波枠内の検波を行うことによって第１のAF評価値が算出され、前記撮像画像の有効領域が前記第１のAF評価値に基づいて検出される。また、前記有効領域の検出後に前記有効領域内に設定された評価値算出対象領域を対象として第２のAF評価値が算出され、前記評価値算出対象領域を対象として算出された前記第２のAF評価値に基づいて自動合焦処理が実行される。

【発明の効果】

【0011】

本技術によれば、手術に適した内視鏡画像を撮像することができる。

【0012】

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

【図面の簡単な説明】

【0013】

【図1】本技術を適用した内視鏡システムの構成例を示す図である。

【図2】内視鏡の外観を示す斜視図である。

【図3】撮像画像の例を示す図である。

【図4】撮像画像の例を示す図である。

【図5】CCUと内視鏡の構成例を示すブロック図である。

【図6】検波枠の設定の例を示す図である。

【図7】マスク領域のエッジの検出例を示す図である。

【図8】マスク領域のエッジの検出例を示す図である。

【図9】AF評価値に基づいてマスク領域を検出する場合の検波枠の設定例を示す図である。

【図10】AF評価値に基づいてマスク領域を検出する場合の検波枠の他の設定例を示す図である。

【図11】AF評価値に基づいてマスク領域を検出する場合の検波枠のさらに他の設定例を示す図である。

【図12】評価値算出対象領域の設定例を示す図である。

【図13】評価値算出対象領域の他の設定例を示す図である。

【図14】CCUのAF処理について説明するフローチャートである。

【図15】図１４のステップＳ３において行われるマスク領域検出処理について説明するフローチャートである。

【図16】図１４のステップＳ３において行われる他のマスク領域検出処理について説明するフローチャートである。

【図17】AEを行うCCUの構成例を示すブロック図である。

【図18】AE評価値の評価値算出対象領域の設定例を示す図である。

【図19】AE評価値の評価値算出対象領域の他の設定例を示す図である。

【図20】コンピュータの構成例を示すブロック図である。

【発明を実施するための形態】

【0014】

以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．内視鏡システムの構成
２．第１の実施の形態 検波値に基づいてマスク領域を検出する例
３．第２の実施の形態 AF評価値に基づいてマスク領域を検出する例
４．第３の実施の形態 評価値算出対象領域の設定例１
５．第４の実施の形態 評価値算出対象領域の設定例２
６．第５の実施の形態 自動合焦処理の例
７．CCUの動作
８．その他の例

【0015】

＜＜内視鏡システムの構成＞＞
図１は、本技術を適用した内視鏡システムの構成例を示す図である。

【0016】

図１の内視鏡システム１は、表示装置１１、CCU（カメラコントロールユニット）１２、光源装置１３、処置具用装置１４、気腹装置１５、レコーダ１６、およびプリンタ１７が搭載されたカート１８を有する。

【0017】

また、内視鏡システム１は、内視鏡１９、エネルギ処置具２０、鉗子２１、トロッカ２２乃至２５、フットスイッチ２６、および患者ベッド２７を有する。内視鏡システム１は、例えば手術室に設置され、患者ベッド２７に横たわった患者の腹部３１内の患部に対して腹腔鏡下手術を行う術者を支援する。

【0018】

表示装置１１は、据え置き型の２Ｄディスプレイやヘッドマウントディスプレイなどにより構成される。表示装置１１は、CCU１２から供給された術部（術野領域）の画像などを表示する。

【0019】

CCU１２は、光源装置１３と内視鏡１９を含む各装置と接続される。CCU１２は、内視鏡１９により撮像され、カメラケーブルを介して送信されてきた術部の撮像画像を受信し、表示装置１１に表示させる。CCU１２は、必要に応じて、内視鏡１９により撮像された撮像画像をレコーダ１６やプリンタ１７に出力する。なお、CCU１２と内視鏡１９が、無線による通信によって接続されるようにしてもよい。

【0020】

また、CCU１２は、内視鏡１９のAFを行うための処理である自動合焦処理を行う。すなわち、内視鏡システム１においては、内視鏡１９のフォーカスの調整が、術者の操作によらずに、CCU１２による制御に従って自動で行われる。

【0021】

光源装置１３は、ライトガイドケーブルを介して内視鏡１９と接続される。光源装置１３は、各種の波長の光を切り換えて内視鏡１９に出射する。

【0022】

高周波出力装置である処置具用装置１４は、ケーブルを介して、エネルギ処置具２０およびフットスイッチ２６と接続される。処置具用装置１４は、フットスイッチ２６から供給される操作信号に応じて、エネルギ処置具２０に高周波電流を出力する。

【0023】

気腹装置１５は、送気手段および吸気手段を備える。気腹装置１５は、腹部３１の腹壁に取り付けられた開孔器具であるトロッカ２４の孔から、腹部３１の内部に空気を送気する。

【0024】

レコーダ１６は、CCU１２から供給された撮像画像を記録する。

【0025】

プリンタ１７は、CCUから供給された撮像画像を印刷する。

【0026】

内視鏡１９は、腹部３１の腹壁に取り付けられたトロッカ２２の孔から、腹部３１の内部に挿入される。内視鏡１９は、光源装置１３から出射された光によって腹部３１の内部を照射し、腹部３１の内部を撮像する。内視鏡１９は、腹部３１の内部を撮像することによって得られた撮像画像をCCU１２に出力する。

【0027】

エネルギ処置具２０は、電気メスなどにより構成される。エネルギ処置具２０は、腹部３１の腹壁に取り付けられたトロッカ２３の孔部から、腹部３１の内部に挿入される。エネルギ処置具２０は、腹部３１の内部を、電気熱を用いて変性させたり、切断したりする。

【0028】

鉗子２１は、腹部３１の腹壁に取り付けられたトロッカ２５の孔部から、腹部３１の内部に挿入される。鉗子２１は、腹部３１の内部を把持する。内視鏡１９、エネルギ処置具２０、および鉗子２１は、術者、助手、スコピスト、またはロボット等により把持される。

【0029】

フットスイッチ２６は、術者や助手等の足による操作を受け付ける。フットスイッチ２６は、受け付けた操作の内容を表す操作信号を、CCU１２や処置具用装置１４に出力する。

【0030】

術者は、内視鏡システム１を用いることにより、表示装置１１に表示される撮像画像を見ながら、腹部３１内の患部を切除したりすることができる。

【0031】

図２は、内視鏡１９の外観を示す斜視図である。

【0032】

図２に示すように、硬性内視鏡である内視鏡１９は、カメラヘッド５１と、細長い鏡筒を有するスコープ５２から構成される。内視鏡には、体内に挿入する部分が曲がる軟性内視鏡と、曲がらない硬性内視鏡がある。内視鏡１９は後者の内視鏡である。術者は、カメラヘッド５１を把持し、スコープ５２を患者の体内に挿入して手術を進めることになる。

【0033】

カメラヘッド５１の内部には、スコープ５２内のレンズによって導かれた体内からの光の光電変換を行う撮像素子、スコープ５２内のレンズを駆動させるための駆動部などが設けられる。カメラヘッド５１は、光源装置１３から出射された光を、スコープ５２を介して導くことによって腹部３１の内部を照射し、術部の撮像を行う。カメラヘッド５１は、撮像を行うことによって得られた撮像画像を、カメラケーブルを介してCCU１２に出力する。

【0034】

スコープ５２は、カメラヘッド５１に対して着脱可能とされる。スコープ５２には、径（スコープ径）が異なるスコープ、レンズのＦ値が異なるスコープといったように、仕様が異なる複数種類のスコープがある。どの種類のスコープ５２を用いるのかは、手術の内容や術部の状態などによって適宜選択され、カメラヘッド５１に装着される。

【0035】

図３は、撮像画像の例を示す図である。

【0036】

図３に示すように、横長長方形の撮像画像の略中央には円形の有効領域が形成され、有効領域の外側には、暗い領域であるマスク領域が形成される。

【0037】

マスク領域は、スコープ５２の光学的な影（ケラレ）によって形成される領域である。
スコープ５２の形状が細長の円筒状であるから、イメージサークルの外側には、真っ暗の領域が写り込むことになる。術部の状態は、ケラレがない領域である有効領域の範囲に表示される。なお、スコープ５２によるケラレは、例えばスコープ５２の側壁によって物理的に光路が遮られて生じる光学的な影をいう。

【0038】

上述したように、スコープ５２は、手術の内容などによって切り替えて用いられる。撮像画像における、有効領域の位置、有効領域の大きさ、有効領域の形状などが、カメラヘッド５１に装着されているスコープ５２の種類によって変化することになる。

【0039】

図４は、撮像画像の例を示す図である。図４においては、有効領域内の術部の状態の図示が省略されている。

【0040】

図４のＡに示す撮像画像は、スコープ径（直径）が、撮像画像の上下方向の長さより短いスコープ５２が装着されている場合の撮像画像である。図４のＡの撮像画像には、図３の撮像画像と同様に、円形の有効領域の全体が含まれる。

【0041】

一方、図４のＢに示す撮像画像は、スコープ径が、撮像画像の上下方向の長さより長いスコープ５２が装着されている場合の撮像画像である。図４のＢの有効領域は、円の上下が切れた状態になる。

【0042】

このように、撮像画像には、スコープ径に対応する径の有効領域が形成される。撮像画像に含まれる有効領域の径の大きさから、カメラヘッド５１に装着されているスコープ５２の径の大きさを特定することが可能になる。

【0043】

上述したように、内視鏡システム１においては、内視鏡１９のフォーカスの調整が、AFによって自動的に行われる。

【0044】

AFを行うための評価値であるAF評価値を撮像画像全体を対象として算出するとした場合、マスク領域を含めて、各領域のAF評価値が算出されることになり、好ましくない。マスク領域を含めてAF評価値の算出を行った場合、例えば、マスク領域のエッジ（境界）にフォーカスを合わせるような動作が行われる。

【0045】

また、AF評価値の算出対象となる領域を有効領域内に固定化して設定しておくとした場合、どのスコープ５２が装着されている場合であっても有効領域となる、撮像画像の中心付近の狭い範囲にしか設定しておくことができない。図４に示されるように、有効領域の範囲は、装着されているスコープ５２によって変化する。

【0046】

CCU１２においては、撮像画像に基づいて、内視鏡１９に装着されているスコープ５２のスコープ径、有効領域の中心位置などが特定され、特定された情報に基づいて、AF評価値の算出対象となる領域である評価値算出対象領域が有効領域内に設定される。また、評価値算出対象領域を対象としてAF評価値の算出が行われ、自動合焦処理が行われる。

【0047】

有効領域内に設定された評価値算出対象領域を対象としてAF評価値の算出が行われ、自動合焦処理が行われるため、CCU１２は、有効領域に写る術部にフォーカスを確実に合わせることができる。

【0048】

このように、内視鏡１９に装着されているスコープ５２に応じて評価値算出対象領域を設定し、自動合焦処理を行うCCU１２の一連の処理については後述する。

【0049】

＜＜第１の実施の形態 検波値に基づいてマスク領域を検出する例＞＞
＜CCUと内視鏡の構成例＞
図５は、CCU１２と内視鏡１９の構成例を示すブロック図である。

【0050】

図５の左側に示すように、カメラヘッド５１は、撮像素子１１１、撮像素子ドライバ１１２、レンズドライバ１１３、ズームレンズ駆動部１１４、およびフォーカスレンズ駆動部１１５から構成される。

【0051】

撮像素子１１１は、例えばCMOSイメージセンサやCCDイメージセンサにより構成される。撮像素子１１１は、撮像面に結像した光学像を光電変換によって電気信号に変換し、撮像信号としてCCU１２に出力する。

【0052】

撮像素子ドライバ１１２は、撮像素子１１１を駆動させるためのドライバである。撮像素子ドライバ１１２は、駆動信号を出力することによって、撮像動作、リセット動作等の所定の動作を撮像素子１１１に行わせる。撮像素子ドライバ１１２が出力する駆動信号により、例えば撮像素子１１１のシャッタースピードが制御される。

【0053】

レンズドライバ１１３は、CPU(Central Processing Unit)，DSP(Digital Signal Processor)等のプロセッサにより構成される。レンズドライバ１１３は、CCU１２から供給された制御信号に従って、ズームレンズ駆動部１１４とフォーカスレンズ駆動部１１５の動作を制御する。

【0054】

ズームレンズ駆動部１１４は、スコープ５２内のズームレンズ１０１を光軸に沿って移動させ、撮像倍率を調整する。

【0055】

フォーカスレンズ駆動部１１５は、スコープ５２内のフォーカスレンズ１０２を光軸に沿って移動させ、フォーカスを調整する。

【0056】

図５の右側に示すように、CCU１２は、カメラ信号処理部１３１、検波枠ゲート１３２、検波部１３３、マスク検出部１３４、AF検波部１３５、およびレンズコントローラ１３６から構成される。

【0057】

カメラ信号処理部１３１は、撮像素子１１１から供給された撮像信号に対して、ホワイトバランス処理、γ補正処理等の各種の信号処理を施す。

【0058】

カメラ信号処理部１３１は、信号処理を施すことによって得られた撮像信号をビデオ信号として表示装置１１に出力する。カメラ信号処理部１３１から出力されたビデオ信号に基づいて、表示装置１１において術部の画像が表示される。カメラ信号処理部１３１から出力された撮像信号は検波枠ゲート１３２にも供給される。

【0059】

検波枠ゲート１３２は、レンズコントローラ１３６による制御に従って、撮像画像上の所定の領域に検波枠を設定する。例えば、マスク領域の検出前、マスク領域を含めて、撮像画像の所定の領域に検波枠が設定される。また、マスク領域の検出後、有効領域に検波枠が設定される。

【0060】

検波枠ゲート１３２は、カメラ信号処理部１３１から供給された撮像信号のうち、検波枠内の画素の撮像信号を出力する。検波枠ゲート１３２から出力された撮像信号は、検波部１３３とAF検波部１３５に供給される。

【0061】

検波部１３３は、検波枠ゲート１３２から供給された撮像信号の検波を行い、各検波枠の検波値をマスク検出部１３４に出力する。検波部１３３により、例えば、各検波枠内の画素の輝度値の積分が行われ、積分結果が検波値として求められる。

【0062】

マスク検出部１３４は、検波部１３３から供給された検波値に基づいて、マスク領域のエッジを検出する。マスク検出部１３４がマスク領域のエッジを検出するものとして説明するが、マスク領域のエッジを検出することは、有効領域のエッジを検出することにも相当する。

【0063】

マスク検出部１３４は、検出したマスク領域のエッジの位置に基づいて、カメラヘッド５１に装着されているスコープ５２の径を特定する。また、マスク検出部１３４は、マスク領域のエッジの位置に基づいて、有効領域の中心位置とマスク領域の位置（範囲）を特定する。

【0064】

マスク検出部１３４は、スコープ径、有効領域の中心位置、およびマスク領域の位置に関する情報をマスク検出結果としてレンズコントローラ１３６に出力する。後述するように、マスク検出部１３４によるマスク領域の検出が、AF検波部１３５により求められたAF評価値に基づいて行われることもある。

【0065】

AF検波部１３５は、検波枠ゲート１３２から供給された撮像信号に基づいてAF評価値を算出する。例えば、AF検波部１３５は、AF検波枠内の全ての画素の輝度信号を用いた２次微分によって、コントラストを表すAF評価値を算出する。なお、一般的には、合焦している場合、合焦していない場合に比べて、隣接する画素間の輝度信号の差分が大きくなり、コントラストが大きくなる。

【0066】

AF検波部１３５により算出されたAF評価値は、レンズコントローラ１３６に供給されるとともに、適宜、マスク検出部１３４にも供給される。

【0067】

レンズコントローラ１３６は、カメラヘッド５１のレンズドライバ１１３に制御信号を出力し、ズームレンズ１０１の位置を調整する。

【0068】

また、レンズコントローラ１３６は、カメラヘッド５１のレンズドライバ１１３に制御信号を出力し、フォーカスレンズ１０２の位置を調整する。制御信号を出力することによってフォーカスレンズ１０２の位置を調整する処理が、内視鏡１９のAFを行うための自動合焦処理となる。このときの制御信号は、AF制御パラメータとして少なくともレンズドライバ１１３のフォーカスレンズ１０２の位置またはフォーカスレンズ１０２の位置の移動量を含む信号である。

【0069】

レンズコントローラ１３６は、適宜、カメラヘッド５１の撮像素子ドライバ１１２に制御信号を出力することによって、撮像素子１１１のシャッタースピードやISO感度を調整する。制御信号を出力することによってシャッタースピードやISO感度を調整し、術者の操作によらずに露光を制御する処理が、AEを行うための自動露光処理となる。後述するように、マスク領域の検出結果に基づいてAE機能が実現される。このときの制御信号は、AE制御パラメータとして少なくともシャッタースピードのスピード値またはISO感度の感度値を含む信号である。

【0070】

レンズコントローラ１３６に対しては、フォーカス指示信号、ズーム指示信号、マニュアル／オートフォーカス切替え信号などが術者による操作に応じて入力される。ズーム指示信号は、術者によるズームの調整の内容を表す信号であり、フォーカス指示信号は、術者によるフォーカスの調整の内容を表す信号である。

【0071】

マニュアル／オートフォーカス切替え信号は、フォーカスの調整をマニュアルモードで行うか、オートフォーカスモードで行うのかの切り替え信号である。フォーカス指示信号は、フォーカスの調整をマニュアルモードで行うことが選択されている場合に入力される。

【0072】

＜マスク領域の検出＞
図６は、検波枠の設定の例を示す図である。

【0073】

検波枠は、例えば撮像画像の領域全体に設定される。図６の例においては、撮像画像の領域全体に、列方向（縦方向）に３０個、行方向（横方向）に４０個の検波枠がタイル状に並べて設定されている。図６の検波枠全体のサイズは、撮像画像のサイズと同じサイズである。

【0074】

マスク検出部１３４においては、各検波枠内の画素の撮像信号に基づいて求められた１２００の検波値に基づいて、マスク領域のエッジが検出されることになる。

【0075】

このように、撮像画像に対しては、マスク領域のエッジを検出するのに十分な分解能を持つ検波枠が設定される。

【0076】

なお、図６の例においては、検波枠全体のサイズが撮像画像のサイズと同じサイズとされているが、撮像画像のサイズより小さい範囲に検波枠が設定されるようにしてもよい。
また、検波枠の数についても任意である。

【0077】

図７は、マスク領域のエッジの検出例を示す図である。

【0078】

各検波枠の内側に示す「x」の文字の並びはそれぞれ所定の検波値を表す。「０」の数字を含む検波枠は、検波値として０が求められた検波枠、すなわち、黒色の画素を含む検波枠であることを表す。

【0079】

このような検波値が検波部１３３において求められた場合、図５のマスク検出部１３４は、各列の検波枠の検波値のうちの最大の検波値と、各行の検波枠の検波値のうちの最大の検波値を求める。

【0080】

また、マスク検出部１３４は、白抜き矢印＃１の先に示すように、各列の最大の検波値の配列における、１列おきの、検波値の差分を求める。行方向についても同様に、マスク検出部１３４は、各行の最大の検波値の配列における、１行おきの、検波値の差分を求める。

【0081】

例えば、マスク検出部１３４は、１列おきの検波値の差分を画像の左側の差分から順に注目し、閾値以上の差分が求められた列の位置を、マスク領域の左側のエッジの位置として検出する。また、マスク検出部１３４は、１列おきの検波値の差分を画像の右側の差分から順に注目し、閾値以上の差分が求められた列の位置を、マスク領域の右側のエッジの位置として検出する。

【0082】

行方向についても同様に、マスク検出部１３４は、１行おきの検波値の差分を画像の上側の差分から順に注目し、閾値以上の差分が求められた行の位置を、マスク領域の上側のエッジの位置として検出する。また、マスク検出部１３４は、１行おきの検波値の差分を画像の下側の差分から順に注目し、閾値以上の差分が求められた行の位置を、マスク領域の下側のエッジの位置として検出する。

【0083】

マスク検出部１３４は、上下左右のエッジの位置と、有効領域の形状が円形であることに基づいて、図８に示すような、有効領域を囲む全体のエッジを検出する。

【0084】

図８において斜線を付して示す検波枠は、マスク領域のエッジとして検出された位置の検波枠である。斜線を付して示す検波枠の外側がマスク領域となり、内側（斜線を付して示す検波枠の位置を含む）が有効領域となる。

【0085】

なお、有効領域の径が大きく、有効領域の上下が切れている場合、１列おきの検波値の差分に基づいて左右のエッジが検出され、マスク領域が特定される。また、エッジが見つからない場合、マスク領域無しとして特定される。

【0086】

マスク領域と有効領域を検出した場合、マスク検出部１３４は、有効領域のエッジ幅に基づいて、例えば、エッジ幅の平均を、有効領域の径、すなわちスコープ径として特定する。また、マスク検出部１３４は、エッジ幅の中央値の平均が示す位置を、有効領域の中心位置として特定する。なお、エッジ幅の平均の範囲と対応するスコープ径を予め記憶しておき、求めたエッジ幅の平均に基づいてテーブルを参照し、スコープ径を特定してもよい。

【0087】

このようにして特定されたスコープ径と有効領域の中心位置を表す情報が、マスク領域の位置に関する情報とともにレンズコントローラ１３６に供給される。レンズコントローラ１３６においては、マスク領域の検出結果に基づいて、AF評価値の算出に用いられる検波枠の設定などが行われる。

【0088】

＜＜第２の実施の形態 AF評価値に基づいてマスク領域を検出する例＞＞
マスク領域の検出が、検波部１３３により求められた検波値に基づいて行われるのではなく、AF検波部１３５により求められたAF評価値に基づいて行われるようにすることも可能である。

【0089】

・第１の設定例
図９は、AF評価値に基づいてマスク領域を検出する場合の検波枠の設定例を示す図である。

【0090】

図９の左側の撮像画像上に検波枠Ｆ１乃至Ｆ４として示すように、例えば、検波枠ゲート１３２は、撮像画像の上下左右の端に細帯状の検波枠を設定する。検波枠Ｆ１乃至Ｆ４の設定は、例えばレンズコントローラ１３６による制御に従って行われる。

【0091】

一点鎖線で示す検波枠Ｆ１と検波枠Ｆ２は、それぞれ、マスク領域の上下のエッジを検出するための検波枠となる。また、破線で示す検波枠Ｆ３と検波枠Ｆ４は、それぞれ、マスク領域の左右のエッジを検出するための検波枠となる。

【0092】

また、検波枠ゲート１３２は、白抜き矢印に示すように、検波枠Ｆ１乃至Ｆ４の位置を、撮像画像の中央に向けて移動させる。

【0093】

このように位置を変えて設定される検波枠内の画素に対応する撮像信号に基づいて、AF検波部１３５においてAF評価値が順次算出される。

【0094】

マスク検出部１３４は、AF検波部１３５により算出されたAF評価値に閾値以上の変化が生じた場合、変化が検出された位置をマスク領域のエッジの位置として特定する。例えば、矢印＃２の先に示すように、検波枠Ｆ１乃至Ｆ４がそれぞれマスク領域のエッジの位置に設定されているとき、閾値以上のAF評価値の変化が検出される。

【0095】

マスク検出部１３４は、検波枠Ｆ１と検波枠Ｆ２の距離Ｌ１、および、検波枠Ｆ３と検波枠Ｆ４の距離Ｌ２に基づいて、カメラヘッド５１に装着されているスコープ径、有効領域の中心位置、およびマスク領域の位置を特定する。例えば、距離Ｌ１，Ｌ２の平均がスコープ径として特定され、エッジ幅の中央値の平均が示す位置が有効領域の中心位置として特定される。

【0096】

・第２の設定例
図１０は、AF評価値に基づいてマスク領域を検出する場合の検波枠の他の設定例を示す図である。

【0097】

図１０に示す検波枠の設定方法は、検波枠Ｆ１乃至Ｆ４の位置を変えるのではなく、幅を順次広げるように検波枠Ｆ１乃至Ｆ４を設定する点で、図９の設定方法と異なる。撮像画像の上下左右の縁に設定された細帯状の検波枠Ｆ１乃至Ｆ４の内側の縁が白抜き矢印に示すように撮像画像の中央に向けて移動することによって、検波枠Ｆ１乃至Ｆ４の幅が順次広げられる。

【0098】

幅を変えて設定された検波枠内の画素に対応する撮像信号に基づいて、AF検波部１３５においてAF評価値が順次算出される。

【0099】

マスク検出部１３４は、AF検波部１３５により算出されたAF評価値に閾値以上の変化が生じた場合、変化が検出されたときの、検波枠の内側の縁の位置をマスク領域のエッジの位置として特定する。例えば、矢印＃３の先に示すように、検波枠Ｆ１乃至Ｆ４の内側の縁がそれぞれマスク領域のエッジの位置に設定されているとき、閾値以上のAF評価値の変化が検出される。

【0100】

マスク検出部１３４は、検波枠Ｆ１と検波枠Ｆ２の距離Ｌ１、および、検波枠Ｆ３と検波枠Ｆ４の距離Ｌ２に基づいて、カメラヘッド５１に装着されているスコープ径、有効領域の中心位置、およびマスク領域の位置を特定する。

【0101】

・第３の設定例
図１１は、AF評価値に基づいてマスク領域を検出する場合の検波枠のさらに他の設定例を示す図である。

【0102】

図１１に示す検波枠の設定方法は、初期状態において、細帯状の検波枠ではなく、略正方形状の複数の小さい検波枠を設定する点で、図９等の設定方法と異なる。

【0103】

すなわち、検波枠ゲート１３２は、図１１の左側に示すように、撮像画像の上側の縁に、略正方形状の検波枠Ｆ１－１乃至１－３を設定し、下側の縁に、略正方形状の検波枠Ｆ２－１乃至２－３を設定する。検波枠ゲート１３２は、撮像画像の左側の縁に、略正方形状の検波枠Ｆ３－１乃至３－３を設定し、右側の縁に、略正方形状の検波枠Ｆ４－１乃至４－３を設定する。

【0104】

また、検波枠ゲート１３２は、各検波枠の位置を撮像画像の中央に向けて移動させるか、検波枠の幅を撮像画像の中央に向けて広げる。

【0105】

位置や幅を変えて設定される検波枠内の画素に対応する撮像信号に基づいて、AF検波部１３５においてAF評価値が順次算出される。

【0106】

マスク検出部１３４は、AF検波部１３５により算出されたAF評価値に閾値以上の変化が生じた場合、変化が検出された位置をマスク領域のエッジの位置として特定する。

【0107】

例えば、矢印＃４の先に示すように、略正方形状の検波枠Ｆ１－１乃至Ｆ１－３、検波枠Ｆ２－１乃至Ｆ２－３がそれぞれマスク領域のエッジの位置に設定されているとき、閾値以上のAF評価値の変化が検出される。

【0108】

また、検波枠Ｆ３－１乃至Ｆ３－３、検波枠Ｆ４－１乃至Ｆ４－３の内側の縁がそれぞれマスク領域のエッジの位置に到達しているとき、閾値以上のAF評価値の変化が検出される。

【0109】

マスク検出部１３４は、対向する検波枠の距離に基づいて、カメラヘッド５１に装着されているスコープ径、有効領域の中心位置、およびマスク領域の位置を特定する。

【0110】

図１１の例においては、撮像画像の上下の縁に設定された検波枠Ｆ１－１乃至１－３と検波枠Ｆ２－１乃至２－３が、形状を変えずに位置を変えて設定されるものとしたが、幅を変えて設定されるようにしてもよい。また、撮像画像の左右の縁に設定された検波枠Ｆ３－１乃至３－３と検波枠Ｆ４－１乃至４－３が、幅を変えて設定されるものとしたが、形状を変えずに、位置を変えて設定されるようにしてもよい。

【0111】

検波枠の形状を変化させる設定方法と幅を変化させる設定方法が組み合わせて用いられるようにしてもよい。小さな検波枠の位置や幅を変化させることにより、マスク領域のエッジの詳細な形状を検出することが可能になる。

【0112】

なお、有効領域の径が大きく、有効領域の上下が切れている場合、左右に設定された検波枠に基づいて算出されたAF評価値だけに基づいてマスク領域の検出が行われる。また、エッジが見つからない場合、マスク領域無しとして特定される。

【0113】

AF評価値に基づいて特定されたスコープ径と有効領域の中心位置を表す情報が、マスク領域の位置に関する情報とともにレンズコントローラ１３６に供給される。レンズコントローラ１３６においては、マスク領域の検出結果に基づいて、AF評価値の算出に用いられる検波枠の設定などが行われる。

【0114】

＜＜第３の実施の形態 評価値算出対象領域の設定例１＞＞
図１２は、評価値算出対象領域の設定例を示す図である。

【0115】

図１２に示すように、レンズコントローラ１３６は、AF評価値の算出対象となる領域である評価値算出対象領域を、マスク領域にかからないように、有効領域の内側に設定する。例えば、評価値算出対象領域の設定は、マスク領域の検出結果に基づいて、デフォルトの領域の大きさを拡大または縮小するとともに、デフォルトの中心位置をシフトすることによって行われる。

【0116】

図１２のＡに示す横長長方形の領域Ａ１は、撮像画像の上下方向の長さより短い径を有する有効領域内に設定された評価値算出対象領域である。図１２のＢに示す領域Ａ２は、撮像画像の上下方向の長さより長い径を有する有効領域内に設定された評価値算出対象領域である。

【0117】

いずれの評価値算出対象領域も、有効領域の内側に全体が収まるように設定される。図１２のＡ，Ｂにおいて、評価値算出対象領域を表す横長長方形が有効領域内に２つずつ示されていることは、有効領域内に収まるサイズであれば、評価値算出対象領域のサイズを任意に設定可能であることを表す。

【0118】

なお、図１２の例においては、評価値算出対象領域の形状が横長長方形であるものとしたが、正方形、円形などの、他の形状とすることが可能である。

【0119】

このような評価値算出対象領域に関する情報がレンズコントローラ１３６から検波枠ゲート１３２に供給され、評価値算出対象領域内に、AF評価値の算出対象となる検波枠が設定される。

【0120】

AF検波部１３５においては、評価値算出対象領域内に設定された検波枠内の画素の撮像信号に基づいてAF評価値が算出される。また、算出されたAF評価値に基づいて、レンズコントローラ１３６により自動合焦処理が行われる。

【0121】

これにより、CCU１２は、有効領域に写る術部にフォーカスを確実に合わせることが可能になる。

【0122】

＜＜第４の実施の形態 評価値算出対象領域の設定例２＞＞
図１３は、評価値算出対象領域の他の設定例を示す図である。

【0123】

図１３の撮像画像上に示すマス目はそれぞれ検波枠を表す。図１３の例においては、撮像画像の中心の周りに、縦方向に８個、横方向に８個の複数の検波枠がタイル状に並べて設定されている。この例においては、有効領域の範囲に関わらず、検波枠の位置は固定である。検波枠ゲート１３２からAF検波部１３５に対しては、各検波枠の画素の撮像信号が供給される。

【0124】

レンズコントローラ１３６は、このようにして固定的に設定される検波枠のうち、マスク領域にかからずに、全体が有効領域に収まる検波枠を、AF評価値の算出対象となる評価値算出対象領域として選択する。図１３において色を付して示す検波枠は、評価値算出対象領域として選択された検波枠である。一方、マスク領域にかかる検波枠は、無効（重み０）な検波枠として扱われる。

【0125】

レンズコントローラ１３６は、評価値算出対象領域として選択した検波枠に関する情報をAF検波部１３５に出力し、評価値算出対象領域として選択した検波枠を対象として、AF評価値の算出を行わせる。

【0126】

すなわち、図１２の例においてはAF評価値の算出対象となる検波枠がマスク領域の検出結果に基づいて設定されるのに対して、図１３の例においては、予め設定されている検波枠から、AF評価値の算出対象となる検波枠が選択されることになる。

【0127】

図１３のＡの例においては、予め設定された検波枠のうち、有効領域に収まる一部の検波枠が評価値算出対象領域として設定されている。また、図１３のＢの例においては、予め設定された検波枠の全てが有効領域に収まるため、全ての検波枠が評価値算出対象領域として設定されている。

【0128】

なお、図１３の例においては、有効領域に収まる検波枠が全て評価値算出対象領域として設定されているが、有効領域に収まる一部の検波枠が評価値算出対象領域として設定されるようにしてもよい。

【0129】

このような評価値算出対象領域に関する情報がレンズコントローラ１３６からAF検波部１３５に供給され、評価値算出対象領域として設定された検波枠の画素の画素信号に基づいてAF評価値が算出される。また、算出されたAF評価値に基づいて、レンズコントローラ１３６により自動合焦処理が行われる。

【0130】

これによっても、CCU１２は、有効領域に写る術部にフォーカスを確実に合わせることが可能になる。

【0131】

＜＜第５の実施の形態 自動合焦処理の例＞＞
以上のようにして特定されたスコープ径、有効領域の中心位置、マスク領域の位置に基づいてスコープ５２のＦ値が推定され、推定されたＦ値に基づいて焦点深度が求められるようにしてもよい。

【0132】

スコープ５２のＦ値と焦点深度は、例えば、AF速度、合焦精度、ウォブリング振幅量などの、自動合焦処理の内容を規定するパラメータを設定するためにレンズコントローラ１３６により用いられる。レンズコントローラ１３６は、スコープ５２のＦ値と焦点深度に基づいて、AF速度、合焦精度、ウォブリング振幅量をそれぞれ計算し、計算結果に基づいて自動合焦処理を行うことになる。

【0133】

これにより、レンズコントローラ１３６は、自動合焦処理をより高精度に行うことが可能になる。なお、スコープ径に対応するＦ値と焦点深度のテーブルを予め記憶しておき、特定されたスコープ径からテーブルを参照してＦ値と焦点深度を求めてもよい。

【0134】

＜＜CCUの動作＞＞
＜AF処理＞
図１４のフローチャートを参照して、CCU１２のAF処理について説明する。

【0135】

図１４の処理は、例えば、内視鏡１９により術部の撮像が行われ、撮像信号が撮像素子１１１から供給されたときに行われる。

【0136】

ステップＳ１において、カメラ信号処理部１３１は、撮像素子１１１から供給された撮像信号に対して、ホワイトバランス処理等の各種の信号処理を施す。

【0137】

ステップＳ２において、検波枠ゲート１３２は、各検波枠内の画素の撮像信号を出力する。

【0138】

例えば、マスク領域の検出が図７、図８を参照して説明したようにして行われる場合、撮像画像全体に設定されたそれぞれの検波枠内の画素の撮像信号が検波枠ゲート１３２から出力され、検波部１３３に供給される。

【0139】

また、マスク領域の検出が図９、図１０、図１１を参照して説明したようにして行われる場合、撮像画像の所定の位置に設定されたそれぞれの検波枠内の画素の撮像信号が検波枠ゲート１３２から出力され、AF検波部１３５に供給される。

【0140】

ステップＳ３においてマスク領域検出処理が行われる。マスク領域検出処理により特定された、スコープ径、有効領域の中心位置、マスク領域の位置に関する情報は、マスク検出部１３４からレンズコントローラ１３６に供給される。マスク領域検出処理の詳細については、図１５、図１６のフローチャートを参照して後述する。

【0141】

ステップＳ４において、レンズコントローラ１３６は、評価値算出対象領域をマスク領域の検出結果に基づいて設定する。

【0142】

評価値算出対象領域の設定が図１２を参照して説明したようにして行われる場合、レンズコントローラ１３６は、評価値算出対象領域に関する情報を検波枠ゲート１３２に出力し、評価値算出対象領域内に検波枠を設定させる。

【0143】

また、評価値算出対象領域の設定が図１３を参照して説明したようにして行われる場合、レンズコントローラ１３６は、評価値算出対象領域に関する情報をAF検波部１３５に出力し、評価値算出対象領域として選択した検波枠を対象としてAF評価値の算出を行わせる。

【0144】

ステップＳ５において、AF検波部１３５は、検波枠ゲート１３２から供給された撮像信号に基づいて、評価値算出対象領域の検波枠を対象としてAF評価値を算出する。

【0145】

ステップＳ６において、レンズコントローラ１３６は、AF検波部１３５により算出されたAF評価値に基づいて自動合焦処理を行う。レンズコントローラ１３６からカメラヘッド５１のレンズドライバ１１３に対して制御信号が出力され、フォーカスレンズ１０２の位置が調整されることによってAFが実現される。

【0146】

以上の処理が、撮像信号が撮像素子１１１から供給される間、繰り返し行われる。

【0147】

＜マスク領域検出処理＞
次に、図１５のフローチャートを参照して、図１４のステップＳ３において行われるマスク領域検出処理について説明する。

【0148】

図１５の処理は、マスク領域の検出が、検波部１３３により求められた検波値を用いて行われる処理である。検波枠ゲート１３２から検波部１３３に対しては、図７、図８を参照して説明したようにして撮像画像全体に設定されたそれぞれの検波枠内の画素の撮像信号が供給される。

【0149】

ステップＳ１１において、検波部１３３は、検波枠ゲート１３２から供給された撮像信号の検波を行い、各検波枠の検波値を出力する。

【0150】

ステップＳ１２において、マスク検出部１３４は、各列の検波枠の検波値のうちの最大の検波値を検出する。また、マスク検出部１３４は、各行の検波枠の検波値のうちの最大の検波値を検出する。

【0151】

ステップＳ１３において、マスク検出部１３４は、各列の最大の検波値の配列における、１列おきの、検波値の差分を求める。また、マスク検出部１３４は、各行の最大の検波値の配列における、１行おきの、検波値の差分を求める。

【0152】

ステップＳ１４において、マスク検出部１３４は、１列おきの検波値の差分を順に注目し、閾値以上の差分が求められた位置を、マスク領域の左右のエッジの位置として検出する。また、マスク検出部１３４は、１行おきの検波値の差分を順に注目し、閾値以上の差分が求められた位置を、マスク領域の上下のエッジの位置として検出する。

【0153】

ステップＳ１５において、マスク検出部１３４は、有効領域のエッジ幅に基づいて、スコープ径と有効領域の中心位置を特定する。

【0154】

ステップＳ１６において、マスク検出部１３４は、スコープ径、有効領域の中心位置、および、マスク領域の位置に関する情報を、マスク領域の検出結果としてレンズコントローラ１３６に出力する。その後、図１４のステップＳ３に戻り、それ以降の処理が行われる。

【0155】

次に、図１６のフローチャートを参照して、図１４のステップＳ３において行われる他のマスク領域検出処理について説明する。

【0156】

図１６の処理は、マスク領域の検出が、AF検波部１３５により求められたAF評価値を用いて行われる処理である。

【0157】

ステップＳ２１において、レンズコントローラ１３６は、検波枠の位置に関する情報を検波枠ゲート１３２に出力し、検波枠を設定させる。例えばレンズコントローラ１３６から検波枠ゲート１３２に対しては、図９、図１０、図１１を参照して説明したように撮像画像の各位置に検波枠を設定するための情報が供給される。検波枠が設定されたとき、検波枠内の画素に対応する撮像信号が検波枠ゲート１３２からAF検波部１３５に供給される。

【0158】

ステップＳ２２において、AF検波部１３５は、検波枠ゲート１３２から供給された撮像信号に基づいてAF評価値を算出する。算出されたAF評価値はマスク検出部１３４に供給される。

【0159】

ステップＳ２３において、マスク検出部１３４は、AF評価値に閾値以上の変化が生じたか否かを判定する。閾値以上の変化が生じていないとステップＳ２３において判定された場合、ステップＳ２１に戻り、位置や幅を変えて検波枠が設定された後、以上の処理が繰り返される。

【0160】

一方、ステップＳ２３においてAF評価値に閾値以上の変化が生じたと判定した場合、ステップＳ２４において、マスク検出部１３４は、AF評価値に閾値以上の変化が生じた位置をマスク領域のエッジの位置として特定する。

【0161】

マスク領域のエッジの位置が特定された後の処理は、図１５のステップＳ１５以降の処理と同様の処理である。すなわち、ステップＳ２５において、マスク検出部１３４は、有効領域のエッジ幅に基づいて、スコープ径と有効領域の中心位置を特定する。

【0162】

ステップＳ２６において、マスク検出部１３４は、スコープ径、有効領域の中心位置、および、マスク領域の位置に関する情報を、マスク領域の検出結果としてレンズコントローラ１３６に出力する。その後、図１４のステップＳ３に戻り、それ以降の処理が行われる。

【0163】

以上の処理により、CCU１２は、硬性内視鏡である内視鏡１９に装着されたスコープ５２の種類に応じて、AF評価値の算出対象となる領域を、有効領域内の適切な位置に、適切なサイズで設定することが可能になる。

【0164】

また、CCU１２は、AF速度やウォブリング振幅量などのパラメータを、スコープ５２の仕様に応じて適切な値に設定することができ、これにより、AF性能を向上させることができる。AF速度とウォブリング振幅量がスコープ５２の仕様に応じて設定されることにより、AFのふらつきの回避、ぼけ止まりの回避、ウォブリング動作が見えてしまうなどの画質劣化の回避が可能になる。

【0165】

例えば、径の大きいスコープが装着され、適切な値よりも大きいＦ値、焦点深度を用いてAFが行われた場合、AF速度が速すぎることによるAFのふらつきが発生する。また、ウォブリング動作の微小振動が出力画像上で見えてしまうなどの不具合が発生する。

【0166】

逆に、径の小さいスコープが装着され、適切な値よりも小さいＦ値、焦点深度を用いてAFが行われた場合、AF速度が遅すぎることによって合焦までに時間がかかるといった不具合が発生する。また、ウォブリング動作の振幅量が不足することによって合焦方向が求められず、ぼけた状態のままAFが停止するいわゆるぼけ止まりといった不具合が発生する。

【0167】

スコープの仕様に応じた適切な値を用いてAFが行われるようにすることにより、スコープの仕様が適切ではないことにより生じる、これらの不具合を回避することが可能になる。

【0168】

すなわち、内視鏡システム１は、手術に適した内視鏡画像を術者に提供することができる。

【0169】

＜＜その他の例＞＞
＜AEに適用した例＞
マスク領域の検出結果に基づいて、AEを行うための自動露光処理が行われるようにすることも可能である。AEは、シャッタースピードやISO感度などのパラメータを術者の操作によらずに自動的に調整することによって行われる。

【0170】

図１７は、AEを行うCCU１２の構成例を示すブロック図である。

【0171】

図１７に示す構成のうち、図５を参照して説明した構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。図１７に示すCCU１２の構成は、露出検出部１４１が設けられている点で、図５に示す構成と異なる。

【0172】

検波枠ゲート１３２は、カメラ信号処理部１３１から供給された撮像信号のうち、露出評価用の検波枠内の画素の撮像信号を露出検出部１４１に出力する。

【0173】

露出検出部１４１は、検波枠内の画素の撮像信号に基づいて露出評価用の評価値であるAE評価値を算出し、レンズコントローラ１３６に出力する。

【0174】

レンズコントローラ１３６は、露出検出部１４１により算出されたAE評価値に基づいて、シャッタースピードやISO感度を調整するための制御信号を撮像素子ドライバ１１２に出力し、自動露光処理を行う。

【0175】

図１８は、AE評価値の評価値算出対象領域の設定例を示す図である。

【0176】

図１８に示す評価値算出対象領域の設定は、図１２を参照して説明した評価値算出対象領域の設定に対応する。

【0177】

図１８の右側に示すように、レンズコントローラ１３６は、AE評価値の算出対象となる評価値算出対象領域を、マスク領域にかからないように、有効領域の内側に設定する。例えば、評価値算出対象領域の設定は、マスク領域の検出結果に基づいて、デフォルトの領域の大きさを拡大または縮小するとともに、デフォルトの中心位置をシフトすることによって行われる。

【0178】

図１８の右側に示す横長長方形の領域Ａ１１は、撮像画像の上下方向の長さより短い径を有する有効領域内に設定された評価値算出対象領域である。図１８の例においては、例えば、図１８の左側に示すデフォルトの大きさを縮小することによって評価値算出対象領域が設定されている。

【0179】

このような評価値算出対象領域に関する情報がレンズコントローラ１３６から検波枠ゲート１３２に供給され、評価値算出対象領域内に、AE評価値の算出対象となる検波枠が設定される。

【0180】

露出検出部１４１においては、評価値算出対象領域内に設定された検波枠内の画素の撮像信号に基づいてAE評価値が算出される。また、算出されたAE評価値に基づいて、レンズコントローラ１３６により自動露光処理が行われる。

【0181】

これにより、CCU１２は、有効領域に写る術部の露出を適正な露出に調整することが可能になる。

【0182】

例えば、露出評価用の検波枠がマスク領域に設定されている場合、露出を上げるための制御がAEによって行われ、結果として露出オーバーとなることがある。有効領域内の検波枠だけを用いて露出の評価が行われるようにすることにより、CCU１２は、術部の明るさを適正露出に調整することが可能になる。

【0183】

図１９は、AE評価値の評価値算出対象領域の他の設定例を示す図である。

【0184】

図１９に示す評価値算出対象領域の設定は、図１３を参照して説明した評価値算出対象領域の設定に対応する。

【0185】

図１９の左側の撮像画像上に示すマス目はそれぞれ検波枠を表す。図１９の例においては、撮像画像の中心の周りに、縦方向に１０個、横方向に１０個の複数の検波枠がタイル状に並べて設定されている。この例においては、有効領域の範囲に関わらず、検波枠の位置は固定である。検波枠ゲート１３２から露出検出部１４１に対しては、各検波枠の画素の撮像信号が供給される。

【0186】

レンズコントローラ１３６は、このようにして固定的に設定される検波枠のうち、マスク領域にかからずに、全体が有効領域に収まる検波枠を、AE評価値の算出対象となる評価値算出対象領域として選択する。図１９の右側において色を付して示す検波枠は、評価値算出対象領域として選択された検波枠である。一方、マスク領域にかかる検波枠は、無効（重み０）な検波枠として扱われる。

【0187】

レンズコントローラ１３６は、評価値算出対象領域として選択した検波枠に関する情報を露出検出部１４１に出力し、評価値算出対象領域として選択した検波枠を対象として、AE評価値の算出を行わせる。

【0188】

このような評価値算出対象領域に関する情報がレンズコントローラ１３６から露出検出部１４１に供給され、評価値算出対象領域として選択された検波枠の画素の画素信号に基づいてAE評価値が算出される。また、算出されたAE評価値に基づいて、レンズコントローラ１３６により自動露光処理が行われる。

【0189】

これによっても、CCU１２は、有効領域に写る術部の露出を適正な露出に調整することが可能になる。

【0190】

自動露光処理が、上述した自動合焦処理と組み合わせて行われるようにしてもよい。すなわち、レンズコントローラ１３６が行う制御処理は、自動露光処理と自動合焦処理のうちの少なくともいずれかを含む処理である。

【0191】

＜AWBに適用した例＞
マスク領域の検出結果に基づいて、内視鏡システム１のAWB（オートホワイトバランス）を行うためのホワイトバランス処理がカメラ信号処理部１３１により行われるようにすることも可能である。

【0192】

この場合、マスク領域の検出結果がマスク検出部１３４からカメラ信号処理部１３１に供給され、ホワイトバランス処理が、有効領域内の画素の撮像信号に基づいて行われることになる。

【0193】

ホワイトバランス処理は、術部が適切な色味で写るように撮像画像の色を補正する処理であり、例えば、有効領域内の画素の撮像信号（色信号）に基づいて撮像環境を推定し、撮像信号から生成される色を補正する処理である。

【0194】

また、有効領域内の画素の撮像信号から光源の色温度を推定し、予め記憶した光源の色温度に合わせた色補正を行うホワイトバランス処理を行ってもよい。

【0195】

また、有効領域内の赤味が弱いと判定した場合に、血管が強調されるように赤味を強くするホワイトバランス処理を行ってもよい。

【0196】

このように、有効領域内の画素の撮像信号を用いてホワイトバランス処理が行われるようにすることにより、術部が適切な色味で写る撮像画像を得ることが可能になる。

【0197】

＜その他の例＞
マスク領域の検出結果を用いたAF,AE,AWBが内視鏡システム１において行われる場合について説明したが、顕微鏡システムにおいてAF,AE,AWBを行う場合にも適用可能である。

【0198】

マスク領域の検出が、検波部１３３により求められた検波値、または、AF検波部１３５により求められたAF評価値に基づいて行われるものとしたが、検波値とAF評価値の両方を用いて行われるようにしてもよい。

【0199】

上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

【0200】

図２０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

【0201】

CPU(Central Processing Unit)１００１、ROM(Read Only Memory)１００２、RAM(Random Access Memory)１００３は、バス１００４により相互に接続されている。

【0202】

バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、キーボード、マウスなどよりなる入力部１００６、ディスプレイ、スピーカなどよりなる出力部１００７が接続される。また、入出力インタフェース１００５には、ハードディスクや不揮発性のメモリなどよりなる記憶部１００８、ネットワークインタフェースなどよりなる通信部１００９、リムーバブルメディア１０１１を駆動するドライブ１０１０が接続される。

【0203】

以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを入出力インタフェース１００５及びバス１００４を介してRAM１００３にロードして実行することにより、上述した一連の処理が行われる。

【0204】

CPU１００１が実行するプログラムは、例えばリムーバブルメディア１０１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部１００８にインストールされる。

【0205】

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

【0206】

なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

【0207】

なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。

【0208】

本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

【0209】

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

【0210】

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

【0211】

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

【0212】

＜構成の組み合わせ例＞
本技術は、以下のような構成をとることもできる。

【0213】

（１）
術野領域に光を照射する光源装置と、
着脱可能なスコープを介して、前記術野領域を撮像する撮像装置と、
前記撮像装置および前記光源装置に接続され、
前記撮像装置により撮像された撮像画像のうち、前記スコープの有効領域を検出する検出部と、
前記有効領域内の評価値に基づいて、自動合焦処理と自動露光処理と自動ホワイトバランス処理のうちの少なくともいずれかを含む制御処理を実行する制御部と
を備える情報処理装置と
を含む内視鏡システム。
（２）
前記有効領域は、前記スコープによるケラレがない領域である
前記（１）に記載の内視鏡システム。
（３）
前記撮像画像に設定された各領域の輝度信号の検波を行う第１の検波部をさらに備え、 前記検出部は、前記撮像画像の各領域の検波値に基づいて前記有効領域を検出する
前記（１）または（２）に記載の内視鏡システム。
（４）
前記検出部は、前記撮像画像にタイル状に設定された各領域の前記検波値に基づいて前記有効領域のエッジを検出し、前記スコープの径と、前記有効領域の中心位置を特定する 前記（３）に記載の内視鏡システム。
（５）
前記撮像画像に設定された検波枠内の検波を行い、前記自動合焦処理用の評価値を算出する第２の検波部をさらに備え、
前記検出部は、前記自動合焦処理用の評価値に基づいて前記有効領域を検出し、
前記制御部は、前記自動合焦処理用の評価値に基づいて、前記制御処理としての前記自動合焦処理を実行する
前記（１）に記載の内視鏡システム。
（６）
前記第２の検波部は、前記検波枠の位置と大きさのうちの少なくともいずれかを変化させて、前記有効領域の検出に用いられる前記自動合焦処理用の評価値を算出する
前記（５）に記載の内視鏡システム。
（７）
前記検出部は、前記自動合焦処理用の評価値に基づいて前記有効領域のエッジを検出し、前記スコープの径と、前記有効領域の中心位置を特定する
前記（６）に記載の内視鏡システム。
（８）
前記制御部は、前記スコープの径と前記有効領域の中心位置により表される前記有効領域内に、前記評価値の算出対象となる評価値算出対象領域を設定する
前記（１）乃至（７）のいずれかに記載の内視鏡システム。
（９）
前記制御部は、前記撮像画像にタイル状に設定された、前記評価値の算出対象となる評価値算出対象領域のうち、前記スコープの径と前記有効領域の中心位置により表される前記有効領域内の前記評価値算出対象領域において算出された前記評価値に基づいて前記制御処理を実行する
前記（１）乃至（８）のいずれかに記載の内視鏡システム。
（１０）
前記制御部は、前記検出部による検出結果に基づいて推定される前記スコープのＦ値と焦点深度とのうちの少なくともいずれかに基づいて、前記自動合焦処理を規定するパラメータを設定する
前記（１）乃至（９）のいずれかに記載の内視鏡システム。
（１１）
前記制御部は、前記検出部による検出結果に基づいて、予め記憶された前記スコープのＦ値または焦点深度のいずれかを少なくとも含むテーブルを参照し、参照結果に基づいて前記自動合焦処理を規定するパラメータを設定する
前記（１）乃至（９）のいずれかに記載の内視鏡システム。
（１２）
光源装置が、術野領域に光を照射し、
撮像装置が、着脱可能なスコープを介して、前記術野領域を撮像し、
前記撮像装置および前記光源装置に接続される情報処理装置が、
前記撮像装置により撮像された撮像画像のうち、前記スコープの有効領域を検出し、 前記有効領域内の評価値に基づいて、自動合焦処理と自動露光処理と自動ホワイトバランス処理のうちの少なくともいずれかを含む制御処理を実行する
内視鏡システムの制御方法。
（１３）
術野領域に光を照射する光源装置、および、着脱可能なスコープを介して前記術野領域を撮像する撮像装置に接続され、
前記撮像装置により撮像された撮像画像のうち、前記スコープの有効領域を検出する検出部と、
前記有効領域内の評価値に基づいて、自動合焦処理と自動露光処理と自動ホワイトバランス処理のうちの少なくともいずれかを含む制御処理を実行する制御部と
を備える、内視鏡システムの情報処理装置。
（１４）
術野領域に光を照射する光源装置、および、着脱可能なスコープを介して前記術野領域を撮像する撮像装置に接続される、内視鏡システムの情報処理装置であるコンピュータに、
前記撮像装置により撮像された撮像画像のうち、前記スコープの有効領域を検出し、
前記有効領域内の評価値に基づいて、自動合焦処理と自動露光処理と自動ホワイトバランス処理のうちの少なくともいずれかを含む制御処理を実行する
処理を実行させるためのプログラム。

【符号の説明】

【0214】

１ 内視鏡システム， １２ CCU， １９ 内視鏡， ５１ カメラヘッド， ５２ スコープ， １１１ 撮像素子， １１２ 撮像素子ドライバ， １１３ レンズドライバ， １１４ ズームレンズ駆動部， １１５ フォーカスレンズ駆動部， １３１ カメラ信号処理部， １３２ 検波枠ゲート， １３３ 検波部， １３４ マスク検出部， １３５ AF検波部， １３６ レンズコントローラ， １４１ 露出検出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】