特許 7184077 制御装置および方法、並びに手術顕微鏡システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-28

(45)【発行日】2022-12-06

(54)【発明の名称】制御装置および方法、並びに手術顕微鏡システム

(51)【国際特許分類】

   A61B 3/13 20060101AFI20221129BHJP

   A61F 9/007 20060101ALI20221129BHJP

   G02B 7/28 20210101ALI20221129BHJP

   G02B 7/36 20210101ALI20221129BHJP

   G03B 13/36 20210101ALI20221129BHJP

【ＦＩ】

A61B3/13

A61F9/007 200C

G02B7/28 J

G02B7/36

G03B13/36

【請求項の数】 18

(21)【出願番号】P 2020508192

(86)(22)【出願日】2019-03-08

(86)【国際出願番号】 JP2019009268

(87)【国際公開番号】W WO2019181554

(87)【国際公開日】2019-09-26

【審査請求日】2022-01-21

(31)【優先権主張番号】P 2018054229

(32)【優先日】2018-03-22

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】100121131

【弁理士】

【氏名又は名称】西川 孝

(74)【代理人】

【識別番号】100082131

【弁理士】

【氏名又は名称】稲本 義雄

(74)【代理人】

【識別番号】100168686

【弁理士】

【氏名又は名称】三浦 勇介

(72)【発明者】

【氏名】相馬 芳男

(72)【発明者】

【氏名】大月 知之

(72)【発明者】

【氏名】榎 潤一郎

(72)【発明者】

【氏名】坂口 竜己

【審査官】湊 和也

(56)【参考文献】

【文献】特開２００６－２４７３９９（ＪＰ，Ａ）

【文献】特開２００８－０００３４２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ３／００－３／１８、９０／２０

Ａ６１Ｆ ９／００７

(57)【特許請求の範囲】

【請求項1】

手術対象の患者の眼の観察画像に含まれる所定の被写体に合焦したときの焦点位置を初期合焦位置として検出する初期合焦位置検出部と、
眼球の構造に関する情報に基づいて、前記眼の角膜内皮よりも内側にある、ユーザにより指定された目標眼臓器と前記初期合焦位置との間の距離を示すオフセット値を決定し、前記オフセット値および前記初期合焦位置に基づいて、前記目標眼臓器に合焦する焦点位置である合焦位置を算出する算出部と
を備える制御装置。

【請求項2】

前記算出部により算出された前記合焦位置となるように焦点位置を調整する制御部をさらに備える
請求項１に記載の制御装置。

【請求項3】

前記初期合焦位置検出部は、前記観察画像から前記所定の被写体を含む初期合焦領域を抽出し、前記初期合焦領域に基づいて前記初期合焦位置を検出する
請求項１に記載の制御装置。

【請求項4】

前記初期合焦位置検出部は、前記初期合焦領域に対してコントラストAF処理を行うことにより、前記初期合焦位置を検出する
請求項３に記載の制御装置。

【請求項5】

前記初期合焦位置検出部は、前記観察画像とは異なる前記患者の前記眼のAF用画像に基づいて前記初期合焦位置を検出する
請求項１に記載の制御装置。

【請求項6】

前記初期合焦位置検出部は、前記AF用画像から前記所定の被写体を含む初期合焦領域を抽出し、前記初期合焦領域に基づいて前記初期合焦位置を検出する
請求項５に記載の制御装置。

【請求項7】

前記初期合焦位置検出部は、前記初期合焦領域に対してコントラストAF処理を行うことにより、前記初期合焦位置を検出する
請求項６に記載の制御装置。

【請求項8】

前記算出部は、前記患者に固有の情報に基づいて前記オフセット値を補正する
請求項１に記載の制御装置。

【請求項9】

前記眼球の構造に関する情報は、眼球の各眼臓器の位置関係を示す構造情報である
請求項１に記載の制御装置。

【請求項10】

前記眼球の構造に関する情報は、術前に得られた前記患者の前記眼の断層画像である
請求項１に記載の制御装置。

【請求項11】

前記眼球の構造に関する情報は、術中に得られた前記患者の前記眼の断層画像である
請求項１に記載の制御装置。

【請求項12】

眼球の断面における前記合焦位置を示す合焦位置表示画像を表示させる合焦位置表示制御部をさらに備える
請求項１に記載の制御装置。

【請求項13】

前記算出部は、前記合焦位置表示画像上において指定された位置にある眼臓器を前記目標眼臓器として前記合焦位置を算出する
請求項１２に記載の制御装置。

【請求項14】

前記観察画像を表示させる画像表示制御部をさらに備え、
前記観察画像と前記合焦位置表示画像は並べられて表示される
請求項１２に記載の制御装置。

【請求項15】

前記目標眼臓器は透明体である
請求項１に記載の制御装置。

【請求項16】

前記所定の被写体は前記眼の眼臓器または術具である
請求項１に記載の制御装置。

【請求項17】

制御装置が、
手術対象の患者の眼の観察画像に含まれる所定の被写体に合焦したときの焦点位置を初期合焦位置として検出し、
眼球の構造に関する情報に基づいて、前記眼の角膜内皮よりも内側にある、ユーザにより指定された目標眼臓器と前記初期合焦位置との間の距離を示すオフセット値を決定し、前記オフセット値および前記初期合焦位置に基づいて、前記目標眼臓器に合焦する焦点位置である合焦位置を算出する
制御方法。

【請求項18】

手術対象の患者の眼の観察画像を取得する画像取得部と、
前記観察画像に含まれる所定の被写体に合焦したときの前記画像取得部の焦点位置を初期合焦位置として検出する初期合焦位置検出部と、
眼球の構造に関する情報に基づいて、前記眼の角膜内皮よりも内側にある、ユーザにより指定された目標眼臓器と前記初期合焦位置との間の距離を示すオフセット値を決定し、前記オフセット値および前記初期合焦位置に基づいて、前記目標眼臓器に合焦する前記画像取得部の焦点位置である合焦位置を算出する算出部と
を備える手術顕微鏡システム。

【発明の詳細な説明】

【技術分野】

【0001】

本技術は、制御装置および方法、並びに手術顕微鏡システムに関し、特に、被写体の所望の位置に合焦させることができるようにした制御装置および方法、並びに手術顕微鏡システムに関する。

【背景技術】

【0002】

例えば、手術顕微鏡下の眼科手術において正確かつ安全に手術を行うためには、手術中の状況に応じて顕微鏡の焦点位置を適切に調整し、常にぼけがない鮮明な視野での観察が必要である。

【0003】

カメラを搭載した手術顕微鏡、すなわちビデオ手術顕微鏡においては、画像を用いたオートフォーカス（AF（Autofocus））機能により、煩雑な焦点位置合わせの自動化が可能である。

【0004】

しかし、デジタルカメラなどで広く用いられているコントラストAFや位相差AFなどにおいて、AF性能は被写体のテクスチャに大きく依存し、原理上エッジがない対象への焦点合わせは困難である。

【0005】

そのため、角膜や水晶体、硝子体などのエッジがない透明体を主な観察や処置の対象とする眼科手術においては、既存のAF技術による正確な焦点位置合わせは期待できない。

【0006】

そこで、角膜への照明光の照射により生じる虚像に焦点を合わせた後、角膜曲率の平均値やパターン照明で計測された角膜形状などに基づく距離だけ焦点位置を移動させることで、角膜上に焦点を合わせるシステムが提案されている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0007】

【文献】特開２０１７－１４８３６１号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかしながら、特許文献１に記載の手法では、原理的に眼の表面の角膜以外への焦点位置合わせは困難であり、この手法を手術の種類や進行に応じて眼球内部の水晶体や硝子体などにも焦点合わせが必要な手術顕微鏡へと応用することはできない。そのため、水晶体や硝子体など、被写体の所望の位置に合焦させることができる技術が望まれている。

【0009】

本技術は、このような状況に鑑みてなされたものであり、被写体の所望の位置に合焦させることができるようにするものである。

【課題を解決するための手段】

【0010】

本技術の第１の側面の制御装置は、手術対象の患者の眼の観察画像に含まれる所定の被写体に合焦したときの焦点位置を初期合焦位置として検出する初期合焦位置検出部と、眼球の構造に関する情報に基づいて、前記眼の角膜内皮よりも内側にある、ユーザにより指定された目標眼臓器と前記初期合焦位置との間の距離を示すオフセット値を決定し、前記オフセット値および前記初期合焦位置に基づいて、前記目標眼臓器に合焦する焦点位置である合焦位置を算出する算出部とを備える。

【0011】

本技術の第１の側面の制御方法は、手術対象の患者の眼の観察画像に含まれる所定の被写体に合焦したときの焦点位置を初期合焦位置として検出し、眼球の構造に関する情報に基づいて、前記眼の角膜内皮よりも内側にある、ユーザにより指定された目標眼臓器と前記初期合焦位置との間の距離を示すオフセット値を決定し、前記オフセット値および前記初期合焦位置に基づいて、前記目標眼臓器に合焦する焦点位置である合焦位置を算出する制御方法である。

【0012】

本技術の第１の側面においては、手術対象の患者の眼の観察画像に含まれる所定の被写体に合焦したときの焦点位置が初期合焦位置として検出され、眼球の構造に関する情報に基づいて、前記眼の角膜内皮よりも内側にある、ユーザにより指定された目標眼臓器と前記初期合焦位置との間の距離を示すオフセット値が決定され、前記オフセット値および前記初期合焦位置に基づいて、前記目標眼臓器に合焦する焦点位置である合焦位置が算出される。

【0013】

本技術の第２の側面の手術顕微鏡システムは、本技術の第１の側面の制御装置に対応する手術顕微鏡システムである。

【発明の効果】

【0014】

本技術第１の側面および第２の側面によれば、被写体の所望の位置に合焦させることができる。

【0015】

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。

【図面の簡単な説明】

【0016】

【図1】手術顕微鏡システムの構成例を示す図である。

【図2】初期合焦領域の例を示す図である。

【図3】初期合焦領域の例を示す図である。

【図4】初期合焦領域の例を示す図である。

【図5】初期合焦位置、オフセット値、および合焦位置の関係を示す図である。

【図6】合焦位置表示画像の例を示す図である。

【図7】合焦位置表示画像の例を示す図である。

【図8】合焦位置表示画像の例を示す図である。

【図9】観察処理を説明するフローチャートである。

【図10】手術顕微鏡システムの構成例を示す図である。

【図11】観察処理を説明するフローチャートである。

【図12】コンピュータの構成例を示す図である。

【発明を実施するための形態】

【0017】

以下、図面を参照して、本技術を適用した実施の形態について説明する。

【0018】

〈第１の実施の形態〉
〈手術顕微鏡システムの構成例〉
本技術は、手術顕微鏡システムにおいて、一般的なAF技術と眼球構造に関する情報等から算出されるオフセット値を用いることにより、透明体を含む眼球組織中の所望の位置に合焦させることができるようにするものである。

【0019】

なお、以下では、観察対象の被写体が手術対象となる患者の眼である例について説明するが、観察対象の被写体は眼に限らず、例えば内視鏡で観察されるものや、透明体を含むものなど、どのようなものであってもよい。特に本技術は、透明体を含む被写体に合焦させる場合に有用である。

【0020】

図１は、本技術を適用した手術顕微鏡システムの一実施の形態の構成例を示す図である。

【0021】

図１に示す手術顕微鏡システム１１は、例えば手術対象となる患者の眼を術前や術中に観察するためのビデオ手術顕微鏡を有する眼科用手術顕微鏡システムである。

【0022】

手術顕微鏡システム１１は、カメラユニット２１、ユーザI/O（Input/Output）２２、表示部２３、AFユニット２４、構造情報データベース保持部２５、および外部診断装置２６を有している。

【0023】

カメラユニット２１は、観察対象、すなわち手術対象となる患者の眼を顕微鏡観察して得られる観察画像を正面画像として取得する。なお、以下では眼の顕微鏡観察の例として明視野観察が行われる場合を例として説明するが、眼の所望の部位に合焦させて行われる観察であれば、明視野観察に限らず他のどのようなものであってもよい。

【0024】

カメラユニット２１は、カメラ画像取得部３１およびカメラ制御部３２を有している。例えばカメラ画像取得部３１は、ビデオ手術顕微鏡の少なくとも一部を構成している。

【0025】

カメラ画像取得部３１は、例えばビデオ手術顕微鏡を構成する観察光学系やイメージセンサ、撮像された画像に対して各種の処理を施す画像処理ユニットなどからなり、観察対象の患者の眼の明視野像である正面画像を取得する。

【0026】

例えば眼の明視野観察時には、図示せぬ光源から出力された照明光が観察対象である眼に照射され、その照明光が眼の各部位で反射されて観察光となる。この観察光はビデオ手術顕微鏡の観察光学系に導かれて、ビデオ手術顕微鏡のカメラを構成するイメージセンサへと入射する。

【0027】

イメージセンサは、観察光学系を介して眼から入射した観察光を受光して光電変換することで眼を被写体とする正面画像を撮像し、得られた正面画像、より詳細には正面画像の画像信号を出力する。すると、カメラ画像取得部３１の画像処理ユニットは、イメージセンサから出力された正面画像に対して、ホワイトバランス調整等の各種の画像処理を施し、最終的な正面画像とする。

【0028】

カメラ画像取得部３１は、このようにして観察対象の眼の正面画像（観察画像）を取得すると、取得した正面画像をユーザI/O２２およびAFユニット２４に供給する。

【0029】

カメラ制御部３２は、AFユニット２４から供給されるビデオ手術顕微鏡のカメラの焦点位置、より詳細には観察光学系を構成する顕微鏡対物レンズの焦点位置に関する情報に基づいてカメラ画像取得部３１を制御することでフォーカス制御（AF制御）を行う。

【0030】

具体的には、例えばAFユニット２４からカメラ制御部３２には、ビデオ手術顕微鏡のカメラ（ビデオカメラ）の焦点位置に関する情報として、カメラ画像取得部３１における、移動先とすべき顕微鏡対物レンズの焦点位置を示す焦点位置情報が供給される。

【0031】

カメラ制御部３２は、顕微鏡対物レンズの実際の焦点位置が焦点位置情報により示される焦点位置となるように、カメラのフォーカスレンズとして機能する顕微鏡対物レンズを光軸方向に移動させることでフォーカス制御（焦点位置調整）を行う。

【0032】

なお、以下、カメラ画像取得部３１の顕微鏡対物レンズを移動させることにより光軸方向に変化する顕微鏡対物レンズ（カメラ）の焦点位置、すなわち合焦位置をカメラ焦点位置とも称することとする。

【0033】

ユーザI/O２２は、ユーザによる操作入力を受け付けたり、表示部２３への画像等の表示を制御したりする。ユーザI/O２２は、画像表示制御部４１、合焦位置表示制御部４２、および入力部４３を有している。

【0034】

画像表示制御部４１は、カメラ画像取得部３１から供給された正面画像に対して、必要に応じて各種の情報や画像を重畳し、表示用正面画像を生成する。なお、カメラ画像取得部３１で得られた正面画像がそのまま表示用正面画像とされてもよい。

【0035】

画像表示制御部４１は、表示用正面画像を表示部２３に供給して、表示部２３での表示用正面画像の表示を制御する。

【0036】

合焦位置表示制御部４２は、カメラ制御部３２からカメラ焦点位置を示す情報であるカメラ焦点位置情報の供給を受けるとともに、外部診断装置２６から眼を対象とする所定の検査等により得られた検査情報の供給を受ける。

【0037】

合焦位置表示制御部４２は、適宜、検査情報およびカメラ焦点位置情報を用いて、観察対象である眼の断面（断層面）におけるカメラ焦点位置、すなわちカメラ（観察光学系）の合焦位置を示す画像である合焦位置表示画像を生成する。合焦位置表示制御部４２は、生成した合焦位置表示画像を表示部２３に供給して、表示部２３での合焦位置表示画像の表示を制御する。

【0038】

例えば検査情報として、合焦位置表示制御部４２に患者の眼の断面の画像である断層画像が供給されたとする。この場合、合焦位置表示制御部４２は、断層画像に対して、その断層画像上における現時点におけるカメラ焦点位置を示す情報が重畳された画像を合焦位置表示画像として生成する。

【0039】

なお、合焦位置表示画像上の眼の断層面の画像は、実際の患者の眼の断層画像ではなく、一般的な眼の断層図、すなわち眼球の解剖図などとされても勿論よい。

【0040】

入力部４３は、例えば手術を行う術者等のユーザにより操作される、表示部２３の表示画面に重畳されたタッチパネルや、マウス、ボタン、キーボード、スイッチなどの入力装置を有しており、ユーザの操作に応じた入力情報を出力する。

【0041】

例えば入力部４３は、ユーザの操作に応じて、ユーザが合焦させようとする観察対象の眼の部位の位置、つまり目標とすべきカメラ焦点位置に対応する眼の部位（眼臓器）の位置である目標焦点位置を示す情報を入力情報として生成し、AFユニット２４に供給する。

【0042】

表示部２３は、例えば液晶表示装置等のディスプレイからなり、画像表示制御部４１から供給された表示用正面画像や、合焦位置表示制御部４２から供給された合焦位置表示画像を表示する。

【0043】

なお、表示用正面画像と合焦位置表示画像は、表示部２３としてのディスプレイの１つの表示画面における互いに異なる領域に表示されるようにしてもよいし、表示用正面画像と合焦位置表示画像とが、表示部２３としての互いに異なるディスプレイに表示されてもよい。すなわち、表示用正面画像が表示されるディスプレイと、合焦位置表示画像が表示されるディスプレイとが異なるものであってもよい。さらに、表示用正面画像と合焦位置表示画像は、表示部２３に同時に並べられて表示されるようにしてもよいし、異なるタイミングで表示されるようにしてもよい。

【0044】

AFユニット２４は、カメラ画像取得部３１から供給された正面画像に基づいてAF処理を行う。AFユニット２４は、コントラストAF処理部５１およびオフセット値算出部５２を有している。

【0045】

コントラストAF処理部５１は、カメラ画像取得部３１から供給された正面画像に基づいてAF処理を行い、その結果得られた焦点位置情報をオフセット値算出部５２またはカメラ制御部３２に供給する。

【0046】

ここでは、例えばAF処理として、正面画像のコントラスト評価値に基づいて、最もコントラスト評価値が高くなるカメラ焦点位置を、合焦状態となるカメラ焦点位置、すなわちピントが合った状態となるカメラ焦点位置として検出するコントラストAF処理が行われる。コントラストAF処理部５１は、コントラストAF処理により検出されたカメラ焦点位置を示す焦点位置情報を生成し、オフセット値算出部５２またはカメラ制御部３２に供給する。

【0047】

なお、ここではAF処理としてコントラストAF処理が行われる場合を例として説明するが、これに限らず、位相差AF処理など、他のAF処理が行われるようにしてもよい。

【0048】

オフセット値算出部５２は、入力部４３から供給された目標焦点位置を示す入力情報、コントラストAF処理部５１から供給された焦点位置情報、構造情報データベース保持部２５から供給された眼球の構造情報、および外部診断装置２６から供給された検査情報に基づいて最終的な焦点位置情報を生成し、カメラ制御部３２に供給する。

【0049】

例えばオフセット値算出部５２は、構造情報および検査情報の少なくとも何れか一方と、目標焦点位置とに基づいて、コントラストAF処理部５１から供給された焦点位置情報により示されるカメラ焦点位置から目標焦点位置までの距離をオフセット値として算出する。換言すれば、オフセット値算出部５２はオフセット値を決定する。

【0050】

そして、オフセット値算出部５２は、得られたオフセット値に基づいて、コントラストAF処理部５１から供給された焦点位置情報により示されるカメラ焦点位置を補正し、補正後のカメラ焦点位置を移動先（目標）とすべき最終的なカメラ焦点位置とする。オフセット値算出部５２は、移動先とすべき最終的なカメラ焦点位置を示す焦点位置情報を最終的な焦点位置情報として生成し、カメラ制御部３２に供給する。

【0051】

なお、以下では、特にコントラストAF処理部５１により出力される焦点位置情報を初期焦点位置情報とも称し、オフセット値算出部５２から出力される焦点位置情報を最終焦点位置情報とも称することとする。

【0052】

手術顕微鏡システム１１では、以上において説明したカメラ制御部３２、AFユニット２４、およびユーザI/O２２からなる構成が、ビデオ手術顕微鏡のフォーカス制御を行ったり、表示部２３への画像の表示を制御したりする制御装置６１として機能する。

【0053】

構造情報データベース保持部２５は、手術対象、すなわち観察対象となる眼の構造情報を保持しており、保持している構造情報をオフセット値算出部５２に供給する。ここで眼の構造情報は、例えば角膜や水晶体、虹彩などの眼球の各眼臓器間の距離、すなわち各眼臓器間の位置関係といった眼球の構造を示す解剖情報である。

【0054】

外部診断装置２６は、例えば患者の眼に対する眼科手術の術前または術中に用いられる、患者の眼を対象とした検査を行う装置からなり、その検査結果を検査情報としてオフセット値算出部５２および合焦位置表示制御部４２に供給する。

【0055】

より具体的には、例えば外部診断装置２６は、オートレフケラトメータや眼軸長計測装置、眼底カメラ、OCT（Optical Coherence Tomography）装置、シャインプルークカメラなどからなる。その他、外部診断装置２６は、超音波を利用して断層画像を撮像する超音波断層撮影装置や、磁気を利用して断層画像を撮像する磁気共鳴断層撮影装置（MRI（Magnetic Resonance Imaging））などであってもよい。

【0056】

例えば外部診断装置２６がオートレフケラトメータや眼軸長計測装置である場合、検査情報として眼の屈折力や眼軸長などの計測結果が得られる。

【0057】

また、例えば外部診断装置２６が眼底カメラやOCT装置、シャインプルークカメラである場合、検査情報として、患者の眼底の画像である眼底画像や、患者の眼の断層面の画像である断層画像が得られる。

【0058】

なお、外部診断装置２６としてのOCT装置は、ビデオ手術顕微鏡と統合されたものであってもよい。そのような場合、外部診断装置２６では、眼の術前の断層画像だけでなく、眼の手術中の断層画像も得ることができる。

【0059】

〈手術顕微鏡システムの各部の動作について〉
続いて、図１に示した手術顕微鏡システム１１の各部の動作について説明する。

【0060】

例えばカメラ画像取得部３１により、観察対象の眼を被写体とする正面画像の取得が行われる場合、ユーザが入力部４３を操作して目標焦点位置を入力すると、その目標焦点位置に合焦させる処理が実行される。この処理は、目標焦点位置が変更される度に行われる。

【0061】

ここで、ユーザによる目標焦点位置の入力方法としては、例えばユーザが複数の眼の臓器の一覧（リスト）から、焦点を合わせようとする臓器を１つ選択し、その臓器の位置を目標焦点位置とする方法が考えられる。

【0062】

この場合、例えば画像表示制御部４１は、目標焦点位置の候補となる角膜や水晶体など、眼の臓器（眼臓器）の一覧が表示された臓器リストを生成し、その臓器リストを表示部２３に表示させる。なお、臓器リストは、正面画像に重畳されて表示用正面画像上に表示されてもよいし、表示用正面画像とは別の画像として表示されてもよい。その他、臓器リストは、合焦位置表示制御部４２により合焦位置表示画像に重畳されて表示されてもよい。

【0063】

臓器リストが表示されると、ユーザは入力部４３を操作して、臓器リストのなかから焦点を合わせようとする臓器、すなわち目標焦点位置としようとする臓器を１つ選択する。すると、入力部４３はユーザの操作に応じて、ユーザにより選択（指定）された臓器を示す情報、つまり目標焦点位置を示す情報を入力情報として生成し、オフセット値算出部５２に供給する。

【0064】

また、例えば目標焦点位置の他の入力方法として、ユーザが眼球の断層図上からGUI（Graphical User Interface）やタッチ操作で選択する方法も考えられる。

【0065】

そのような場合、例えば合焦位置表示制御部４２は、一般的な眼の断層図、すなわち眼の断層面の画像や、合焦位置表示画像を表示部２３に表示させる。すると、ユーザは入力部４３を操作して、表示部２３に表示された断層図や合焦位置表示画像上における、焦点を合わせようとする眼の臓器の位置を指定（選択）する。

【0066】

入力部４３はユーザの操作に応じて、ユーザにより指定された位置にある臓器、つまり目標焦点位置を示す情報を入力情報として生成し、オフセット値算出部５２に供給する。

【0067】

なお、例えば断層図上から目標焦点位置とする臓器が指定される場合には、予め断層図の各領域が眼のどの臓器の領域であるかを示す、断層図の領域と臓器との対応関係を示す情報をユーザI/O２２が保持しておけばよい。そうすれば、入力部４３は、保持されている断層図の領域と臓器との対応関係を示す情報に基づいて、ユーザにより指定された断層図上の領域がどの臓器の領域であるかを特定することができる。

【0068】

また、例えば合焦位置表示画像上から目標焦点位置とする臓器が指定される場合には、入力部４３は、合焦位置表示画像に対する画像認識処理を行うことで、合焦位置表示画像の各領域が眼のどの臓器の領域であるかを特定する。これにより、入力部４３は、画像認識処理の結果に基づいて、ユーザにより指定された合焦位置表示画像上の領域がどの臓器の領域であるかを特定することができる。

【0069】

なお、この場合に行われる、目標焦点位置に対応する眼の臓器を特定するための合焦位置表示画像に対する画像認識処理等は、オフセット値算出部５２において行われるようにしてもよい。

【0070】

目標焦点位置が入力されると、続いてカメラ画像取得部３１により正面画像の取得が開始される。カメラ画像取得部３１により取得された正面画像は、コントラストAF処理部５１に供給されるとともに、画像表示制御部４１にも供給される。画像表示制御部４１は、供給された正面画像に基づいて表示用正面画像を生成し、表示部２３に表示させる。

【0071】

このようにして正面画像が取得されると、その正面画像に対するコントラストAF処理が行われる。

【0072】

このコントラストAF処理では、正面画像上の被写体の領域のうち、所定の眼の臓器や術具の領域に焦点が合うようにカメラ焦点位置の調整が行われる。ここで、焦点が合わせられる臓器、つまり合焦対象となる臓器は、目標焦点位置となる臓器と同じであってもよいし、異なる臓器であってもよい。

【0073】

具体的には、コントラストAF処理部５１は、正面画像上から初期合焦領域を抽出し、その初期合焦領域に対してコントラストAF処理を行う。すなわち、正面画像の一部の領域が初期合焦領域とされ、その初期合焦領域のみが対象とされてコントラストAF処理が行われる。

【0074】

コントラストAF処理では、カメラ制御部３２はカメラ画像取得部３１を制御して、順次、コントラストAF処理部５１から供給される初期焦点位置情報により示される位置にカメラ焦点位置を移動させる。

【0075】

カメラ画像取得部３１はカメラ制御部３２の制御に従ってカメラ焦点位置を移動させながら、各カメラ焦点位置での正面画像を取得する。

【0076】

コントラストAF処理部５１は、互いに異なる複数の各カメラ焦点位置で得られた正面画像について、正面画像の初期合焦領域を対象としてコントラストの度合いを示すコントラスト評価値を算出し、コントラスト評価値が最も高くなるカメラ焦点位置を検出する。換言すれば、コントラストAF処理部５１は、初期合焦領域のコントラストが最も高くなるカメラ焦点位置を検出する。

【0077】

このようにしてコントラストAF処理により検出されたカメラ焦点位置は、初期合焦領域に含まれる眼の臓器や術具の領域に焦点が合う状態、つまり眼の臓器や術具に合焦した状態となるカメラ焦点位置である。以下では、コントラストAF処理により検出されたカメラ焦点位置を、特に初期合焦位置d_initと称することとする。

【0078】

コントラストAF処理部５１は、コントラストAF処理により得られた初期合焦位置d_initを示す初期焦点位置情報をオフセット値算出部５２に供給する。このようなコントラストAF処理部５１は、コントラストAF処理により、初期合焦領域に含まれる所定の被写体に合焦したときのカメラ焦点位置を初期合焦位置d_initとして検出する初期合焦位置検出部として機能するということができる。

【0079】

なお、初期合焦領域は、例えばコントラストAF処理により高精度に焦点位置調整を行うことができる領域、つまり高精度に合焦可能な領域であり、かつ眼球中で深さ方向、つまり顕微鏡対物レンズの光軸方向における大よその位置が特定可能な被写体が含まれる領域とされる。

【0080】

ここで、高精度に合焦可能な領域とは、例えば正面画像におけるコントラストが高い領域や、コントラストと相関の高い（強い）エッジが多く含まれる領域である。

【0081】

コントラストAF処理部５１は、正面画像に対するエッジ検出やコントラストの評価を行うことで、エッジが多く含まれる領域やコントラストが高い領域を特定することができ、そのような領域では、高精度に焦点位置調整を行うことが可能である。なお、エッジとコントラストの相関は高く、一般的にエッジを多く含む領域ではコントラストは高くなることが知られている。

【0082】

また、正面画像における、深さ方向の大よその位置が特定可能な被写体が含まれる領域は、画像認識等により特定可能である。ここでいう被写体とは、例えば眼の臓器等の部位や、眼科手術のための術具などである。

【0083】

例えばコントラストAF処理部５１は、正面画像に対する画像認識を行うことで、正面画像における各領域が眼のどの臓器や術具の領域であるかを特定することが可能である。

【0084】

各領域に被写体として含まれる臓器や術具が特定されると、その臓器や術具の深さ方向の大よその位置が特定可能か否かを特定することができる。ここで、深さ方向の大よその位置が特定可能な臓器や術具とは、例えば検査情報としての断層画像上において、どの領域がその臓器や術具の領域であるかを特定可能な臓器や術具などとされる。

【0085】

また、正面画像の被写体は患者の眼や術具であり、その眼に対する手術の種類や、手術における手技等によって正面画像の構図はある程度決まった構図となる。さらに、各臓器の深さ方向の大よその位置が特定可能か否かは既知であり、手術の手技が特定されていれば、各術具の深さ方向の大よその位置も既知となる。

【0086】

したがって、コントラストAF処理部５１は、手術の種類や手技等の手術に関する情報に基づいて、正面画像における、深さ方向の大よその位置が特定可能な眼の臓器や術具が含まれる領域を特定することができる。この場合、例えば正面画像における、手術の種類や手技等の手術に関する情報に対して定まる領域が、深さ方向の大よその位置が特定可能な眼の臓器や術具が含まれる領域とされることになる。

【0087】

以下では、高精度に焦点位置調整を行うことができ、かつ深さ方向の大よその位置が特定可能な眼の臓器や術具が含まれる領域であるという条件を抽出条件と称することとする。

【0088】

初期合焦領域は、正面画像上の抽出条件を満たす領域であれば、予め定められた領域であってもよいし、ユーザがGUIや表示用正面画像などへのタッチ操作等により手動で指定した領域であってもよいし、コントラストAF処理部５１が正面画像に対する画像認識やエッジ検出等の画像処理を行うことで特定される領域であってもよい。

【0089】

初期合焦領域として想定される領域は、眼臓器表面の領域や術具の領域である。

【0090】

一例として、白内障手術（前眼部手術）であれば強膜上の血管や虹彩の領域などを初期合焦領域とすることが考えられ、網膜硝子体手術（眼底手術）であれば網膜上の血管構造の領域などを初期合焦領域とすることが考えられる。

【0091】

さらには、ナイフや拙子などの処置を行う術具上の領域もコントラストが高く、抽出条件を満足することができるので、それらの術具の一部または全部を含む領域を初期合焦領域とすることが考えられる。

【0092】

具体的には、例えば図２や図３、図４に示される領域を初期合焦領域とすることができる。なお、図２乃至図４において互いに対応する部分には同一の符号を付してあり、その説明は適宜省略する。

【0093】

図２に示す例では、正面画像FP11の中央に角膜P11や虹彩、網膜などが被写体として含まれており、円形状の角膜P11の外側の領域が強膜P12となっている。この強膜P12の領域には血管が被写体として含まれており、血管部分はコントラストが高く、高精度に焦点位置調整を行うことが可能である。また、強膜P12の領域のうちの角膜P11と隣接する部分は、断層画像上において深さ方向の大よその位置が特定可能である。

【0094】

そこで、この例では、強膜P12の領域のうちの角膜P11と隣接する円環状の領域R11が初期合焦領域とされている。なお、上述したように初期合焦領域は、予め定められた領域でもよいし、ユーザにより指定された領域でもよいし、コントラストAF処理部５１により抽出された領域でもよい。

【0095】

例えば初期合焦領域がユーザにより指定された領域とされる場合、図２の例では、画像表示制御部４１が少なくとも正面画像FP11を含む表示用正面画像を表示部２３に表示させる。

【0096】

すると、ユーザは入力部４３を操作して、表示用正面画像、すなわち正面画像FP11における領域R11を初期合焦領域として指定する。この場合、入力部４３はユーザにより指定された領域R11を示す情報を生成してコントラストAF処理部５１に供給し、コントラストAF処理部５１は、入力部４３から供給された情報に基づいて、正面画像FP11から領域R11を初期合焦領域として抽出する。

【0097】

また、コントラストAF処理部５１が画像処理により初期合焦領域を抽出する場合には、例えばコントラストAF処理部５１は正面画像FP11に対して画像認識処理を行い、角膜P11の領域を検出する。そして、コントラストAF処理部５１は、正面画像FP11における角膜P11を囲む領域R11を初期合焦領域として抽出する。このとき、例えば初期合焦領域とされる領域の範囲は、角膜P11の外側の領域に対するコントラスト評価やエッジ検出の結果に基づいて、抽出条件が満たされるように決定される。

【0098】

また、図３に示す例では、正面画像FP21の中央には網膜P21が被写体として含まれており、その網膜P21の部分には血管がある。この例では、網膜P21部分の領域のうち、大きな血管が含まれる矩形の領域R21が初期合焦領域とされている。

【0099】

血管を含む領域はコントラストが高く、高精度に焦点位置調整を行うことができ、また網膜P21部分は、断層画像上において深さ方向の大よその位置が特定可能である。

【0100】

さらに、図４に示す例では、正面画像FP31の中央には網膜P21が被写体として含まれており、その網膜P21の手前側には眼房内に挿入された術具P31が被写体として含まれている。この例では術具P31の一部分、具体的には術具P31の先端部分を含む矩形の領域R31が初期合焦領域とされている。

【0101】

術具P31を含む領域はコントラストが高く、高精度に焦点位置調整を行うことができ、また術具P31の先端部分は、断層画像上において深さ方向の大よその位置が特定可能である。

【0102】

以上のようにして正面画像から初期合焦領域が抽出されてコントラストAF処理が行われ、初期合焦位置d_initを示す初期焦点位置情報が得られると、その後、オフセット値算出部５２ではオフセット値d_offsetが算出される。

【0103】

オフセット値算出部５２により算出されるオフセット値d_offsetは、顕微鏡対物レンズ（観察光学系）の光軸方向における、初期合焦位置d_initから目標焦点位置までの距離を示す情報である。

【0104】

オフセット値d_offsetの算出時には、初期合焦位置d_initを示す初期焦点位置情報、および目標焦点位置を示す入力情報と、眼球の構造情報および検査情報のうちの少なくとも何れか一方とが用いられる。

【0105】

オフセット値算出部５２は、オフセット値d_offsetを算出すると、得られたオフセット値d_offsetにより初期合焦位置d_initを補正し、最終的に移動先の目標とすべきカメラ焦点位置である合焦位置d_focussを求め、その合焦位置d_focussを示す最終焦点位置情報をカメラ制御部３２に供給する。

【0106】

ここで、合焦位置d_focussは、正面画像において目標焦点位置にある眼臓器に合焦するときのカメラ焦点位置であり、以下の式（１）を計算することで得ることができる。

【0107】

【数1】

【0108】

カメラ制御部３２は、カメラ画像取得部３１を制御して、カメラ焦点位置が最終焦点位置情報により示される合焦位置d_focussとなるように顕微鏡対物レンズを移動させることで、正面画像において、ユーザにより目標焦点位置として指定された眼臓器に合焦させることができる。

【0109】

このように手術顕微鏡システム１１では、一旦、容易に合焦可能な被写体へと合焦させた後、その被写体と目標焦点位置とのオフセット値d_offsetが求められ、オフセット値d_offsetから最終的な合焦位置d_focussが算出される。

【0110】

このようにすることで、被写体である眼のピントを合わせたい部位（臓器）が透明体である場合でも、眼の任意の部位を所望する目標焦点位置として、高速かつ高精度に目標焦点位置へと焦点を合わせることができる。本技術による手法は、眼の内側、すなわち角膜内皮よりも内側に位置する眼臓器（臓器）を目標焦点位置とする場合に特に有用である。ここでいう角膜内皮よりも内側にある眼臓器とは、眼球内における角膜内皮よりも網膜側にある臓器である。

【0111】

なお、手術顕微鏡システム１１では、コントラストAF処理が行われた後、その結果得られた初期合焦位置d_initが用いられて合焦位置d_focussが算出され、その合焦位置d_focussへとカメラ焦点位置が移動される。より詳細には、これらのコントラストAF処理を含む、合焦位置d_focussへとカメラ焦点位置を移動させる一連の焦点調整処理が、手術顕微鏡システム１１で行われるAF処理となる。

【0112】

ここで、オフセット値d_offsetの算出の具体例について説明する。

【0113】

まず、図５を参照して初期合焦位置d_init、オフセット値d_offset、および合焦位置d_focussの関係について説明する。

【0114】

図５に示す例では、観察対象の被写体である患者の眼EY11の断面と、カメラ画像取得部３１を構成する顕微鏡対物レンズ９１とが図示されている。なお、図中、縦方向は顕微鏡対物レンズ９１の光軸方向、すなわち深さ方向となっている。

【0115】

例えば図５では、矢印A11により示される部分が眼EY11の角膜となっており、特に矢印A12により示される角膜の内側部分が角膜内皮となっている。

【0116】

また、眼EY11の角膜の内側部分、すなわち矢印A13により示される部分が眼房であり、その直下にある矢印A14により示される部分が水晶体である。さらに、水晶体の前面の膜の一部を覆うように設けられた矢印A15により示される部分が虹彩となっており、その虹彩の中央の矢印A16により示される孔部分が瞳孔となっている。

【0117】

また、眼EY11の角膜外側の周囲にある、矢印A17により示される部分が強膜となっており、眼球内側の水晶体近傍にある矢印A18により示される部分が毛様体筋となっており、その毛様体筋と水晶体とを接続する矢印A19により示される部分が毛様体小帯となっている。さらに矢印A20により示される眼球内側の部分が網膜となっている。

【0118】

いま、眼EY11における透明体である水晶体の前面の膜の部分、すなわち矢印A14により示される水晶体の図中、上側の前嚢と呼ばれる表面部分が目標焦点位置として指定されたとする。

【0119】

また、例えば眼EY11の透明体ではない強膜部分における角膜近傍の領域が初期合焦領域とされて、その強膜上の血管の位置、すなわち矢印Q11により示される位置が初期合焦位置d_initとして検出されたとする。

【0120】

ここで、初期合焦位置d_initは、例えば所定の位置を基準とする、検出された強膜上の血管の位置である。換言すれば、初期合焦位置d_initは、顕微鏡対物レンズ９１の光軸方向（以下、Ｚ方向とも称する）における所定の基準となる位置から、検出された強膜上の血管の位置までの距離である。なお、図５では所定の基準となる位置は点線が描かれている位置とされている。

【0121】

この場合、初期合焦位置d_initから、目標焦点位置である水晶体前面の膜（前嚢）までの距離、すなわち矢印Q12により示される距離を示す値がオフセット値d_offsetとされる。図５の例ではオフセット値d_offsetは負の値となる。

【0122】

そして、このようにして得られた初期合焦位置d_initとオフセット値d_offsetとから式（１）により求まる位置が最終的な合焦位置d_focussとされる。ここでは、合焦位置d_focussは矢印Q13により示される位置となり、この合焦位置d_focussがユーザにより指定された目標焦点位置となるはずである。

【0123】

このようにオフセット値d_offsetは、目標焦点位置と初期合焦位置d_initとの間のＺ方向の距離であり、このオフセット値d_offsetはヒトの眼球の解剖情報、すなわち眼球の構造に関する情報により求まる。

【0124】

オフセット値d_offsetの算出に用いられる眼球の構造に関する情報は、例えば構造情報データベース保持部２５に保持されている構造情報や、外部診断装置２６で得られる検査情報である。

【0125】

例えば検査情報としての断層画像には各眼臓器が被写体として含まれている。したがって、断層画像に対して適宜、画像認識処理等を行えば、断層画像における各眼臓器の位置関係を特定することができるので、眼球の構造情報だけでなく断層画像も眼球の構造に関する情報であるということができる。同様に、検査情報としての眼の眼軸長などの計測結果を示す情報も眼の構造を示す情報であり、このような計測結果等からも各眼臓器の位置関係を特定することが可能であるから、計測結果等の検査情報も眼球の構造に関する情報であるということができる。

【0126】

具体的な例として、例えば構造情報データベース保持部２５に保持されている、ヒトの眼球の統計的な解剖情報、つまり統計的な眼球構造を示す構造情報が用いられる場合について説明する。

【0127】

例えば、眼球の所定の基準となる位置から眼の各臓器までの距離を示す情報が眼球の構造を示す構造情報として構造情報データベース保持部２５に保持されているとする。

【0128】

なお、ここでは眼球の所定の基準となる位置は、角膜表面の頂点位置、つまり角膜頂点の位置であるものとする。したがって、例えば角膜頂点から強膜上の血管の位置までの物理的な距離Xmm、角膜頂点から前嚢（水晶体前面の膜）までの物理的な距離Ymmなどといった、角膜頂点から各臓器までの距離を示す情報、すなわち各臓器の深さ位置情報が構造情報となっている。

【0129】

このような眼球の構造情報を参照すれば、オフセット値d_offsetを算出することが可能である。ここでは構造情報により示される各臓器の深さ方向（Ｚ方向）の位置と、カメラ焦点位置との対応関係は、顕微鏡対物レンズ９１の光学倍率等から既知であるものとする。

【0130】

例えば図５に示した例では、オフセット値算出部５２は、初期合焦位置d_initと構造情報とに基づいて、角膜頂点から、初期合焦位置d_initにより示される位置、すなわち強膜上の血管の位置までの距離Xmmを特定する。

【0131】

なお、初期合焦領域内の眼の臓器（部位）、すなわち初期合焦位置d_initにある眼の臓器が特定されている場合には、初期合焦位置d_initを用いなくても、構造情報のみに基づいて角膜頂点からその初期合焦領域内の臓器までの距離を得ることができる。

【0132】

また、オフセット値算出部５２は構造情報を参照することで、角膜頂点から、入力情報により示される目標焦点位置である前嚢（水晶体前面の膜）までの距離Ymmを特定する。そして、オフセット値算出部５２は、距離Xmmと距離Ymmの差（Y-X）を求め、求めた差（Y-X）をオフセット値d_offsetとする。

【0133】

さらに、ここでは構造情報データベース保持部２５に保持されている構造情報を用いてオフセット値d_offsetを得る例について説明したが、検査情報としての断層画像を用いても同様にしてオフセット値d_offsetを得ることができる。

【0134】

そのような場合、例えばオフセット値算出部５２は、検査情報としての断層画像に対する画像認識処理を行って、断層画像上から目標焦点位置として指定された眼の臓器の領域を検出する。また、オフセット値算出部５２は、必要に応じて既知である顕微鏡対物レンズ９１の光学倍率等の情報を用いて、断層画像上における初期合焦位置d_initに対応する位置を特定する。

【0135】

この場合においても、初期合焦領域内の眼の臓器（部位）が特定されている場合には、初期合焦位置d_initを用いなくても、画像認識処理の結果から、断層画像上における初期合焦位置d_initに対応する位置、つまり初期合焦領域に含まれる臓器の断層画像上の位置を推定することが可能である。

【0136】

オフセット値算出部５２は、断層画像上における初期合焦位置d_initに対応する位置から、目標焦点位置として指定された眼の臓器の位置までの距離を求め、求めた距離からオフセット値d_offsetを算出する。

【0137】

特に、術中に得られた断層画像をオフセット値d_offsetの算出に用いる場合には、手術により生じる眼内レンズの挿入等の患者の眼の構造変化にも対応することが可能である。

【0138】

さらに、初期合焦位置d_initが術具の位置である場合にも、初期合焦位置d_initに対応する部位が眼の臓器である場合と同様にしてオフセット値d_offsetを得ることができる。特に、初期合焦位置d_initが術具の位置である場合、その術具の種類や、どのような処置（手技）を行っているかを示すコンテキスト情報を用いてオフセット値d_offsetを求めることが可能である。

【0139】

例えば術具の種類やコンテキスト情報は、ユーザが入力部４３を操作して入力し、オフセット値算出部５２がその入力操作に応じた入力情報を取得することで得るようにしてもよい。また、オフセット値算出部５２が検査情報として供給された断層画像や正面画像に対して画像認識処理を行うことで、術具の種類やコンテキスト情報を得るようにしてもよい。

【0140】

具体的には、例えば術具として水晶体吸引機器が用いられており、その水晶体吸引機器の針先部分が初期合焦領域に含まれているものとする。この場合、オフセット値算出部５２は、術中に得られた断層画像に対する画像認識処理を行うことで、術具としての水晶体吸引機器の針先を特定し、その特定結果として得られた断層画像上における水晶体吸引機器の針先の位置を、初期合焦位置d_initに対応する位置とする。なお、初期合焦位置d_initに対応する位置の特定にあたっては、初期合焦位置d_initも用いられるようにしてもよい。

【0141】

その他、コントラストAF処理部５１においても正面画像や断層画像に対する画像認識処理の結果として得られる術具の種類や術具の位置、入力情報から得られるコンテキスト情報などが利用されて初期合焦領域が抽出されるようにしてもよい。

【0142】

ところで、例えば構造情報データベース保持部２５に保持されている構造情報等を用いてオフセット値d_offsetを求める場合、眼球の解剖（構造）には個人差があるため、必ずしも全ての患者について正確なオフセット値d_offsetを得ることができないことがある。

【0143】

そこで、例えば外部診断装置２６で得られる、患者固有の情報を用いてオフセット値d_offsetを補正することで、より正確なオフセット値が得られるようにしてもよい。

【0144】

具体的な例として、例えば検査情報として用いられる患者固有の情報としては、患者の特徴を示す患者個人情報や、患者の眼球の形状を示す患者眼球形状情報、患者の眼の断層画像などが考えられる。

【0145】

ここで、患者個人情報は、例えば患者の年齢や性別、体格、人種などの情報であり、患者眼球形状情報は、手術前の検査で得られた患者の眼の眼軸長や前房深度などの眼球形状を示す数値情報などである。なお、眼軸長はＺ方向における角膜頂点から網膜までの距離であり、前房深度は角膜内皮から前嚢までの距離である。

【0146】

また、患者固有の情報としての断層画像は、例えば患者の眼の手術前、または手術中に外部診断装置２６としてのOCT装置やシャインプルークカメラで取得（計測）された断層画像などとすることができる。

【0147】

この場合、例えば所定の変数ａおよび変数ｂを、患者固有の情報に依存する値であるとすると、補正後のオフセット値d’_offsetは、次式（２）で表すことができる。

【0148】

【数2】

【0149】

例えばオフセット値算出部５２は、外部診断装置２６から患者固有の情報として供給された検査情報、すなわち上述した患者個人情報や患者眼球形状情報、断層画像に基づいて、患者個人についての変数ａおよび変数ｂを算出する。

【0150】

そして、オフセット値算出部５２は、算出した変数ａおよび変数ｂと、オフセット値d_offsetとに基づいて上述した式（２）を計算することで、補正後のオフセット値d’_offsetを算出する。また、オフセット値算出部５２は、得られたオフセット値d’_offsetと初期合焦位置d_initとに基づいて式（１）と同様の計算を行い、最終的な合焦位置d_focussを算出する。

【0151】

なお、手術中の処置の結果などにより患者の眼球構造が変化するので、その変化に対応するために、オフセット値d_offsetの補正に用いる変数ａおよび変数ｂを適切なタイミングで再計算したり更新したりするようにしてもよい。

【0152】

さらに手術顕微鏡システム１１では、合焦位置d_focussへとカメラ焦点位置が移動され、目標焦点位置にピントが合うようになされると、表示部２３において合焦位置表示画像が表示される。

【0153】

例えば正面画像において前嚢などの透明体上に合焦している状態では、術者であるユーザは表示用正面画像を見ても、その正面画像からは合焦位置を把握することは困難である。そこで、手術顕微鏡システム１１では、現時点における合焦位置を示す合焦位置表示画像を表示することで、ユーザが直感的に合焦位置を把握することができるようにした。

【0154】

上述したように合焦位置表示画像は、外部診断装置２６で得られた実際の患者の断層画像上にカメラ焦点位置を示す情報が重畳された画像であってもよいし、一般的な眼球の断層図（解剖図）上にカメラ焦点位置を示す情報が重畳された画像であってもよい。

【0155】

なお、合焦位置表示画像の生成に用いられる断層画像は、患者の眼の手術の前、つまり術前に外部診断装置２６で得られたものであってもよいし、術中に外部診断装置２６で得られたものであってもよい。

【0156】

また、合焦位置表示画像の具体的な例としては、例えば図６や図７、図８に示すものなどが考えられる。なお、図６乃至図８において、互いに対応する部分には同一の符号を付してあり、その説明は適宜省略する。

【0157】

図６に示す例では、合焦位置表示画像FPP11は、一般的な眼球の断層図上に現時点におけるカメラ焦点位置、すなわち合焦位置d_focussを示す直線L11乃至直線L13が表示された画像となっている。特に合焦位置表示画像FPP11では、図中、縦方向がＺ方向となっている。

【0158】

図６では、眼球の断層図として、眼球の断面の図である眼EY21が表示されており、その眼EY21における合焦位置d_focussに対応する位置に直線L11が描かれている。また、直線L11を中心とする所定の幅の領域の端部分の位置に、点線の直線L12および直線L13が描かれている。すなわち、直線L11は直線L12と直線L13の中間に位置している。

【0159】

特に、ここでは直線L11の位置が合焦位置d_focussに対応する位置であり、ユーザは直線L11を見ることで、正面画像では、その直線L11がある部位の位置にピントが合っていることを直感的に把握することができる。

【0160】

また、直線L11から直線L12までの間の領域と、直線L11から直線L13までの間の領域は、大よそピントが合っている領域となっている。そのため、ユーザは直線L12や直線L13を見ることで、正面画像においてどの深さまでピントが合っているかを直感的に把握することができる。

【0161】

合焦位置表示画像FPP11では、合焦位置d_focussが変化すると、その変化に応じて直線L11乃至直線L13も図中、縦方向に移動する。このような合焦位置表示画像FPP11を表示用正面画像と並べて同時に表示させれば、容易に合焦位置d_focussを把握することができ、手術顕微鏡システム１１の使い勝手を向上させることができる。

【0162】

なお、直線L12から直線L13までの間の領域に、帯状で所定色の半透明のカラー画像が重畳表示され、そのカラー画像の各領域の色の表示濃度が合焦度合いに応じた濃度とされるようにしてもよい。

【0163】

例えば合焦度合いが高い領域ほど、その領域が濃く表示されるとすると、カラー画像では直線L11近傍の領域が濃い濃度で表示され、直線L12や直線L13に近づくほど、つまり直線L11から遠い領域ほど薄い濃度で表示されることになる。

【0164】

また、図７に示す例では、合焦位置表示画像FPP21は、実際の患者の眼の断層画像上に現時点におけるカメラ焦点位置、すなわち合焦位置d_focussを示す直線L11乃至直線L13が表示された画像となっている。特に合焦位置表示画像FPP21では、図中、縦方向がＺ方向となっている。

【0165】

さらに、図８に示す例では、合焦位置表示画像FPP31は、実際の患者の眼の断層画像上に現時点におけるカメラ焦点位置、すなわち合焦位置d_focussを示す矢印L31が表示された画像となっている。

【0166】

特に合焦位置表示画像FPP31では、図中、縦方向がＺ方向となっており、矢印L31の位置が合焦位置d_focussに対応する位置となっている。また、合焦位置表示画像FPP31では、合焦位置d_focussが変化すると、その変化に応じて矢印L31も図中、縦方向に移動する。したがって、ユーザは矢印L31を見ることで、正面画像では、その矢印L31がある部位の位置にピントが合っていることを直感的に把握することができる。

【0167】

なお、例えば図６や図７、図８に示した合焦位置表示画像に対するタッチ操作等により目標焦点位置の入力が行われる場合には、ユーザは表示部２３に表示された合焦位置表示画像の所望の位置をタッチ操作等により指定することで入力を行う。

【0168】

例えば図６の例では、ユーザは合焦位置表示画像FPP11上における前嚢の部分を入力部４３に対するタッチ操作により指定すると、その指定された前嚢部分が目標焦点位置として入力されることになる。

【0169】

〈観察処理の説明〉
次に、手術顕微鏡システム１１全体の動作について説明する。すなわち、以下、図９のフローチャートを参照して、手術顕微鏡システム１１による観察処理について説明する。この観察処理は、術者等であるユーザにより入力部４３が操作され、目標焦点位置の入力が行われると開始される。

【0170】

ステップＳ１１において、入力部４３は、ユーザによる入力部４３に対する操作に応じて、ユーザにより入力された目標焦点位置を示す情報を取得し、その目標焦点位置を示す入力情報を生成してオフセット値算出部５２に供給する。

【0171】

例えば目標焦点位置の入力は、表示部２３に表示された臓器リストに対する選択操作により行われるようにしてもよいし、合焦位置表示画像上の所望の臓器（部位）の位置を指定することにより行われるようにしてもよい。

【0172】

ステップＳ１２において、カメラ画像取得部３１は観察対象の眼の正面画像を取得し、得られた正面画像をコントラストAF処理部５１および画像表示制御部４１に供給する。

【0173】

具体的には、カメラ画像取得部３１のイメージセンサは、観察光学系を介して眼から入射した観察光を受光して光電変換することで正面画像を撮像する。また、カメラ画像取得部３１の画像処理ユニットは、イメージセンサで得られた正面画像に対して、ホワイトバランス調整等の各種の画像処理を施し、最終的な正面画像とする。

【0174】

画像表示制御部４１は、カメラ画像取得部３１から供給された正面画像に基づいて表示用正面画像を生成するとともに表示用正面画像を表示部２３に供給し、表示させる。

【0175】

ステップＳ１３において、コントラストAF処理部５１は、カメラ画像取得部３１から供給された正面画像から初期合焦領域を抽出する。

【0176】

例えばコントラストAF処理部５１は、正面画像における予め定められた領域を初期合焦領域として抽出してもよいし、正面画像におけるユーザにより指定された領域を初期合焦領域として抽出してもよい。さらに、コントラストAF処理部５１は、正面画像に対する画像認識等の画像処理を行うことで、正面画像における抽出条件を満たす領域を初期合焦領域として抽出してもよい。

【0177】

なお、一度、初期合焦領域が決定されると、その後、コントラストAF処理が行われている間、すなわちステップＳ１２乃至ステップＳ１６の処理が繰り返し行われている間は、処理対象となる各正面画像における同じ位置関係の領域が継続して初期合焦領域とされる。

【0178】

ステップＳ１４において、コントラストAF処理部５１は、ステップＳ１３の処理で正面画像から抽出した初期合焦領域を対象としてコントラスト評価値を算出する。

【0179】

また、コントラストAF処理部５１は、これまでに行われたステップＳ１４の処理で得られた、各カメラ焦点位置でのコントラスト評価値に基づいて、コントラスト評価値のピーク値を検出する。

【0180】

コントラスト評価値は初期合焦領域のコントラストが高いほど大きくなるので、ピーク値となるコントラスト評価値が得られたときのカメラ焦点位置が初期合焦位置d_initとなる。

【0181】

ステップＳ１５において、コントラストAF処理部５１は、コントラスト評価値のピーク値が検出されたか否かを判定する。

【0182】

ステップＳ１５においてコントラスト評価値のピーク値が検出されなかった、つまり初期合焦位置d_initが検出されなかったと判定された場合、その後、処理はステップＳ１６へと進む。この場合、コントラストAF処理部５１は、これまでに得られたコントラスト評価値に基づいて、適切な移動先となるカメラ焦点位置を示す焦点位置情報を生成し、カメラ制御部３２に供給する。

【0183】

ステップＳ１６において、カメラ制御部３２は、コントラストAF処理部５１から供給された焦点位置情報に基づいてカメラ画像取得部３１を制御し、カメラ焦点位置の調整を行う。すなわち、カメラ制御部３２はカメラ画像取得部３１を制御して、顕微鏡対物レンズ９１のカメラ焦点位置が、コントラストAF処理部５１からの焦点位置情報により示されるカメラ焦点位置となるように、顕微鏡対物レンズ９１を光軸方向に移動させる。

【0184】

カメラ焦点位置の調整が行われると、その後、処理はステップＳ１２に戻り、ピーク値が検出されるまで上述した処理が繰り返し行われる。

【0185】

これに対して、ステップＳ１５においてコントラスト評価値のピーク値が検出されたと判定された場合、その後、処理はステップＳ１７へと進む。

【0186】

この場合、コントラストAF処理部５１は、検出されたピーク値となるコントラスト評価値が得られたときのカメラ焦点位置を初期合焦位置d_initとして、その初期合焦位置d_initを示す初期焦点位置情報をオフセット値算出部５２へと供給する。

【0187】

ステップＳ１７において、オフセット値算出部５２は構造情報および検査情報を取得する。すなわち、オフセット値算出部５２は、構造情報データベース保持部２５から眼球の構造情報を取得するとともに、外部診断装置２６から検査情報を取得する。

【0188】

ステップＳ１８において、オフセット値算出部５２は、ステップＳ１１で入力部４３から供給された目標焦点位置を示す入力情報、およびコントラストAF処理部５１から供給された初期焦点位置情報に基づいてオフセット値d_offsetを算出する。このとき、オフセット値算出部５２は、ステップＳ１７で取得した構造情報および検査情報のうちの少なくとも何れか一方の情報も用いてオフセット値d_offsetを算出する。また、初期焦点位置情報は、必ずしもオフセット値d_offsetの算出に用いられなくてもよい。

【0189】

例えばオフセット値算出部５２は、上述したように眼球の構造を示す構造情報や、検査情報としての断層画像を用いて、必要に応じて画像認識等の画像処理を行い、オフセット値d_offsetを算出する。なお、オフセット値算出部５２が、上述した式（２）の計算を行うことで、オフセット値d_offsetを補正するようにしてもよい。

【0190】

ステップＳ１９において、オフセット値算出部５２は、ステップＳ１８で得られたオフセット値d_offset、および初期焦点位置情報により示される初期合焦位置d_initに基づいて、上述した式（１）を計算することで合焦位置d_focussを算出する。

【0191】

オフセット値算出部５２は、このようにして得られた合焦位置d_focussを示す最終焦点位置情報を生成し、カメラ制御部３２に供給する。

【0192】

ステップＳ２０において、カメラ制御部３２は、オフセット値算出部５２から供給された最終焦点位置情報に基づいてカメラ画像取得部３１を制御し、カメラ焦点位置の調整を行う。すなわち、カメラ制御部３２はカメラ画像取得部３１を制御して、顕微鏡対物レンズ９１のカメラ焦点位置が、最終焦点位置情報により示される合焦位置d_focussとなるように顕微鏡対物レンズ９１を光軸方向に移動させる。

【0193】

これにより、顕微鏡対物レンズ９１のカメラ焦点位置が、ステップＳ１１で入力された目標焦点位置にある状態、つまり目標焦点位置として指定された眼の臓器の位置にピントが合った状態となる。

【0194】

また、カメラ制御部３２は、合焦位置d_focussを示すカメラ焦点位置情報を合焦位置表示制御部４２に供給する。すると、合焦位置表示制御部４２は、カメラ制御部３２から供給されたカメラ焦点位置情報と、外部診断装置２６からの検査情報としての断層画像または予め保持している眼球の断層図とに基づいて合焦位置表示画像を生成する。

【0195】

ステップＳ２１において、合焦位置表示制御部４２は、生成した合焦位置表示画像を表示部２３に供給し、合焦位置表示画像を表示部２３に表示させる。これにより、例えば図６や図７、図８に示した合焦位置表示画像が表示される。なお、合焦位置表示画像は、目標焦点位置に合焦したタイミングに限らず、正面画像の取得が開始された後、継続して表示され、カメラ焦点位置が変化するたびに更新されるようにしてもよい。

【0196】

合焦位置表示画像が表示されると、その後、観察処理は終了する。

【0197】

以上のようにして手術顕微鏡システム１１は、コントラストAF処理により眼の所定の臓器等の位置に合焦させておき、その後、目標焦点位置とのオフセット値d_offsetを求めて、最終的な合焦位置d_focussを算出する。このようにすることで、目標焦点位置が透明体である場合であっても、その目標焦点位置に高速に合焦させることができる。すなわち、被写体の所望の位置に合焦させることができる。

【0198】

〈第２の実施の形態〉
〈手術顕微鏡システムの構成例〉
ところで、手術顕微鏡システム１１では、AF処理、つまりカメラ焦点位置の調整を行う度に初期合焦領域内のコントラストが高い領域に合焦させる必要があるため、AF処理中に継続して目標焦点位置にある透明体への合焦状態を維持することはできない。すなわち、合焦状態の術野映像の提供が一時的に中断されることになる。

【0199】

したがって、例えば手術顕微鏡システム１１において、逐次AF処理を行って、継続的に目標焦点位置へと合焦させるコンティニュアスAF処理のように、頻繁にAF処理が行われる場合には、初期合焦領域内のコントラストが高い領域に合焦した後、目標焦点位置へと合焦する動作が繰り返し行われることになる。つまり、初期合焦領域内の部位に焦点が合っている状態と、目標焦点位置に焦点が合っている状態とが交互に繰り返されるので、目標焦点位置に合焦している状態の術野を継続して提供することが困難である。

【0200】

そこで、手術顕微鏡システムにおいて、正面画像を取得するためのカメラユニットとは別に、カメラ焦点位置の調整、つまりAF処理用のカメラユニットを設けることで、目標焦点位置に合焦した映像（正面画像）を提示しながら継続的に焦点位置を追従できるようにしてもよい。すなわち、眼の観察用のカメラユニットと、AF処理用のカメラユニットとを分離することで、頻繁にAF処理が行われる場合においても継続して目標焦点位置に合焦した正面画像が提供できるようにしてもよい。

【0201】

そのような場合、本技術を適用した手術顕微鏡システムは、例えば図１０に示すように構成される。なお、図１０において図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

【0202】

図１０に示す手術顕微鏡システム２０１は、カメラユニット２１、ユーザI/O２２、表示部２３、AF用カメラユニット２１１、構造情報データベース保持部２５、外部診断装置２６、およびオフセット値算出部５２を有している。

【0203】

また、カメラユニット２１は、カメラ画像取得部３１およびカメラ制御部３２を有しており、これらのカメラ画像取得部３１およびカメラ制御部３２は、図１における場合と同様の動作を行う。

【0204】

さらに、手術顕微鏡システム２０１のユーザI/O２２は、画像表示制御部４１、合焦位置表示制御部４２、および入力部４３を有しており、これらの画像表示制御部４１乃至入力部４３は図１における場合と同様の動作を行う。

【0205】

このような手術顕微鏡システム２０１の構成は、図１に示した手術顕微鏡システム１１のコントラストAF処理部５１に代えてAF用カメラユニット２１１を設けた構成となっている。

【0206】

このAF用カメラユニット２１１は、カメラ画像取得部３１による観察対象の眼の観察時、つまり正面画像の取得時に正面画像において目標焦点位置へと合焦させるAF処理のためのユニットである。AF用カメラユニット２１１は、AF用画像取得部２２１、AF用カメラ制御部２２２、およびAF処理部２２３を有している。

【0207】

AF用画像取得部２２１は、例えば正面画像の被写体となる患者の眼を被写体としてAF処理用の画像であるAF用カメラ画像を撮像し、AF処理部２２３に供給する。このAF用カメラ画像は、正面画像の取得時に撮像される。

【0208】

例えばAF用画像取得部２２１は、AF用カメラ画像を撮像するAF用イメージセンサや、被写体となる眼からの光をAF用イメージセンサへと導くAF用観察光学系を有している。

【0209】

また、例えばAF用観察光学系における観察対象の眼側の端には、AF用カメラ画像撮像時におけるAF用観察光学系の焦点位置を調整するためのAF用対物レンズが設けられている。以下では、AF用観察光学系の焦点位置、すなわちAF用対物レンズの焦点位置を特にAF用カメラ焦点位置とも称することとする。また、AF用対物レンズの光軸方向はＺ方向であるものとする。

【0210】

なお、AF用観察光学系の一部は、カメラ画像取得部３１の観察光学系と共有されるようにしてもよい。そのような場合、AF用観察光学系に顕微鏡対物レンズ９１が含まれるときには、AF用対物レンズに代えてAF用観察光学系上に観察光学系と非共通のAF用フォーカスレンズを設け、そのAF用フォーカスレンズによりAF用カメラ焦点位置の調整を行えばよい。例えば、正面画像が可視光の画像であり、AF用カメラ画像が赤外光である場合には、正面画像を得るための照明光のＺ方向の照射位置に影響を与えることなく、AF用フォーカスレンズによりAF用カメラ焦点位置の調整が可能である。

【0211】

AF用カメラ制御部２２２は、AF処理部２２３から供給された、目標とするAF用カメラ焦点位置を示すAF焦点位置情報に基づいてAF用画像取得部２２１を制御し、AF用画像取得部２２１のAF用対物レンズを移動させることで焦点位置の調整を行う。

【0212】

AF処理部２２３は、AF用画像取得部２２１から供給されたAF用カメラ画像に基づいてAF処理を行うことにより初期合焦位置d_initを算出し、その初期合焦位置d_initを示す初期焦点位置情報をオフセット値算出部５２に供給する。

【0213】

また、AF処理部２２３は、AF処理時において逐次、目標とすべき適切なAF用カメラ焦点位置を算出し、そのAF用カメラ焦点位置を示すAF焦点位置情報をAF用カメラ制御部２２２に供給する。

【0214】

例えばAF処理部２２３は、AF処理としてコントラストAF処理や位相差AF処理を行うが、これに限らず他のどのような処理が行われるようにしてもよい。なお、以下では、AF処理部２２３において、AF処理としてコントラストAF処理が行われるものとして説明を続ける。

【0215】

この場合、AF処理部２２３は、AF用カメラ画像から初期合焦領域を抽出する。ここで、初期合焦領域は、上述した第１の実施の形態における場合と同様に、AF用カメラ画像における抽出条件を満たす領域とされる。

【0216】

また、AF用カメラ画像の初期合焦領域も予め定められた領域であってもよいし、ユーザにより指定された領域であってもよいし、AF処理部２２３により画像処理が行われて抽出された領域であってもよい。

【0217】

AF処理部２２３は、初期合焦領域を抽出すると、その初期合焦領域のみを対象としてコントラストAF処理を行い、初期合焦位置d_initを算出する。

【0218】

AF処理部２２３によるコントラストAF処理では、各AF用カメラ焦点位置で得られたAF用カメラ画像について、初期合焦領域が対象とされてコントラスト評価値が算出され、コントラスト評価値が最も高くなるAF用カメラ焦点位置が検出される。コントラストAF処理により検出されたAF用カメラ焦点位置は、初期合焦領域に含まれる眼の臓器等の領域に焦点が合う状態となるAF用カメラ焦点位置である。

【0219】

AF処理部２２３は、コントラストAF処理により検出したAF用カメラ焦点位置に対応する顕微鏡対物レンズ９１のカメラ焦点位置を初期合焦位置d_initとする。このようなAF処理部２２３は、上述のコントラストAF処理部５１に対応し、コントラストAF処理により初期合焦位置d_initを検出する初期合焦位置検出部として機能するということができる。

【0220】

なお、AF用対物レンズの焦点距離と、顕微鏡対物レンズ９１の焦点距離の関係は、例えば事前の校正などにより既知であり、AF用対物レンズと顕微鏡対物レンズ９１の一方の焦点位置を他方の焦点位置に変換することが可能であるものとする。

【0221】

また、AF用カメラユニット２１１とカメラユニット２１は、それぞれ独立した可視光のカメラユニットであってもよいし、AF用カメラユニット２１１は、より高精度にAF処理を行うために、赤外線カメラなど、特定波長に感度を有するものとされてもよい。

【0222】

さらに、AF用カメラユニット２１１とカメラユニット２１は、個別の２台のカメラシステムとされてもよいし、カメラ画像取得部３１のイメージセンサと、AF用イメージセンサとからなる、２つのイメージセンサを有するカメラである二板カメラによりAF用カメラユニット２１１およびカメラユニット２１が構成されるようにしてもよい。

【0223】

また、手術顕微鏡システム２０１では、例えばカメラ制御部３２、ユーザI/O２２、オフセット値算出部５２、およびAF用カメラユニット２１１からなる構成が、正面画像を取得するビデオ手術顕微鏡のフォーカス制御を行ったり、表示部２３への画像の表示を制御したりする制御装置として機能する。

【0224】

その他、例えば手術顕微鏡システム２０１では、初期合焦領域に応じて、初期合焦位置d_initを更新する時間間隔（頻度）である時間間隔パラメータや、一度にAF用カメラ焦点位置を移動させる移動量（距離）の最大値である調整速度パラメータなどの焦点調整に関するパラメータを動的に変更するようにしてもよい。そうすることで、より高速かつ効率的な焦点位置調整を実現することができる。

【0225】

ここで、時間間隔パラメータは、AF用カメラユニット２１１において、初期合焦位置d_initを再計算（更新）する時間間隔である。

【0226】

また、調整速度パラメータは、コントラストAF処理時において、一回のコントラスト評価、つまりコントラスト評価値の算出を行ったときに、その評価結果に応じて更新されるAF用カメラ焦点位置の調整量（変化量）としてとり得る値の最大値である。

【0227】

この最大値によって一度にAF用カメラ焦点位置を移動させる距離が制限されるので、結果としてAF用カメラ焦点位置を調整するときの調整速度、つまりAF用カメラ焦点位置の移動速度が制限されることになる。

【0228】

例えばAF用カメラ画像上の初期合焦領域として、眼の強膜上の血管を被写体として含む領域が抽出されたとする。この場合、強膜上の血管構造の位置は大きく上下に、つまりＺ方向に運動しないと仮定できることから、時間間隔パラメータにより示される時間間隔が長く設定され、調整速度パラメータにより示される調整量の最大値が小さく設定される。

【0229】

また、例えばAF用カメラ画像上の初期合焦領域として、術具などの深さ方向（Ｚ方向）に動く物体を被写体として含む領域が抽出されたとする。この場合、術具は頻繁に動かされる可能性が高いことから、時間間隔パラメータにより示される時間間隔が短く設定され、調整速度パラメータにより示される調整量の最大値が大きく設定される。

【0230】

〈観察処理の説明〉
次に、図１１のフローチャートを参照して、手術顕微鏡システム２０１により行われる観察処理について説明する。

【0231】

ステップＳ５１において、入力部４３は、ユーザによる入力部４３に対する操作に応じて、ユーザにより入力された目標焦点位置を示す情報を取得し、その目標焦点位置を示す入力情報を生成してオフセット値算出部５２に供給する。ステップＳ５１では、図９のステップＳ１１と同様の処理が行われる。

【0232】

ステップＳ５２において、AF用画像取得部２２１は観察対象の眼のAF用カメラ画像を取得し、得られたAF用カメラ画像をAF処理部２２３に供給する。

【0233】

具体的には、AF用イメージセンサは、AF用観察光学系を介して眼から入射した光を受光して光電変換することでAF用カメラ画像を撮像する。また、AF用画像取得部２２１は、AF用イメージセンサで得られたAF用カメラ画像に対して、ホワイトバランス調整等の各種の画像処理を施し、最終的なAF用カメラ画像とする。

【0234】

また、AF用カメラ画像の取得が開始されると、それと同時にカメラ画像取得部３１でも正面画像の取得が開始され、表示部２３に表示用正面画像が表示される。

【0235】

ステップＳ５３において、AF処理部２２３は、AF用画像取得部２２１から供給されたAF用カメラ画像から初期合焦領域を抽出する。このステップＳ５３では、図９のステップＳ１３と同様の処理が行われる。

【0236】

また、AF処理部２２３は、初期合焦領域を抽出すると、その初期合焦領域に応じて時間間隔パラメータおよび調整速度パラメータを設定する。

【0237】

なお、初期合焦領域内にどのような眼の臓器等が被写体として含まれているかは、例えばAF用カメラ画像における初期合焦領域の位置や、AF用カメラ画像に対する画像認識等により特定することが可能である。AF処理部２２３は、初期合焦領域内に含まれている被写体に応じて、時間間隔パラメータおよび調整速度パラメータを設定する。

【0238】

ステップＳ５４において、AF処理部２２３は、ステップＳ５３の処理でAF用カメラ画像から抽出した初期合焦領域を対象としてコントラスト評価値を算出する。ステップＳ５４では、図９のステップＳ１４と同様の処理が行われる。

【0239】

また、AF処理部２２３は、これまでに行われたステップＳ５４の処理で得られた、各AF用カメラ焦点位置でのコントラスト評価値に基づいて、コントラスト評価値のピーク値を検出する。

【0240】

ステップＳ５５において、AF処理部２２３は、コントラスト評価値のピーク値が検出されたか否かを判定する。

【0241】

ステップＳ５５においてコントラスト評価値のピーク値が検出されなかった、つまり初期合焦位置d_initが検出されなかったと判定された場合、その後、処理はステップＳ５６へと進む。

【0242】

この場合、AF処理部２２３は、これまでに得られたコントラスト評価値と、設定した調整速度パラメータとに基づいて、適切な移動先となるAF用カメラ焦点位置を示すAF焦点位置情報を生成し、AF用カメラ制御部２２２に供給する。

【0243】

ステップＳ５６において、AF用カメラ制御部２２２はAF処理部２２３から供給されたAF焦点位置情報に基づいてAF用画像取得部２２１を制御し、AF用カメラ焦点位置の調整を行う。

【0244】

すなわち、AF用カメラ制御部２２２はAF用画像取得部２２１を制御して、AF用対物レンズのAF用カメラ焦点位置が、AF処理部２２３からのAF焦点位置情報により示されるAF用カメラ焦点位置となるように、AF用対物レンズを光軸方向に移動させる。

【0245】

AF用カメラ焦点位置の調整が行われると、その後、処理はステップＳ５２に戻り、ピーク値が検出されるまで上述した処理が繰り返し行われる。

【0246】

これに対して、ステップＳ５５においてコントラスト評価値のピーク値が検出されたと判定された場合、AF用カメラ画像における初期合焦領域内の被写体に合焦した状態となったので、その後、処理はステップＳ５７へと進む。

【0247】

この場合、AF処理部２２３は、検出されたピーク値となるコントラスト評価値が得られたときのAF用カメラ焦点位置を、顕微鏡対物レンズ９１のカメラ焦点位置へと変換し、その結果得られたカメラ焦点位置を初期合焦位置d_initとする。そして、AF処理部２２３は、その初期合焦位置d_initを示す初期焦点位置情報をオフセット値算出部５２に供給する。

【0248】

以上の処理により初期合焦位置d_initが得られると、その後、ステップＳ５７乃至ステップＳ６１の処理が行われる。

【0249】

これらの処理が行われると、顕微鏡対物レンズ９１のカメラ焦点位置が合焦位置d_focussへと移動されて、正面画像では目標焦点位置にある部位に焦点が合った状態となり、また表示部２３には合焦位置表示画像が表示される。

【0250】

なお、これらのステップＳ５７乃至ステップＳ６１の処理は、図９のステップＳ１７乃至ステップＳ２１の処理と同様であるので、その説明は省略する。

【0251】

ステップＳ６１の処理が行われて合焦位置表示画像が表示されると、その後、処理はステップＳ６２へと進む。

【0252】

ステップＳ６２においてカメラ制御部３２は、正面画像を取得して患者の眼を観察する処理を終了するか否かを判定する。例えばユーザが入力部４３等を操作して、観察の終了などを指示した場合、処理を終了すると判定される。

【0253】

ステップＳ６２において、まだ処理を終了しないと判定された場合、その後、処理はステップＳ５２に戻り、上述した処理が繰り返し行われる。

【0254】

このとき、例えば最後に初期合焦位置d_initが求められてから、設定されている時間間隔パラメータにより示される時間が経過した後、次のステップＳ５２乃至ステップＳ５６の処理が開始される。また、処理の途中でユーザにより新たな目標焦点位置が入力された場合、つまり目標焦点位置が更新された場合には、ステップＳ５１の処理が行われ、その後、ステップＳ５２以降の処理が実行される。

【0255】

一方、ステップＳ６２において、処理を終了すると判定された場合、手術顕微鏡システム２０１の各部は、患者の眼を観察するための動作を停止して観察処理は終了する。

【0256】

以上のようにして手術顕微鏡システム２０１は、カメラ画像取得部３１とは異なるAF処理用のAF用画像取得部２２１により得られたAF用カメラ画像に基づいて、コントラストAF処理により初期合焦位置d_initを求める。そして、手術顕微鏡システム２０１は、その初期合焦位置d_initから最終的な合焦位置d_focussを算出し、目標焦点位置にある部位へと顕微鏡対物レンズ９１のカメラ焦点位置を移動させる。

【0257】

このようにすることで、目標焦点位置が透明体である場合であっても、その目標焦点位置に高速かつ高精度に合焦させることができる。すなわち、被写体の所望の位置に合焦させることができる。

【0258】

特に、手術顕微鏡システム２０１では、正面画像の焦点位置、つまり顕微鏡対物レンズ９１の焦点位置に影響を与えないAF用カメラユニット２１１により初期合焦位置d_initを求めるようにした。したがって、正面画像において常に目標焦点位置にある透明体等の被写体に合焦した状態のまま、顕微鏡対物レンズ９１の合焦位置d_focussを求めることができる。すなわち、合焦させようとする被写体のＺ方向の動きに追従させて顕微鏡対物レンズ９１のカメラ焦点位置を適切な位置に移動させることができる。

【0259】

以上のように、本技術によれば、観察対象の被写体の合焦させようとする部位が透明体である場合であっても、その部位に合焦させることができ、ぼけのない鮮明な正面画像、すなわち鮮明な手術映像を提供することができる。

【0260】

このように鮮明な手術映像を得ることができれば、術者等は手術顕微鏡システム、特にビデオ手術顕微鏡に対する操作を行う回数を低減させることができるので、手術の高効率化および手術時間の短縮を図ることができる。

【0261】

また、合焦位置を示す合焦位置表示画像を表示させるようにしたので、ユーザは直感的に顕微鏡対物レンズ９１の焦点位置、つまりピントの合った位置を把握することができる。

【0262】

さらに、第２の実施の形態では、顕微鏡対物レンズ９１のカメラ焦点位置を必要以上に動かすことなく、コンティニュアスAFにより目標焦点位置にある透明体等の被写体に合焦した状態を維持し、目的とする被写体の移動に高速に追従させることができる。

【0263】

〈コンピュータの構成例〉
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

【0264】

図１２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

【0265】

コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。

【0266】

バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。

【0267】

入力部５０６は、キーボード、マウス、マイクロホン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体５１１を駆動する。

【0268】

以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。

【0269】

コンピュータ（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

【0270】

コンピュータでは、プログラムは、リムーバブル記録媒体５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。

【0271】

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

【0272】

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

【0273】

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

【0274】

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

【0275】

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

【0276】

さらに、本技術は、以下の構成とすることも可能である。

【0277】

（１）
手術対象の患者の眼の観察画像に含まれる所定の被写体に合焦したときの焦点位置を初期合焦位置として検出する初期合焦位置検出部と、
眼球の構造に関する情報に基づいて、前記眼の角膜内皮よりも内側にある目標眼臓器と前記初期合焦位置との間の距離を示すオフセット値を決定し、前記オフセット値および前記初期合焦位置に基づいて、前記目標眼臓器に合焦する焦点位置である合焦位置を算出する算出部と
を備える制御装置。
（２）
前記算出部により算出された前記合焦位置となるように焦点位置を調整する制御部をさらに備える
（１）に記載の制御装置。
（３）
前記初期合焦位置検出部は、前記観察画像から前記所定の被写体を含む初期合焦領域を抽出し、前記初期合焦領域に基づいて前記初期合焦位置を検出する
（１）または（２）に記載の制御装置。
（４）
前記初期合焦位置検出部は、前記初期合焦領域に対してコントラストAF処理を行うことにより、前記初期合焦位置を検出する
（３）に記載の制御装置。
（５）
前記初期合焦位置検出部は、前記観察画像とは異なる前記患者の前記眼のAF用画像に基づいて前記初期合焦位置を検出する
（１）または（２）に記載の制御装置。
（６）
前記初期合焦位置検出部は、前記AF用画像から前記所定の被写体を含む初期合焦領域を抽出し、前記初期合焦領域に基づいて前記初期合焦位置を検出する
（５）に記載の制御装置。
（７）
前記初期合焦位置検出部は、前記初期合焦領域に対してコントラストAF処理を行うことにより、前記初期合焦位置を検出する
（６）に記載の制御装置。
（８）
前記算出部は、前記患者に固有の情報に基づいて前記オフセット値を補正する
（１）乃至（７）の何れか一項に記載の制御装置。
（９）
前記眼球の構造に関する情報は、眼球の各眼臓器の位置関係を示す構造情報である
（１）乃至（８）の何れか一項に記載の制御装置。
（１０）
前記眼球の構造に関する情報は、術前に得られた前記患者の前記眼の断層画像である
（１）乃至（８）の何れか一項に記載の制御装置。
（１１）
前記眼球の構造に関する情報は、術中に得られた前記患者の前記眼の断層画像である
（１）乃至（８）の何れか一項に記載の制御装置。
（１２）
眼球の断面における前記合焦位置を示す合焦位置表示画像を表示させる合焦位置表示制御部をさらに備える
（１）乃至（１１）の何れか一項に記載の制御装置。
（１３）
前記算出部は、前記合焦位置表示画像上において指定された位置にある眼臓器を前記目標眼臓器として前記合焦位置を算出する
（１２）に記載の制御装置。
（１４）
前記観察画像を表示させる画像表示制御部をさらに備え、
前記観察画像と前記合焦位置表示画像は並べられて表示される
（１２）または（１３）に記載の制御装置。
（１５）
前記目標眼臓器は透明体である
（１）乃至（１４）の何れか一項に記載の制御装置。
（１６）
前記所定の被写体は前記眼の眼臓器または術具である
（１）乃至（１５）の何れか一項に記載の制御装置。
（１７）
制御装置が、
手術対象の患者の眼の観察画像に含まれる所定の被写体に合焦したときの焦点位置を初期合焦位置として検出し、
眼球の構造に関する情報に基づいて、前記眼の角膜内皮よりも内側にある目標眼臓器と前記初期合焦位置との間の距離を示すオフセット値を決定し、前記オフセット値および前記初期合焦位置に基づいて、前記目標眼臓器に合焦する焦点位置である合焦位置を算出する
制御方法。
（１８）
手術対象の患者の眼の観察画像を取得する画像取得部と、
前記観察画像に含まれる所定の被写体に合焦したときの前記画像取得部の焦点位置を初期合焦位置として検出する初期合焦位置検出部と、
眼球の構造に関する情報に基づいて、前記眼の角膜内皮よりも内側にある目標眼臓器と前記初期合焦位置との間の距離を示すオフセット値を決定し、前記オフセット値および前記初期合焦位置に基づいて、前記目標眼臓器に合焦する前記画像取得部の焦点位置である合焦位置を算出する算出部と
を備える手術顕微鏡システム。

【符号の説明】

【0278】

１１ 手術顕微鏡システム， ３１ カメラ画像取得部， ３２ カメラ制御部， ４１ 画像表示制御部， ４２ 合焦位置表示制御部， ４３ 入力部， ５１ コントラストAF処理部， ５２ オフセット値算出部， ２０１ 手術顕微鏡システム， ２２１ AF用画像取得部， ２２２ AF用カメラ制御部， ２２３ AF処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】