特表-19181554IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニー株式会社の特許一覧
再表2019-181554制御装置および方法、並びに手術顕微鏡システム
<>
  • 再表WO2019181554-制御装置および方法、並びに手術顕微鏡システム 図000005
  • 再表WO2019181554-制御装置および方法、並びに手術顕微鏡システム 図000006
  • 再表WO2019181554-制御装置および方法、並びに手術顕微鏡システム 図000007
  • 再表WO2019181554-制御装置および方法、並びに手術顕微鏡システム 図000008
  • 再表WO2019181554-制御装置および方法、並びに手術顕微鏡システム 図000009
  • 再表WO2019181554-制御装置および方法、並びに手術顕微鏡システム 図000010
  • 再表WO2019181554-制御装置および方法、並びに手術顕微鏡システム 図000011
  • 再表WO2019181554-制御装置および方法、並びに手術顕微鏡システム 図000012
  • 再表WO2019181554-制御装置および方法、並びに手術顕微鏡システム 図000013
  • 再表WO2019181554-制御装置および方法、並びに手術顕微鏡システム 図000014
  • 再表WO2019181554-制御装置および方法、並びに手術顕微鏡システム 図000015
  • 再表WO2019181554-制御装置および方法、並びに手術顕微鏡システム 図000016
< >
(19)【発行国】日本国特許庁(JP)
【公報種別】再公表特許(A1)
(11)【国際公開番号】WO/0
(43)【国際公開日】2019年9月26日
【発行日】2021年4月15日
(54)【発明の名称】制御装置および方法、並びに手術顕微鏡システム
(51)【国際特許分類】
   A61B 3/13 20060101AFI20210319BHJP
   A61F 9/007 20060101ALI20210319BHJP
   G02B 7/28 20210101ALI20210319BHJP
   G02B 7/36 20210101ALI20210319BHJP
   G03B 13/36 20210101ALI20210319BHJP
【FI】
   A61B3/13
   A61F9/007 200C
   G02B7/28 J
   G02B7/36
   G03B13/36
【審査請求】未請求
【予備審査請求】未請求
【全頁数】38
【出願番号】特願2020-508192(P2020-508192)
(21)【国際出願番号】PCT/0/0
(22)【国際出願日】2019年3月8日
(31)【優先権主張番号】特願2018-54229(P2018-54229)
(32)【優先日】2018年3月22日
(33)【優先権主張国】JP
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JO,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニー株式会社
(74)【代理人】
【識別番号】100121131
【弁理士】
【氏名又は名称】西川 孝
(74)【代理人】
【識別番号】100082131
【弁理士】
【氏名又は名称】稲本 義雄
(74)【代理人】
【識別番号】100168686
【弁理士】
【氏名又は名称】三浦 勇介
(72)【発明者】
【氏名】相馬 芳男
(72)【発明者】
【氏名】大月 知之
(72)【発明者】
【氏名】榎 潤一郎
(72)【発明者】
【氏名】坂口 竜己
【テーマコード(参考)】
2H011
2H151
4C316
【Fターム(参考)】
2H011AA06
2H011BA34
2H151AA11
2H151BA47
2H151BA65
4C316AA03
4C316AA07
4C316AA08
4C316AB16
4C316FA08
4C316FB05
4C316FB13
4C316FB21
4C316FC12
4C316FZ01
(57)【要約】
本技術は、被写体の所望の位置に合焦させることができるようにする制御装置および方法、並びに手術顕微鏡システムに関する。
制御装置は、手術対象の患者の眼の観察画像に含まれる所定の被写体に合焦したときの焦点位置を初期合焦位置として検出する初期合焦位置検出部と、眼球の構造に関する情報に基づいて、眼の角膜内皮よりも内側にある目標眼臓器と初期合焦位置との間の距離を示すオフセット値を決定し、オフセット値および初期合焦位置に基づいて、目標眼臓器に合焦する焦点位置である合焦位置を算出する算出部とを備える。本技術は手術顕微鏡システムに適用することができる。
【特許請求の範囲】
【請求項1】
手術対象の患者の眼の観察画像に含まれる所定の被写体に合焦したときの焦点位置を初期合焦位置として検出する初期合焦位置検出部と、
眼球の構造に関する情報に基づいて、前記眼の角膜内皮よりも内側にある目標眼臓器と前記初期合焦位置との間の距離を示すオフセット値を決定し、前記オフセット値および前記初期合焦位置に基づいて、前記目標眼臓器に合焦する焦点位置である合焦位置を算出する算出部と
を備える制御装置。
【請求項2】
前記算出部により算出された前記合焦位置となるように焦点位置を調整する制御部をさらに備える
請求項1に記載の制御装置。
【請求項3】
前記初期合焦位置検出部は、前記観察画像から前記所定の被写体を含む初期合焦領域を抽出し、前記初期合焦領域に基づいて前記初期合焦位置を検出する
請求項1に記載の制御装置。
【請求項4】
前記初期合焦位置検出部は、前記初期合焦領域に対してコントラストAF処理を行うことにより、前記初期合焦位置を検出する
請求項3に記載の制御装置。
【請求項5】
前記初期合焦位置検出部は、前記観察画像とは異なる前記患者の前記眼のAF用画像に基づいて前記初期合焦位置を検出する
請求項1に記載の制御装置。
【請求項6】
前記初期合焦位置検出部は、前記AF用画像から前記所定の被写体を含む初期合焦領域を抽出し、前記初期合焦領域に基づいて前記初期合焦位置を検出する
請求項5に記載の制御装置。
【請求項7】
前記初期合焦位置検出部は、前記初期合焦領域に対してコントラストAF処理を行うことにより、前記初期合焦位置を検出する
請求項6に記載の制御装置。
【請求項8】
前記算出部は、前記患者に固有の情報に基づいて前記オフセット値を補正する
請求項1に記載の制御装置。
【請求項9】
前記眼球の構造に関する情報は、眼球の各眼臓器の位置関係を示す構造情報である
請求項1に記載の制御装置。
【請求項10】
前記眼球の構造に関する情報は、術前に得られた前記患者の前記眼の断層画像である
請求項1に記載の制御装置。
【請求項11】
前記眼球の構造に関する情報は、術中に得られた前記患者の前記眼の断層画像である
請求項1に記載の制御装置。
【請求項12】
眼球の断面における前記合焦位置を示す合焦位置表示画像を表示させる合焦位置表示制御部をさらに備える
請求項1に記載の制御装置。
【請求項13】
前記算出部は、前記合焦位置表示画像上において指定された位置にある眼臓器を前記目標眼臓器として前記合焦位置を算出する
請求項12に記載の制御装置。
【請求項14】
前記観察画像を表示させる画像表示制御部をさらに備え、
前記観察画像と前記合焦位置表示画像は並べられて表示される
請求項12に記載の制御装置。
【請求項15】
前記目標眼臓器は透明体である
請求項1に記載の制御装置。
【請求項16】
前記所定の被写体は前記眼の眼臓器または術具である
請求項1に記載の制御装置。
【請求項17】
制御装置が、
手術対象の患者の眼の観察画像に含まれる所定の被写体に合焦したときの焦点位置を初期合焦位置として検出し、
眼球の構造に関する情報に基づいて、前記眼の角膜内皮よりも内側にある目標眼臓器と前記初期合焦位置との間の距離を示すオフセット値を決定し、前記オフセット値および前記初期合焦位置に基づいて、前記目標眼臓器に合焦する焦点位置である合焦位置を算出する
制御方法。
【請求項18】
手術対象の患者の眼の観察画像を取得する画像取得部と、
前記観察画像に含まれる所定の被写体に合焦したときの前記画像取得部の焦点位置を初期合焦位置として検出する初期合焦位置検出部と、
眼球の構造に関する情報に基づいて、前記眼の角膜内皮よりも内側にある目標眼臓器と前記初期合焦位置との間の距離を示すオフセット値を決定し、前記オフセット値および前記初期合焦位置に基づいて、前記目標眼臓器に合焦する前記画像取得部の焦点位置である合焦位置を算出する算出部と
を備える手術顕微鏡システム。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、制御装置および方法、並びに手術顕微鏡システムに関し、特に、被写体の所望の位置に合焦させることができるようにした制御装置および方法、並びに手術顕微鏡システムに関する。
【背景技術】
【0002】
例えば、手術顕微鏡下の眼科手術において正確かつ安全に手術を行うためには、手術中の状況に応じて顕微鏡の焦点位置を適切に調整し、常にぼけがない鮮明な視野での観察が必要である。
【0003】
カメラを搭載した手術顕微鏡、すなわちビデオ手術顕微鏡においては、画像を用いたオートフォーカス(AF(Autofocus))機能により、煩雑な焦点位置合わせの自動化が可能である。
【0004】
しかし、デジタルカメラなどで広く用いられているコントラストAFや位相差AFなどにおいて、AF性能は被写体のテクスチャに大きく依存し、原理上エッジがない対象への焦点合わせは困難である。
【0005】
そのため、角膜や水晶体、硝子体などのエッジがない透明体を主な観察や処置の対象とする眼科手術においては、既存のAF技術による正確な焦点位置合わせは期待できない。
【0006】
そこで、角膜への照明光の照射により生じる虚像に焦点を合わせた後、角膜曲率の平均値やパターン照明で計測された角膜形状などに基づく距離だけ焦点位置を移動させることで、角膜上に焦点を合わせるシステムが提案されている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2017−148361号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、特許文献1に記載の手法では、原理的に眼の表面の角膜以外への焦点位置合わせは困難であり、この手法を手術の種類や進行に応じて眼球内部の水晶体や硝子体などにも焦点合わせが必要な手術顕微鏡へと応用することはできない。そのため、水晶体や硝子体など、被写体の所望の位置に合焦させることができる技術が望まれている。
【0009】
本技術は、このような状況に鑑みてなされたものであり、被写体の所望の位置に合焦させることができるようにするものである。
【課題を解決するための手段】
【0010】
本技術の第1の側面の制御装置は、手術対象の患者の眼の観察画像に含まれる所定の被写体に合焦したときの焦点位置を初期合焦位置として検出する初期合焦位置検出部と、眼球の構造に関する情報に基づいて、前記眼の角膜内皮よりも内側にある目標眼臓器と前記初期合焦位置との間の距離を示すオフセット値を決定し、前記オフセット値および前記初期合焦位置に基づいて、前記目標眼臓器に合焦する焦点位置である合焦位置を算出する算出部とを備える。
【0011】
本技術の第1の側面の制御方法は、手術対象の患者の眼の観察画像に含まれる所定の被写体に合焦したときの焦点位置を初期合焦位置として検出し、眼球の構造に関する情報に基づいて、前記眼の角膜内皮よりも内側にある目標眼臓器と前記初期合焦位置との間の距離を示すオフセット値を決定し、前記オフセット値および前記初期合焦位置に基づいて、前記目標眼臓器に合焦する焦点位置である合焦位置を算出する制御方法である。
【0012】
本技術の第1の側面においては、手術対象の患者の眼の観察画像に含まれる所定の被写体に合焦したときの焦点位置が初期合焦位置として検出され、眼球の構造に関する情報に基づいて、前記眼の角膜内皮よりも内側にある目標眼臓器と前記初期合焦位置との間の距離を示すオフセット値が決定され、前記オフセット値および前記初期合焦位置に基づいて、前記目標眼臓器に合焦する焦点位置である合焦位置が算出される。
【0013】
本技術の第2の側面の手術顕微鏡システムは、本技術の第1の側面の制御装置に対応する手術顕微鏡システムである。
【発明の効果】
【0014】
本技術第1の側面および第2の側面によれば、被写体の所望の位置に合焦させることができる。
【0015】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。
【図面の簡単な説明】
【0016】
図1】手術顕微鏡システムの構成例を示す図である。
図2】初期合焦領域の例を示す図である。
図3】初期合焦領域の例を示す図である。
図4】初期合焦領域の例を示す図である。
図5】初期合焦位置、オフセット値、および合焦位置の関係を示す図である。
図6】合焦位置表示画像の例を示す図である。
図7】合焦位置表示画像の例を示す図である。
図8】合焦位置表示画像の例を示す図である。
図9】観察処理を説明するフローチャートである。
図10】手術顕微鏡システムの構成例を示す図である。
図11】観察処理を説明するフローチャートである。
図12】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【0017】
以下、図面を参照して、本技術を適用した実施の形態について説明する。
【0018】
〈第1の実施の形態〉
〈手術顕微鏡システムの構成例〉
本技術は、手術顕微鏡システムにおいて、一般的なAF技術と眼球構造に関する情報等から算出されるオフセット値を用いることにより、透明体を含む眼球組織中の所望の位置に合焦させることができるようにするものである。
【0019】
なお、以下では、観察対象の被写体が手術対象となる患者の眼である例について説明するが、観察対象の被写体は眼に限らず、例えば内視鏡で観察されるものや、透明体を含むものなど、どのようなものであってもよい。特に本技術は、透明体を含む被写体に合焦させる場合に有用である。
【0020】
図1は、本技術を適用した手術顕微鏡システムの一実施の形態の構成例を示す図である。
【0021】
図1に示す手術顕微鏡システム11は、例えば手術対象となる患者の眼を術前や術中に観察するためのビデオ手術顕微鏡を有する眼科用手術顕微鏡システムである。
【0022】
手術顕微鏡システム11は、カメラユニット21、ユーザI/O(Input/Output)22、表示部23、AFユニット24、構造情報データベース保持部25、および外部診断装置26を有している。
【0023】
カメラユニット21は、観察対象、すなわち手術対象となる患者の眼を顕微鏡観察して得られる観察画像を正面画像として取得する。なお、以下では眼の顕微鏡観察の例として明視野観察が行われる場合を例として説明するが、眼の所望の部位に合焦させて行われる観察であれば、明視野観察に限らず他のどのようなものであってもよい。
【0024】
カメラユニット21は、カメラ画像取得部31およびカメラ制御部32を有している。例えばカメラ画像取得部31は、ビデオ手術顕微鏡の少なくとも一部を構成している。
【0025】
カメラ画像取得部31は、例えばビデオ手術顕微鏡を構成する観察光学系やイメージセンサ、撮像された画像に対して各種の処理を施す画像処理ユニットなどからなり、観察対象の患者の眼の明視野像である正面画像を取得する。
【0026】
例えば眼の明視野観察時には、図示せぬ光源から出力された照明光が観察対象である眼に照射され、その照明光が眼の各部位で反射されて観察光となる。この観察光はビデオ手術顕微鏡の観察光学系に導かれて、ビデオ手術顕微鏡のカメラを構成するイメージセンサへと入射する。
【0027】
イメージセンサは、観察光学系を介して眼から入射した観察光を受光して光電変換することで眼を被写体とする正面画像を撮像し、得られた正面画像、より詳細には正面画像の画像信号を出力する。すると、カメラ画像取得部31の画像処理ユニットは、イメージセンサから出力された正面画像に対して、ホワイトバランス調整等の各種の画像処理を施し、最終的な正面画像とする。
【0028】
カメラ画像取得部31は、このようにして観察対象の眼の正面画像(観察画像)を取得すると、取得した正面画像をユーザI/O22およびAFユニット24に供給する。
【0029】
カメラ制御部32は、AFユニット24から供給されるビデオ手術顕微鏡のカメラの焦点位置、より詳細には観察光学系を構成する顕微鏡対物レンズの焦点位置に関する情報に基づいてカメラ画像取得部31を制御することでフォーカス制御(AF制御)を行う。
【0030】
具体的には、例えばAFユニット24からカメラ制御部32には、ビデオ手術顕微鏡のカメラ(ビデオカメラ)の焦点位置に関する情報として、カメラ画像取得部31における、移動先とすべき顕微鏡対物レンズの焦点位置を示す焦点位置情報が供給される。
【0031】
カメラ制御部32は、顕微鏡対物レンズの実際の焦点位置が焦点位置情報により示される焦点位置となるように、カメラのフォーカスレンズとして機能する顕微鏡対物レンズを光軸方向に移動させることでフォーカス制御(焦点位置調整)を行う。
【0032】
なお、以下、カメラ画像取得部31の顕微鏡対物レンズを移動させることにより光軸方向に変化する顕微鏡対物レンズ(カメラ)の焦点位置、すなわち合焦位置をカメラ焦点位置とも称することとする。
【0033】
ユーザI/O22は、ユーザによる操作入力を受け付けたり、表示部23への画像等の表示を制御したりする。ユーザI/O22は、画像表示制御部41、合焦位置表示制御部42、および入力部43を有している。
【0034】
画像表示制御部41は、カメラ画像取得部31から供給された正面画像に対して、必要に応じて各種の情報や画像を重畳し、表示用正面画像を生成する。なお、カメラ画像取得部31で得られた正面画像がそのまま表示用正面画像とされてもよい。
【0035】
画像表示制御部41は、表示用正面画像を表示部23に供給して、表示部23での表示用正面画像の表示を制御する。
【0036】
合焦位置表示制御部42は、カメラ制御部32からカメラ焦点位置を示す情報であるカメラ焦点位置情報の供給を受けるとともに、外部診断装置26から眼を対象とする所定の検査等により得られた検査情報の供給を受ける。
【0037】
合焦位置表示制御部42は、適宜、検査情報およびカメラ焦点位置情報を用いて、観察対象である眼の断面(断層面)におけるカメラ焦点位置、すなわちカメラ(観察光学系)の合焦位置を示す画像である合焦位置表示画像を生成する。合焦位置表示制御部42は、生成した合焦位置表示画像を表示部23に供給して、表示部23での合焦位置表示画像の表示を制御する。
【0038】
例えば検査情報として、合焦位置表示制御部42に患者の眼の断面の画像である断層画像が供給されたとする。この場合、合焦位置表示制御部42は、断層画像に対して、その断層画像上における現時点におけるカメラ焦点位置を示す情報が重畳された画像を合焦位置表示画像として生成する。
【0039】
なお、合焦位置表示画像上の眼の断層面の画像は、実際の患者の眼の断層画像ではなく、一般的な眼の断層図、すなわち眼球の解剖図などとされても勿論よい。
【0040】
入力部43は、例えば手術を行う術者等のユーザにより操作される、表示部23の表示画面に重畳されたタッチパネルや、マウス、ボタン、キーボード、スイッチなどの入力装置を有しており、ユーザの操作に応じた入力情報を出力する。
【0041】
例えば入力部43は、ユーザの操作に応じて、ユーザが合焦させようとする観察対象の眼の部位の位置、つまり目標とすべきカメラ焦点位置に対応する眼の部位(眼臓器)の位置である目標焦点位置を示す情報を入力情報として生成し、AFユニット24に供給する。
【0042】
表示部23は、例えば液晶表示装置等のディスプレイからなり、画像表示制御部41から供給された表示用正面画像や、合焦位置表示制御部42から供給された合焦位置表示画像を表示する。
【0043】
なお、表示用正面画像と合焦位置表示画像は、表示部23としてのディスプレイの1つの表示画面における互いに異なる領域に表示されるようにしてもよいし、表示用正面画像と合焦位置表示画像とが、表示部23としての互いに異なるディスプレイに表示されてもよい。すなわち、表示用正面画像が表示されるディスプレイと、合焦位置表示画像が表示されるディスプレイとが異なるものであってもよい。さらに、表示用正面画像と合焦位置表示画像は、表示部23に同時に並べられて表示されるようにしてもよいし、異なるタイミングで表示されるようにしてもよい。
【0044】
AFユニット24は、カメラ画像取得部31から供給された正面画像に基づいてAF処理を行う。AFユニット24は、コントラストAF処理部51およびオフセット値算出部52を有している。
【0045】
コントラストAF処理部51は、カメラ画像取得部31から供給された正面画像に基づいてAF処理を行い、その結果得られた焦点位置情報をオフセット値算出部52またはカメラ制御部32に供給する。
【0046】
ここでは、例えばAF処理として、正面画像のコントラスト評価値に基づいて、最もコントラスト評価値が高くなるカメラ焦点位置を、合焦状態となるカメラ焦点位置、すなわちピントが合った状態となるカメラ焦点位置として検出するコントラストAF処理が行われる。コントラストAF処理部51は、コントラストAF処理により検出されたカメラ焦点位置を示す焦点位置情報を生成し、オフセット値算出部52またはカメラ制御部32に供給する。
【0047】
なお、ここではAF処理としてコントラストAF処理が行われる場合を例として説明するが、これに限らず、位相差AF処理など、他のAF処理が行われるようにしてもよい。
【0048】
オフセット値算出部52は、入力部43から供給された目標焦点位置を示す入力情報、コントラストAF処理部51から供給された焦点位置情報、構造情報データベース保持部25から供給された眼球の構造情報、および外部診断装置26から供給された検査情報に基づいて最終的な焦点位置情報を生成し、カメラ制御部32に供給する。
【0049】
例えばオフセット値算出部52は、構造情報および検査情報の少なくとも何れか一方と、目標焦点位置とに基づいて、コントラストAF処理部51から供給された焦点位置情報により示されるカメラ焦点位置から目標焦点位置までの距離をオフセット値として算出する。換言すれば、オフセット値算出部52はオフセット値を決定する。
【0050】
そして、オフセット値算出部52は、得られたオフセット値に基づいて、コントラストAF処理部51から供給された焦点位置情報により示されるカメラ焦点位置を補正し、補正後のカメラ焦点位置を移動先(目標)とすべき最終的なカメラ焦点位置とする。オフセット値算出部52は、移動先とすべき最終的なカメラ焦点位置を示す焦点位置情報を最終的な焦点位置情報として生成し、カメラ制御部32に供給する。
【0051】
なお、以下では、特にコントラストAF処理部51により出力される焦点位置情報を初期焦点位置情報とも称し、オフセット値算出部52から出力される焦点位置情報を最終焦点位置情報とも称することとする。
【0052】
手術顕微鏡システム11では、以上において説明したカメラ制御部32、AFユニット24、およびユーザI/O22からなる構成が、ビデオ手術顕微鏡のフォーカス制御を行ったり、表示部23への画像の表示を制御したりする制御装置61として機能する。
【0053】
構造情報データベース保持部25は、手術対象、すなわち観察対象となる眼の構造情報を保持しており、保持している構造情報をオフセット値算出部52に供給する。ここで眼の構造情報は、例えば角膜や水晶体、虹彩などの眼球の各眼臓器間の距離、すなわち各眼臓器間の位置関係といった眼球の構造を示す解剖情報である。
【0054】
外部診断装置26は、例えば患者の眼に対する眼科手術の術前または術中に用いられる、患者の眼を対象とした検査を行う装置からなり、その検査結果を検査情報としてオフセット値算出部52および合焦位置表示制御部42に供給する。
【0055】
より具体的には、例えば外部診断装置26は、オートレフケラトメータや眼軸長計測装置、眼底カメラ、OCT(Optical Coherence Tomography)装置、シャインプルークカメラなどからなる。その他、外部診断装置26は、超音波を利用して断層画像を撮像する超音波断層撮影装置や、磁気を利用して断層画像を撮像する磁気共鳴断層撮影装置(MRI(Magnetic Resonance Imaging))などであってもよい。
【0056】
例えば外部診断装置26がオートレフケラトメータや眼軸長計測装置である場合、検査情報として眼の屈折力や眼軸長などの計測結果が得られる。
【0057】
また、例えば外部診断装置26が眼底カメラやOCT装置、シャインプルークカメラである場合、検査情報として、患者の眼底の画像である眼底画像や、患者の眼の断層面の画像である断層画像が得られる。
【0058】
なお、外部診断装置26としてのOCT装置は、ビデオ手術顕微鏡と統合されたものであってもよい。そのような場合、外部診断装置26では、眼の術前の断層画像だけでなく、眼の手術中の断層画像も得ることができる。
【0059】
〈手術顕微鏡システムの各部の動作について〉
続いて、図1に示した手術顕微鏡システム11の各部の動作について説明する。
【0060】
例えばカメラ画像取得部31により、観察対象の眼を被写体とする正面画像の取得が行われる場合、ユーザが入力部43を操作して目標焦点位置を入力すると、その目標焦点位置に合焦させる処理が実行される。この処理は、目標焦点位置が変更される度に行われる。
【0061】
ここで、ユーザによる目標焦点位置の入力方法としては、例えばユーザが複数の眼の臓器の一覧(リスト)から、焦点を合わせようとする臓器を1つ選択し、その臓器の位置を目標焦点位置とする方法が考えられる。
【0062】
この場合、例えば画像表示制御部41は、目標焦点位置の候補となる角膜や水晶体など、眼の臓器(眼臓器)の一覧が表示された臓器リストを生成し、その臓器リストを表示部23に表示させる。なお、臓器リストは、正面画像に重畳されて表示用正面画像上に表示されてもよいし、表示用正面画像とは別の画像として表示されてもよい。その他、臓器リストは、合焦位置表示制御部42により合焦位置表示画像に重畳されて表示されてもよい。
【0063】
臓器リストが表示されると、ユーザは入力部43を操作して、臓器リストのなかから焦点を合わせようとする臓器、すなわち目標焦点位置としようとする臓器を1つ選択する。すると、入力部43はユーザの操作に応じて、ユーザにより選択(指定)された臓器を示す情報、つまり目標焦点位置を示す情報を入力情報として生成し、オフセット値算出部52に供給する。
【0064】
また、例えば目標焦点位置の他の入力方法として、ユーザが眼球の断層図上からGUI(Graphical User Interface)やタッチ操作で選択する方法も考えられる。
【0065】
そのような場合、例えば合焦位置表示制御部42は、一般的な眼の断層図、すなわち眼の断層面の画像や、合焦位置表示画像を表示部23に表示させる。すると、ユーザは入力部43を操作して、表示部23に表示された断層図や合焦位置表示画像上における、焦点を合わせようとする眼の臓器の位置を指定(選択)する。
【0066】
入力部43はユーザの操作に応じて、ユーザにより指定された位置にある臓器、つまり目標焦点位置を示す情報を入力情報として生成し、オフセット値算出部52に供給する。
【0067】
なお、例えば断層図上から目標焦点位置とする臓器が指定される場合には、予め断層図の各領域が眼のどの臓器の領域であるかを示す、断層図の領域と臓器との対応関係を示す情報をユーザI/O22が保持しておけばよい。そうすれば、入力部43は、保持されている断層図の領域と臓器との対応関係を示す情報に基づいて、ユーザにより指定された断層図上の領域がどの臓器の領域であるかを特定することができる。
【0068】
また、例えば合焦位置表示画像上から目標焦点位置とする臓器が指定される場合には、入力部43は、合焦位置表示画像に対する画像認識処理を行うことで、合焦位置表示画像の各領域が眼のどの臓器の領域であるかを特定する。これにより、入力部43は、画像認識処理の結果に基づいて、ユーザにより指定された合焦位置表示画像上の領域がどの臓器の領域であるかを特定することができる。
【0069】
なお、この場合に行われる、目標焦点位置に対応する眼の臓器を特定するための合焦位置表示画像に対する画像認識処理等は、オフセット値算出部52において行われるようにしてもよい。
【0070】
目標焦点位置が入力されると、続いてカメラ画像取得部31により正面画像の取得が開始される。カメラ画像取得部31により取得された正面画像は、コントラストAF処理部51に供給されるとともに、画像表示制御部41にも供給される。画像表示制御部41は、供給された正面画像に基づいて表示用正面画像を生成し、表示部23に表示させる。
【0071】
このようにして正面画像が取得されると、その正面画像に対するコントラストAF処理が行われる。
【0072】
このコントラストAF処理では、正面画像上の被写体の領域のうち、所定の眼の臓器や術具の領域に焦点が合うようにカメラ焦点位置の調整が行われる。ここで、焦点が合わせられる臓器、つまり合焦対象となる臓器は、目標焦点位置となる臓器と同じであってもよいし、異なる臓器であってもよい。
【0073】
具体的には、コントラストAF処理部51は、正面画像上から初期合焦領域を抽出し、その初期合焦領域に対してコントラストAF処理を行う。すなわち、正面画像の一部の領域が初期合焦領域とされ、その初期合焦領域のみが対象とされてコントラストAF処理が行われる。
【0074】
コントラストAF処理では、カメラ制御部32はカメラ画像取得部31を制御して、順次、コントラストAF処理部51から供給される初期焦点位置情報により示される位置にカメラ焦点位置を移動させる。
【0075】
カメラ画像取得部31はカメラ制御部32の制御に従ってカメラ焦点位置を移動させながら、各カメラ焦点位置での正面画像を取得する。
【0076】
コントラストAF処理部51は、互いに異なる複数の各カメラ焦点位置で得られた正面画像について、正面画像の初期合焦領域を対象としてコントラストの度合いを示すコントラスト評価値を算出し、コントラスト評価値が最も高くなるカメラ焦点位置を検出する。換言すれば、コントラストAF処理部51は、初期合焦領域のコントラストが最も高くなるカメラ焦点位置を検出する。
【0077】
このようにしてコントラストAF処理により検出されたカメラ焦点位置は、初期合焦領域に含まれる眼の臓器や術具の領域に焦点が合う状態、つまり眼の臓器や術具に合焦した状態となるカメラ焦点位置である。以下では、コントラストAF処理により検出されたカメラ焦点位置を、特に初期合焦位置dinitと称することとする。
【0078】
コントラストAF処理部51は、コントラストAF処理により得られた初期合焦位置dinitを示す初期焦点位置情報をオフセット値算出部52に供給する。このようなコントラストAF処理部51は、コントラストAF処理により、初期合焦領域に含まれる所定の被写体に合焦したときのカメラ焦点位置を初期合焦位置dinitとして検出する初期合焦位置検出部として機能するということができる。
【0079】
なお、初期合焦領域は、例えばコントラストAF処理により高精度に焦点位置調整を行うことができる領域、つまり高精度に合焦可能な領域であり、かつ眼球中で深さ方向、つまり顕微鏡対物レンズの光軸方向における大よその位置が特定可能な被写体が含まれる領域とされる。
【0080】
ここで、高精度に合焦可能な領域とは、例えば正面画像におけるコントラストが高い領域や、コントラストと相関の高い(強い)エッジが多く含まれる領域である。
【0081】
コントラストAF処理部51は、正面画像に対するエッジ検出やコントラストの評価を行うことで、エッジが多く含まれる領域やコントラストが高い領域を特定することができ、そのような領域では、高精度に焦点位置調整を行うことが可能である。なお、エッジとコントラストの相関は高く、一般的にエッジを多く含む領域ではコントラストは高くなることが知られている。
【0082】
また、正面画像における、深さ方向の大よその位置が特定可能な被写体が含まれる領域は、画像認識等により特定可能である。ここでいう被写体とは、例えば眼の臓器等の部位や、眼科手術のための術具などである。
【0083】
例えばコントラストAF処理部51は、正面画像に対する画像認識を行うことで、正面画像における各領域が眼のどの臓器や術具の領域であるかを特定することが可能である。
【0084】
各領域に被写体として含まれる臓器や術具が特定されると、その臓器や術具の深さ方向の大よその位置が特定可能か否かを特定することができる。ここで、深さ方向の大よその位置が特定可能な臓器や術具とは、例えば検査情報としての断層画像上において、どの領域がその臓器や術具の領域であるかを特定可能な臓器や術具などとされる。
【0085】
また、正面画像の被写体は患者の眼や術具であり、その眼に対する手術の種類や、手術における手技等によって正面画像の構図はある程度決まった構図となる。さらに、各臓器の深さ方向の大よその位置が特定可能か否かは既知であり、手術の手技が特定されていれば、各術具の深さ方向の大よその位置も既知となる。
【0086】
したがって、コントラストAF処理部51は、手術の種類や手技等の手術に関する情報に基づいて、正面画像における、深さ方向の大よその位置が特定可能な眼の臓器や術具が含まれる領域を特定することができる。この場合、例えば正面画像における、手術の種類や手技等の手術に関する情報に対して定まる領域が、深さ方向の大よその位置が特定可能な眼の臓器や術具が含まれる領域とされることになる。
【0087】
以下では、高精度に焦点位置調整を行うことができ、かつ深さ方向の大よその位置が特定可能な眼の臓器や術具が含まれる領域であるという条件を抽出条件と称することとする。
【0088】
初期合焦領域は、正面画像上の抽出条件を満たす領域であれば、予め定められた領域であってもよいし、ユーザがGUIや表示用正面画像などへのタッチ操作等により手動で指定した領域であってもよいし、コントラストAF処理部51が正面画像に対する画像認識やエッジ検出等の画像処理を行うことで特定される領域であってもよい。
【0089】
初期合焦領域として想定される領域は、眼臓器表面の領域や術具の領域である。
【0090】
一例として、白内障手術(前眼部手術)であれば強膜上の血管や虹彩の領域などを初期合焦領域とすることが考えられ、網膜硝子体手術(眼底手術)であれば網膜上の血管構造の領域などを初期合焦領域とすることが考えられる。
【0091】
さらには、ナイフや拙子などの処置を行う術具上の領域もコントラストが高く、抽出条件を満足することができるので、それらの術具の一部または全部を含む領域を初期合焦領域とすることが考えられる。
【0092】
具体的には、例えば図2図3図4に示される領域を初期合焦領域とすることができる。なお、図2乃至図4において互いに対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【0093】
図2に示す例では、正面画像FP11の中央に角膜P11や虹彩、網膜などが被写体として含まれており、円形状の角膜P11の外側の領域が強膜P12となっている。この強膜P12の領域には血管が被写体として含まれており、血管部分はコントラストが高く、高精度に焦点位置調整を行うことが可能である。また、強膜P12の領域のうちの角膜P11と隣接する部分は、断層画像上において深さ方向の大よその位置が特定可能である。
【0094】
そこで、この例では、強膜P12の領域のうちの角膜P11と隣接する円環状の領域R11が初期合焦領域とされている。なお、上述したように初期合焦領域は、予め定められた領域でもよいし、ユーザにより指定された領域でもよいし、コントラストAF処理部51により抽出された領域でもよい。
【0095】
例えば初期合焦領域がユーザにより指定された領域とされる場合、図2の例では、画像表示制御部41が少なくとも正面画像FP11を含む表示用正面画像を表示部23に表示させる。
【0096】
すると、ユーザは入力部43を操作して、表示用正面画像、すなわち正面画像FP11における領域R11を初期合焦領域として指定する。この場合、入力部43はユーザにより指定された領域R11を示す情報を生成してコントラストAF処理部51に供給し、コントラストAF処理部51は、入力部43から供給された情報に基づいて、正面画像FP11から領域R11を初期合焦領域として抽出する。
【0097】
また、コントラストAF処理部51が画像処理により初期合焦領域を抽出する場合には、例えばコントラストAF処理部51は正面画像FP11に対して画像認識処理を行い、角膜P11の領域を検出する。そして、コントラストAF処理部51は、正面画像FP11における角膜P11を囲む領域R11を初期合焦領域として抽出する。このとき、例えば初期合焦領域とされる領域の範囲は、角膜P11の外側の領域に対するコントラスト評価やエッジ検出の結果に基づいて、抽出条件が満たされるように決定される。
【0098】
また、図3に示す例では、正面画像FP21の中央には網膜P21が被写体として含まれており、その網膜P21の部分には血管がある。この例では、網膜P21部分の領域のうち、大きな血管が含まれる矩形の領域R21が初期合焦領域とされている。
【0099】
血管を含む領域はコントラストが高く、高精度に焦点位置調整を行うことができ、また網膜P21部分は、断層画像上において深さ方向の大よその位置が特定可能である。
【0100】
さらに、図4に示す例では、正面画像FP31の中央には網膜P21が被写体として含まれており、その網膜P21の手前側には眼房内に挿入された術具P31が被写体として含まれている。この例では術具P31の一部分、具体的には術具P31の先端部分を含む矩形の領域R31が初期合焦領域とされている。
【0101】
術具P31を含む領域はコントラストが高く、高精度に焦点位置調整を行うことができ、また術具P31の先端部分は、断層画像上において深さ方向の大よその位置が特定可能である。
【0102】
以上のようにして正面画像から初期合焦領域が抽出されてコントラストAF処理が行われ、初期合焦位置dinitを示す初期焦点位置情報が得られると、その後、オフセット値算出部52ではオフセット値doffsetが算出される。
【0103】
オフセット値算出部52により算出されるオフセット値doffsetは、顕微鏡対物レンズ(観察光学系)の光軸方向における、初期合焦位置dinitから目標焦点位置までの距離を示す情報である。
【0104】
オフセット値doffsetの算出時には、初期合焦位置dinitを示す初期焦点位置情報、および目標焦点位置を示す入力情報と、眼球の構造情報および検査情報のうちの少なくとも何れか一方とが用いられる。
【0105】
オフセット値算出部52は、オフセット値doffsetを算出すると、得られたオフセット値doffsetにより初期合焦位置dinitを補正し、最終的に移動先の目標とすべきカメラ焦点位置である合焦位置dfocussを求め、その合焦位置dfocussを示す最終焦点位置情報をカメラ制御部32に供給する。
【0106】
ここで、合焦位置dfocussは、正面画像において目標焦点位置にある眼臓器に合焦するときのカメラ焦点位置であり、以下の式(1)を計算することで得ることができる。
【0107】
【数1】
【0108】
カメラ制御部32は、カメラ画像取得部31を制御して、カメラ焦点位置が最終焦点位置情報により示される合焦位置dfocussとなるように顕微鏡対物レンズを移動させることで、正面画像において、ユーザにより目標焦点位置として指定された眼臓器に合焦させることができる。
【0109】
このように手術顕微鏡システム11では、一旦、容易に合焦可能な被写体へと合焦させた後、その被写体と目標焦点位置とのオフセット値doffsetが求められ、オフセット値doffsetから最終的な合焦位置dfocussが算出される。
【0110】
このようにすることで、被写体である眼のピントを合わせたい部位(臓器)が透明体である場合でも、眼の任意の部位を所望する目標焦点位置として、高速かつ高精度に目標焦点位置へと焦点を合わせることができる。本技術による手法は、眼の内側、すなわち角膜内皮よりも内側に位置する眼臓器(臓器)を目標焦点位置とする場合に特に有用である。ここでいう角膜内皮よりも内側にある眼臓器とは、眼球内における角膜内皮よりも網膜側にある臓器である。
【0111】
なお、手術顕微鏡システム11では、コントラストAF処理が行われた後、その結果得られた初期合焦位置dinitが用いられて合焦位置dfocussが算出され、その合焦位置dfocussへとカメラ焦点位置が移動される。より詳細には、これらのコントラストAF処理を含む、合焦位置dfocussへとカメラ焦点位置を移動させる一連の焦点調整処理が、手術顕微鏡システム11で行われるAF処理となる。
【0112】
ここで、オフセット値doffsetの算出の具体例について説明する。
【0113】
まず、図5を参照して初期合焦位置dinit、オフセット値doffset、および合焦位置dfocussの関係について説明する。
【0114】
図5に示す例では、観察対象の被写体である患者の眼EY11の断面と、カメラ画像取得部31を構成する顕微鏡対物レンズ91とが図示されている。なお、図中、縦方向は顕微鏡対物レンズ91の光軸方向、すなわち深さ方向となっている。
【0115】
例えば図5では、矢印A11により示される部分が眼EY11の角膜となっており、特に矢印A12により示される角膜の内側部分が角膜内皮となっている。
【0116】
また、眼EY11の角膜の内側部分、すなわち矢印A13により示される部分が眼房であり、その直下にある矢印A14により示される部分が水晶体である。さらに、水晶体の前面の膜の一部を覆うように設けられた矢印A15により示される部分が虹彩となっており、その虹彩の中央の矢印A16により示される孔部分が瞳孔となっている。
【0117】
また、眼EY11の角膜外側の周囲にある、矢印A17により示される部分が強膜となっており、眼球内側の水晶体近傍にある矢印A18により示される部分が毛様体筋となっており、その毛様体筋と水晶体とを接続する矢印A19により示される部分が毛様体小帯となっている。さらに矢印A20により示される眼球内側の部分が網膜となっている。
【0118】
いま、眼EY11における透明体である水晶体の前面の膜の部分、すなわち矢印A14により示される水晶体の図中、上側の前嚢と呼ばれる表面部分が目標焦点位置として指定されたとする。
【0119】
また、例えば眼EY11の透明体ではない強膜部分における角膜近傍の領域が初期合焦領域とされて、その強膜上の血管の位置、すなわち矢印Q11により示される位置が初期合焦位置dinitとして検出されたとする。
【0120】
ここで、初期合焦位置dinitは、例えば所定の位置を基準とする、検出された強膜上の血管の位置である。換言すれば、初期合焦位置dinitは、顕微鏡対物レンズ91の光軸方向(以下、Z方向とも称する)における所定の基準となる位置から、検出された強膜上の血管の位置までの距離である。なお、図5では所定の基準となる位置は点線が描かれている位置とされている。
【0121】
この場合、初期合焦位置dinitから、目標焦点位置である水晶体前面の膜(前嚢)までの距離、すなわち矢印Q12により示される距離を示す値がオフセット値doffsetとされる。図5の例ではオフセット値doffsetは負の値となる。
【0122】
そして、このようにして得られた初期合焦位置dinitとオフセット値doffsetとから式(1)により求まる位置が最終的な合焦位置dfocussとされる。ここでは、合焦位置dfocussは矢印Q13により示される位置となり、この合焦位置dfocussがユーザにより指定された目標焦点位置となるはずである。
【0123】
このようにオフセット値doffsetは、目標焦点位置と初期合焦位置dinitとの間のZ方向の距離であり、このオフセット値doffsetはヒトの眼球の解剖情報、すなわち眼球の構造に関する情報により求まる。
【0124】
オフセット値doffsetの算出に用いられる眼球の構造に関する情報は、例えば構造情報データベース保持部25に保持されている構造情報や、外部診断装置26で得られる検査情報である。
【0125】
例えば検査情報としての断層画像には各眼臓器が被写体として含まれている。したがって、断層画像に対して適宜、画像認識処理等を行えば、断層画像における各眼臓器の位置関係を特定することができるので、眼球の構造情報だけでなく断層画像も眼球の構造に関する情報であるということができる。同様に、検査情報としての眼の眼軸長などの計測結果を示す情報も眼の構造を示す情報であり、このような計測結果等からも各眼臓器の位置関係を特定することが可能であるから、計測結果等の検査情報も眼球の構造に関する情報であるということができる。
【0126】
具体的な例として、例えば構造情報データベース保持部25に保持されている、ヒトの眼球の統計的な解剖情報、つまり統計的な眼球構造を示す構造情報が用いられる場合について説明する。
【0127】
例えば、眼球の所定の基準となる位置から眼の各臓器までの距離を示す情報が眼球の構造を示す構造情報として構造情報データベース保持部25に保持されているとする。
【0128】
なお、ここでは眼球の所定の基準となる位置は、角膜表面の頂点位置、つまり角膜頂点の位置であるものとする。したがって、例えば角膜頂点から強膜上の血管の位置までの物理的な距離Xmm、角膜頂点から前嚢(水晶体前面の膜)までの物理的な距離Ymmなどといった、角膜頂点から各臓器までの距離を示す情報、すなわち各臓器の深さ位置情報が構造情報となっている。
【0129】
このような眼球の構造情報を参照すれば、オフセット値doffsetを算出することが可能である。ここでは構造情報により示される各臓器の深さ方向(Z方向)の位置と、カメラ焦点位置との対応関係は、顕微鏡対物レンズ91の光学倍率等から既知であるものとする。
【0130】
例えば図5に示した例では、オフセット値算出部52は、初期合焦位置dinitと構造情報とに基づいて、角膜頂点から、初期合焦位置dinitにより示される位置、すなわち強膜上の血管の位置までの距離Xmmを特定する。
【0131】
なお、初期合焦領域内の眼の臓器(部位)、すなわち初期合焦位置dinitにある眼の臓器が特定されている場合には、初期合焦位置dinitを用いなくても、構造情報のみに基づいて角膜頂点からその初期合焦領域内の臓器までの距離を得ることができる。
【0132】
また、オフセット値算出部52は構造情報を参照することで、角膜頂点から、入力情報により示される目標焦点位置である前嚢(水晶体前面の膜)までの距離Ymmを特定する。そして、オフセット値算出部52は、距離Xmmと距離Ymmの差(Y-X)を求め、求めた差(Y-X)をオフセット値doffsetとする。
【0133】
さらに、ここでは構造情報データベース保持部25に保持されている構造情報を用いてオフセット値doffsetを得る例について説明したが、検査情報としての断層画像を用いても同様にしてオフセット値doffsetを得ることができる。
【0134】
そのような場合、例えばオフセット値算出部52は、検査情報としての断層画像に対する画像認識処理を行って、断層画像上から目標焦点位置として指定された眼の臓器の領域を検出する。また、オフセット値算出部52は、必要に応じて既知である顕微鏡対物レンズ91の光学倍率等の情報を用いて、断層画像上における初期合焦位置dinitに対応する位置を特定する。
【0135】
この場合においても、初期合焦領域内の眼の臓器(部位)が特定されている場合には、初期合焦位置dinitを用いなくても、画像認識処理の結果から、断層画像上における初期合焦位置dinitに対応する位置、つまり初期合焦領域に含まれる臓器の断層画像上の位置を推定することが可能である。
【0136】
オフセット値算出部52は、断層画像上における初期合焦位置dinitに対応する位置から、目標焦点位置として指定された眼の臓器の位置までの距離を求め、求めた距離からオフセット値doffsetを算出する。
【0137】
特に、術中に得られた断層画像をオフセット値doffsetの算出に用いる場合には、手術により生じる眼内レンズの挿入等の患者の眼の構造変化にも対応することが可能である。
【0138】
さらに、初期合焦位置dinitが術具の位置である場合にも、初期合焦位置dinitに対応する部位が眼の臓器である場合と同様にしてオフセット値doffsetを得ることができる。特に、初期合焦位置dinitが術具の位置である場合、その術具の種類や、どのような処置(手技)を行っているかを示すコンテキスト情報を用いてオフセット値doffsetを求めることが可能である。
【0139】
例えば術具の種類やコンテキスト情報は、ユーザが入力部43を操作して入力し、オフセット値算出部52がその入力操作に応じた入力情報を取得することで得るようにしてもよい。また、オフセット値算出部52が検査情報として供給された断層画像や正面画像に対して画像認識処理を行うことで、術具の種類やコンテキスト情報を得るようにしてもよい。
【0140】
具体的には、例えば術具として水晶体吸引機器が用いられており、その水晶体吸引機器の針先部分が初期合焦領域に含まれているものとする。この場合、オフセット値算出部52は、術中に得られた断層画像に対する画像認識処理を行うことで、術具としての水晶体吸引機器の針先を特定し、その特定結果として得られた断層画像上における水晶体吸引機器の針先の位置を、初期合焦位置dinitに対応する位置とする。なお、初期合焦位置dinitに対応する位置の特定にあたっては、初期合焦位置dinitも用いられるようにしてもよい。
【0141】
その他、コントラストAF処理部51においても正面画像や断層画像に対する画像認識処理の結果として得られる術具の種類や術具の位置、入力情報から得られるコンテキスト情報などが利用されて初期合焦領域が抽出されるようにしてもよい。
【0142】
ところで、例えば構造情報データベース保持部25に保持されている構造情報等を用いてオフセット値doffsetを求める場合、眼球の解剖(構造)には個人差があるため、必ずしも全ての患者について正確なオフセット値doffsetを得ることができないことがある。
【0143】
そこで、例えば外部診断装置26で得られる、患者固有の情報を用いてオフセット値doffsetを補正することで、より正確なオフセット値が得られるようにしてもよい。
【0144】
具体的な例として、例えば検査情報として用いられる患者固有の情報としては、患者の特徴を示す患者個人情報や、患者の眼球の形状を示す患者眼球形状情報、患者の眼の断層画像などが考えられる。
【0145】
ここで、患者個人情報は、例えば患者の年齢や性別、体格、人種などの情報であり、患者眼球形状情報は、手術前の検査で得られた患者の眼の眼軸長や前房深度などの眼球形状を示す数値情報などである。なお、眼軸長はZ方向における角膜頂点から網膜までの距離であり、前房深度は角膜内皮から前嚢までの距離である。
【0146】
また、患者固有の情報としての断層画像は、例えば患者の眼の手術前、または手術中に外部診断装置26としてのOCT装置やシャインプルークカメラで取得(計測)された断層画像などとすることができる。
【0147】
この場合、例えば所定の変数aおよび変数bを、患者固有の情報に依存する値であるとすると、補正後のオフセット値d’offsetは、次式(2)で表すことができる。
【0148】
【数2】
【0149】
例えばオフセット値算出部52は、外部診断装置26から患者固有の情報として供給された検査情報、すなわち上述した患者個人情報や患者眼球形状情報、断層画像に基づいて、患者個人についての変数aおよび変数bを算出する。
【0150】
そして、オフセット値算出部52は、算出した変数aおよび変数bと、オフセット値doffsetとに基づいて上述した式(2)を計算することで、補正後のオフセット値d’offsetを算出する。また、オフセット値算出部52は、得られたオフセット値d’offsetと初期合焦位置dinitとに基づいて式(1)と同様の計算を行い、最終的な合焦位置dfocussを算出する。
【0151】
なお、手術中の処置の結果などにより患者の眼球構造が変化するので、その変化に対応するために、オフセット値doffsetの補正に用いる変数aおよび変数bを適切なタイミングで再計算したり更新したりするようにしてもよい。
【0152】
さらに手術顕微鏡システム11では、合焦位置dfocussへとカメラ焦点位置が移動され、目標焦点位置にピントが合うようになされると、表示部23において合焦位置表示画像が表示される。
【0153】
例えば正面画像において前嚢などの透明体上に合焦している状態では、術者であるユーザは表示用正面画像を見ても、その正面画像からは合焦位置を把握することは困難である。そこで、手術顕微鏡システム11では、現時点における合焦位置を示す合焦位置表示画像を表示することで、ユーザが直感的に合焦位置を把握することができるようにした。
【0154】
上述したように合焦位置表示画像は、外部診断装置26で得られた実際の患者の断層画像上にカメラ焦点位置を示す情報が重畳された画像であってもよいし、一般的な眼球の断層図(解剖図)上にカメラ焦点位置を示す情報が重畳された画像であってもよい。
【0155】
なお、合焦位置表示画像の生成に用いられる断層画像は、患者の眼の手術の前、つまり術前に外部診断装置26で得られたものであってもよいし、術中に外部診断装置26で得られたものであってもよい。
【0156】
また、合焦位置表示画像の具体的な例としては、例えば図6図7図8に示すものなどが考えられる。なお、図6乃至図8において、互いに対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【0157】
図6に示す例では、合焦位置表示画像FPP11は、一般的な眼球の断層図上に現時点におけるカメラ焦点位置、すなわち合焦位置dfocussを示す直線L11乃至直線L13が表示された画像となっている。特に合焦位置表示画像FPP11では、図中、縦方向がZ方向となっている。
【0158】
図6では、眼球の断層図として、眼球の断面の図である眼EY21が表示されており、その眼EY21における合焦位置dfocussに対応する位置に直線L11が描かれている。また、直線L11を中心とする所定の幅の領域の端部分の位置に、点線の直線L12および直線L13が描かれている。すなわち、直線L11は直線L12と直線L13の中間に位置している。
【0159】
特に、ここでは直線L11の位置が合焦位置dfocussに対応する位置であり、ユーザは直線L11を見ることで、正面画像では、その直線L11がある部位の位置にピントが合っていることを直感的に把握することができる。
【0160】
また、直線L11から直線L12までの間の領域と、直線L11から直線L13までの間の領域は、大よそピントが合っている領域となっている。そのため、ユーザは直線L12や直線L13を見ることで、正面画像においてどの深さまでピントが合っているかを直感的に把握することができる。
【0161】
合焦位置表示画像FPP11では、合焦位置dfocussが変化すると、その変化に応じて直線L11乃至直線L13も図中、縦方向に移動する。このような合焦位置表示画像FPP11を表示用正面画像と並べて同時に表示させれば、容易に合焦位置dfocussを把握することができ、手術顕微鏡システム11の使い勝手を向上させることができる。
【0162】
なお、直線L12から直線L13までの間の領域に、帯状で所定色の半透明のカラー画像が重畳表示され、そのカラー画像の各領域の色の表示濃度が合焦度合いに応じた濃度とされるようにしてもよい。
【0163】
例えば合焦度合いが高い領域ほど、その領域が濃く表示されるとすると、カラー画像では直線L11近傍の領域が濃い濃度で表示され、直線L12や直線L13に近づくほど、つまり直線L11から遠い領域ほど薄い濃度で表示されることになる。
【0164】
また、図7に示す例では、合焦位置表示画像FPP21は、実際の患者の眼の断層画像上に現時点におけるカメラ焦点位置、すなわち合焦位置dfocussを示す直線L11乃至直線L13が表示された画像となっている。特に合焦位置表示画像FPP21では、図中、縦方向がZ方向となっている。
【0165】
さらに、図8に示す例では、合焦位置表示画像FPP31は、実際の患者の眼の断層画像上に現時点におけるカメラ焦点位置、すなわち合焦位置dfocussを示す矢印L31が表示された画像となっている。
【0166】
特に合焦位置表示画像FPP31では、図中、縦方向がZ方向となっており、矢印L31の位置が合焦位置dfocussに対応する位置となっている。また、合焦位置表示画像FPP31では、合焦位置dfocussが変化すると、その変化に応じて矢印L31も図中、縦方向に移動する。したがって、ユーザは矢印L31を見ることで、正面画像では、その矢印L31がある部位の位置にピントが合っていることを直感的に把握することができる。
【0167】
なお、例えば図6図7図8に示した合焦位置表示画像に対するタッチ操作等により目標焦点位置の入力が行われる場合には、ユーザは表示部23に表示された合焦位置表示画像の所望の位置をタッチ操作等により指定することで入力を行う。
【0168】
例えば図6の例では、ユーザは合焦位置表示画像FPP11上における前嚢の部分を入力部43に対するタッチ操作により指定すると、その指定された前嚢部分が目標焦点位置として入力されることになる。
【0169】
〈観察処理の説明〉
次に、手術顕微鏡システム11全体の動作について説明する。すなわち、以下、図9のフローチャートを参照して、手術顕微鏡システム11による観察処理について説明する。この観察処理は、術者等であるユーザにより入力部43が操作され、目標焦点位置の入力が行われると開始される。
【0170】
ステップS11において、入力部43は、ユーザによる入力部43に対する操作に応じて、ユーザにより入力された目標焦点位置を示す情報を取得し、その目標焦点位置を示す入力情報を生成してオフセット値算出部52に供給する。
【0171】
例えば目標焦点位置の入力は、表示部23に表示された臓器リストに対する選択操作により行われるようにしてもよいし、合焦位置表示画像上の所望の臓器(部位)の位置を指定することにより行われるようにしてもよい。
【0172】
ステップS12において、カメラ画像取得部31は観察対象の眼の正面画像を取得し、得られた正面画像をコントラストAF処理部51および画像表示制御部41に供給する。
【0173】
具体的には、カメラ画像取得部31のイメージセンサは、観察光学系を介して眼から入射した観察光を受光して光電変換することで正面画像を撮像する。また、カメラ画像取得部31の画像処理ユニットは、イメージセンサで得られた正面画像に対して、ホワイトバランス調整等の各種の画像処理を施し、最終的な正面画像とする。
【0174】
画像表示制御部41は、カメラ画像取得部31から供給された正面画像に基づいて表示用正面画像を生成するとともに表示用正面画像を表示部23に供給し、表示させる。
【0175】
ステップS13において、コントラストAF処理部51は、カメラ画像取得部31から供給された正面画像から初期合焦領域を抽出する。
【0176】
例えばコントラストAF処理部51は、正面画像における予め定められた領域を初期合焦領域として抽出してもよいし、正面画像におけるユーザにより指定された領域を初期合焦領域として抽出してもよい。さらに、コントラストAF処理部51は、正面画像に対する画像認識等の画像処理を行うことで、正面画像における抽出条件を満たす領域を初期合焦領域として抽出してもよい。
【0177】
なお、一度、初期合焦領域が決定されると、その後、コントラストAF処理が行われている間、すなわちステップS12乃至ステップS16の処理が繰り返し行われている間は、処理対象となる各正面画像における同じ位置関係の領域が継続して初期合焦領域とされる。
【0178】
ステップS14において、コントラストAF処理部51は、ステップS13の処理で正面画像から抽出した初期合焦領域を対象としてコントラスト評価値を算出する。
【0179】
また、コントラストAF処理部51は、これまでに行われたステップS14の処理で得られた、各カメラ焦点位置でのコントラスト評価値に基づいて、コントラスト評価値のピーク値を検出する。
【0180】
コントラスト評価値は初期合焦領域のコントラストが高いほど大きくなるので、ピーク値となるコントラスト評価値が得られたときのカメラ焦点位置が初期合焦位置dinitとなる。
【0181】
ステップS15において、コントラストAF処理部51は、コントラスト評価値のピーク値が検出されたか否かを判定する。
【0182】
ステップS15においてコントラスト評価値のピーク値が検出されなかった、つまり初期合焦位置dinitが検出されなかったと判定された場合、その後、処理はステップS16へと進む。この場合、コントラストAF処理部51は、これまでに得られたコントラスト評価値に基づいて、適切な移動先となるカメラ焦点位置を示す焦点位置情報を生成し、カメラ制御部32に供給する。
【0183】
ステップS16において、カメラ制御部32は、コントラストAF処理部51から供給された焦点位置情報に基づいてカメラ画像取得部31を制御し、カメラ焦点位置の調整を行う。すなわち、カメラ制御部32はカメラ画像取得部31を制御して、顕微鏡対物レンズ91のカメラ焦点位置が、コントラストAF処理部51からの焦点位置情報により示されるカメラ焦点位置となるように、顕微鏡対物レンズ91を光軸方向に移動させる。
【0184】
カメラ焦点位置の調整が行われると、その後、処理はステップS12に戻り、ピーク値が検出されるまで上述した処理が繰り返し行われる。
【0185】
これに対して、ステップS15においてコントラスト評価値のピーク値が検出されたと判定された場合、その後、処理はステップS17へと進む。
【0186】
この場合、コントラストAF処理部51は、検出されたピーク値となるコントラスト評価値が得られたときのカメラ焦点位置を初期合焦位置dinitとして、その初期合焦位置dinitを示す初期焦点位置情報をオフセット値算出部52へと供給する。
【0187】
ステップS17において、オフセット値算出部52は構造情報および検査情報を取得する。すなわち、オフセット値算出部52は、構造情報データベース保持部25から眼球の構造情報を取得するとともに、外部診断装置26から検査情報を取得する。
【0188】
ステップS18において、オフセット値算出部52は、ステップS11で入力部43から供給された目標焦点位置を示す入力情報、およびコントラストAF処理部51から供給された初期焦点位置情報に基づいてオフセット値doffsetを算出する。このとき、オフセット値算出部52は、ステップS17で取得した構造情報および検査情報のうちの少なくとも何れか一方の情報も用いてオフセット値doffsetを算出する。また、初期焦点位置情報は、必ずしもオフセット値doffsetの算出に用いられなくてもよい。
【0189】
例えばオフセット値算出部52は、上述したように眼球の構造を示す構造情報や、検査情報としての断層画像を用いて、必要に応じて画像認識等の画像処理を行い、オフセット値doffsetを算出する。なお、オフセット値算出部52が、上述した式(2)の計算を行うことで、オフセット値doffsetを補正するようにしてもよい。
【0190】
ステップS19において、オフセット値算出部52は、ステップS18で得られたオフセット値doffset、および初期焦点位置情報により示される初期合焦位置dinitに基づいて、上述した式(1)を計算することで合焦位置dfocussを算出する。
【0191】
オフセット値算出部52は、このようにして得られた合焦位置dfocussを示す最終焦点位置情報を生成し、カメラ制御部32に供給する。
【0192】
ステップS20において、カメラ制御部32は、オフセット値算出部52から供給された最終焦点位置情報に基づいてカメラ画像取得部31を制御し、カメラ焦点位置の調整を行う。すなわち、カメラ制御部32はカメラ画像取得部31を制御して、顕微鏡対物レンズ91のカメラ焦点位置が、最終焦点位置情報により示される合焦位置dfocussとなるように顕微鏡対物レンズ91を光軸方向に移動させる。
【0193】
これにより、顕微鏡対物レンズ91のカメラ焦点位置が、ステップS11で入力された目標焦点位置にある状態、つまり目標焦点位置として指定された眼の臓器の位置にピントが合った状態となる。
【0194】
また、カメラ制御部32は、合焦位置dfocussを示すカメラ焦点位置情報を合焦位置表示制御部42に供給する。すると、合焦位置表示制御部42は、カメラ制御部32から供給されたカメラ焦点位置情報と、外部診断装置26からの検査情報としての断層画像または予め保持している眼球の断層図とに基づいて合焦位置表示画像を生成する。
【0195】
ステップS21において、合焦位置表示制御部42は、生成した合焦位置表示画像を表示部23に供給し、合焦位置表示画像を表示部23に表示させる。これにより、例えば図6図7図8に示した合焦位置表示画像が表示される。なお、合焦位置表示画像は、目標焦点位置に合焦したタイミングに限らず、正面画像の取得が開始された後、継続して表示され、カメラ焦点位置が変化するたびに更新されるようにしてもよい。
【0196】
合焦位置表示画像が表示されると、その後、観察処理は終了する。
【0197】
以上のようにして手術顕微鏡システム11は、コントラストAF処理により眼の所定の臓器等の位置に合焦させておき、その後、目標焦点位置とのオフセット値doffsetを求めて、最終的な合焦位置dfocussを算出する。このようにすることで、目標焦点位置が透明体である場合であっても、その目標焦点位置に高速に合焦させることができる。すなわち、被写体の所望の位置に合焦させることができる。
【0198】
〈第2の実施の形態〉
〈手術顕微鏡システムの構成例〉
ところで、手術顕微鏡システム11では、AF処理、つまりカメラ焦点位置の調整を行う度に初期合焦領域内のコントラストが高い領域に合焦させる必要があるため、AF処理中に継続して目標焦点位置にある透明体への合焦状態を維持することはできない。すなわち、合焦状態の術野映像の提供が一時的に中断されることになる。
【0199】
したがって、例えば手術顕微鏡システム11において、逐次AF処理を行って、継続的に目標焦点位置へと合焦させるコンティニュアスAF処理のように、頻繁にAF処理が行われる場合には、初期合焦領域内のコントラストが高い領域に合焦した後、目標焦点位置へと合焦する動作が繰り返し行われることになる。つまり、初期合焦領域内の部位に焦点が合っている状態と、目標焦点位置に焦点が合っている状態とが交互に繰り返されるので、目標焦点位置に合焦している状態の術野を継続して提供することが困難である。
【0200】
そこで、手術顕微鏡システムにおいて、正面画像を取得するためのカメラユニットとは別に、カメラ焦点位置の調整、つまりAF処理用のカメラユニットを設けることで、目標焦点位置に合焦した映像(正面画像)を提示しながら継続的に焦点位置を追従できるようにしてもよい。すなわち、眼の観察用のカメラユニットと、AF処理用のカメラユニットとを分離することで、頻繁にAF処理が行われる場合においても継続して目標焦点位置に合焦した正面画像が提供できるようにしてもよい。
【0201】
そのような場合、本技術を適用した手術顕微鏡システムは、例えば図10に示すように構成される。なお、図10において図1における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【0202】
図10に示す手術顕微鏡システム201は、カメラユニット21、ユーザI/O22、表示部23、AF用カメラユニット211、構造情報データベース保持部25、外部診断装置26、およびオフセット値算出部52を有している。
【0203】
また、カメラユニット21は、カメラ画像取得部31およびカメラ制御部32を有しており、これらのカメラ画像取得部31およびカメラ制御部32は、図1における場合と同様の動作を行う。
【0204】
さらに、手術顕微鏡システム201のユーザI/O22は、画像表示制御部41、合焦位置表示制御部42、および入力部43を有しており、これらの画像表示制御部41乃至入力部43は図1における場合と同様の動作を行う。
【0205】
このような手術顕微鏡システム201の構成は、図1に示した手術顕微鏡システム11のコントラストAF処理部51に代えてAF用カメラユニット211を設けた構成となっている。
【0206】
このAF用カメラユニット211は、カメラ画像取得部31による観察対象の眼の観察時、つまり正面画像の取得時に正面画像において目標焦点位置へと合焦させるAF処理のためのユニットである。AF用カメラユニット211は、AF用画像取得部221、AF用カメラ制御部222、およびAF処理部223を有している。
【0207】
AF用画像取得部221は、例えば正面画像の被写体となる患者の眼を被写体としてAF処理用の画像であるAF用カメラ画像を撮像し、AF処理部223に供給する。このAF用カメラ画像は、正面画像の取得時に撮像される。
【0208】
例えばAF用画像取得部221は、AF用カメラ画像を撮像するAF用イメージセンサや、被写体となる眼からの光をAF用イメージセンサへと導くAF用観察光学系を有している。
【0209】
また、例えばAF用観察光学系における観察対象の眼側の端には、AF用カメラ画像撮像時におけるAF用観察光学系の焦点位置を調整するためのAF用対物レンズが設けられている。以下では、AF用観察光学系の焦点位置、すなわちAF用対物レンズの焦点位置を特にAF用カメラ焦点位置とも称することとする。また、AF用対物レンズの光軸方向はZ方向であるものとする。
【0210】
なお、AF用観察光学系の一部は、カメラ画像取得部31の観察光学系と共有されるようにしてもよい。そのような場合、AF用観察光学系に顕微鏡対物レンズ91が含まれるときには、AF用対物レンズに代えてAF用観察光学系上に観察光学系と非共通のAF用フォーカスレンズを設け、そのAF用フォーカスレンズによりAF用カメラ焦点位置の調整を行えばよい。例えば、正面画像が可視光の画像であり、AF用カメラ画像が赤外光である場合には、正面画像を得るための照明光のZ方向の照射位置に影響を与えることなく、AF用フォーカスレンズによりAF用カメラ焦点位置の調整が可能である。
【0211】
AF用カメラ制御部222は、AF処理部223から供給された、目標とするAF用カメラ焦点位置を示すAF焦点位置情報に基づいてAF用画像取得部221を制御し、AF用画像取得部221のAF用対物レンズを移動させることで焦点位置の調整を行う。
【0212】
AF処理部223は、AF用画像取得部221から供給されたAF用カメラ画像に基づいてAF処理を行うことにより初期合焦位置dinitを算出し、その初期合焦位置dinitを示す初期焦点位置情報をオフセット値算出部52に供給する。
【0213】
また、AF処理部223は、AF処理時において逐次、目標とすべき適切なAF用カメラ焦点位置を算出し、そのAF用カメラ焦点位置を示すAF焦点位置情報をAF用カメラ制御部222に供給する。
【0214】
例えばAF処理部223は、AF処理としてコントラストAF処理や位相差AF処理を行うが、これに限らず他のどのような処理が行われるようにしてもよい。なお、以下では、AF処理部223において、AF処理としてコントラストAF処理が行われるものとして説明を続ける。
【0215】
この場合、AF処理部223は、AF用カメラ画像から初期合焦領域を抽出する。ここで、初期合焦領域は、上述した第1の実施の形態における場合と同様に、AF用カメラ画像における抽出条件を満たす領域とされる。
【0216】
また、AF用カメラ画像の初期合焦領域も予め定められた領域であってもよいし、ユーザにより指定された領域であってもよいし、AF処理部223により画像処理が行われて抽出された領域であってもよい。
【0217】
AF処理部223は、初期合焦領域を抽出すると、その初期合焦領域のみを対象としてコントラストAF処理を行い、初期合焦位置dinitを算出する。
【0218】
AF処理部223によるコントラストAF処理では、各AF用カメラ焦点位置で得られたAF用カメラ画像について、初期合焦領域が対象とされてコントラスト評価値が算出され、コントラスト評価値が最も高くなるAF用カメラ焦点位置が検出される。コントラストAF処理により検出されたAF用カメラ焦点位置は、初期合焦領域に含まれる眼の臓器等の領域に焦点が合う状態となるAF用カメラ焦点位置である。
【0219】
AF処理部223は、コントラストAF処理により検出したAF用カメラ焦点位置に対応する顕微鏡対物レンズ91のカメラ焦点位置を初期合焦位置dinitとする。このようなAF処理部223は、上述のコントラストAF処理部51に対応し、コントラストAF処理により初期合焦位置dinitを検出する初期合焦位置検出部として機能するということができる。
【0220】
なお、AF用対物レンズの焦点距離と、顕微鏡対物レンズ91の焦点距離の関係は、例えば事前の校正などにより既知であり、AF用対物レンズと顕微鏡対物レンズ91の一方の焦点位置を他方の焦点位置に変換することが可能であるものとする。
【0221】
また、AF用カメラユニット211とカメラユニット21は、それぞれ独立した可視光のカメラユニットであってもよいし、AF用カメラユニット211は、より高精度にAF処理を行うために、赤外線カメラなど、特定波長に感度を有するものとされてもよい。
【0222】
さらに、AF用カメラユニット211とカメラユニット21は、個別の2台のカメラシステムとされてもよいし、カメラ画像取得部31のイメージセンサと、AF用イメージセンサとからなる、2つのイメージセンサを有するカメラである二板カメラによりAF用カメラユニット211およびカメラユニット21が構成されるようにしてもよい。
【0223】
また、手術顕微鏡システム201では、例えばカメラ制御部32、ユーザI/O22、オフセット値算出部52、およびAF用カメラユニット211からなる構成が、正面画像を取得するビデオ手術顕微鏡のフォーカス制御を行ったり、表示部23への画像の表示を制御したりする制御装置として機能する。
【0224】
その他、例えば手術顕微鏡システム201では、初期合焦領域に応じて、初期合焦位置dinitを更新する時間間隔(頻度)である時間間隔パラメータや、一度にAF用カメラ焦点位置を移動させる移動量(距離)の最大値である調整速度パラメータなどの焦点調整に関するパラメータを動的に変更するようにしてもよい。そうすることで、より高速かつ効率的な焦点位置調整を実現することができる。
【0225】
ここで、時間間隔パラメータは、AF用カメラユニット211において、初期合焦位置dinitを再計算(更新)する時間間隔である。
【0226】
また、調整速度パラメータは、コントラストAF処理時において、一回のコントラスト評価、つまりコントラスト評価値の算出を行ったときに、その評価結果に応じて更新されるAF用カメラ焦点位置の調整量(変化量)としてとり得る値の最大値である。
【0227】
この最大値によって一度にAF用カメラ焦点位置を移動させる距離が制限されるので、結果としてAF用カメラ焦点位置を調整するときの調整速度、つまりAF用カメラ焦点位置の移動速度が制限されることになる。
【0228】
例えばAF用カメラ画像上の初期合焦領域として、眼の強膜上の血管を被写体として含む領域が抽出されたとする。この場合、強膜上の血管構造の位置は大きく上下に、つまりZ方向に運動しないと仮定できることから、時間間隔パラメータにより示される時間間隔が長く設定され、調整速度パラメータにより示される調整量の最大値が小さく設定される。
【0229】
また、例えばAF用カメラ画像上の初期合焦領域として、術具などの深さ方向(Z方向)に動く物体を被写体として含む領域が抽出されたとする。この場合、術具は頻繁に動かされる可能性が高いことから、時間間隔パラメータにより示される時間間隔が短く設定され、調整速度パラメータにより示される調整量の最大値が大きく設定される。
【0230】
〈観察処理の説明〉
次に、図11のフローチャートを参照して、手術顕微鏡システム201により行われる観察処理について説明する。
【0231】
ステップS51において、入力部43は、ユーザによる入力部43に対する操作に応じて、ユーザにより入力された目標焦点位置を示す情報を取得し、その目標焦点位置を示す入力情報を生成してオフセット値算出部52に供給する。ステップS51では、図9のステップS11と同様の処理が行われる。
【0232】
ステップS52において、AF用画像取得部221は観察対象の眼のAF用カメラ画像を取得し、得られたAF用カメラ画像をAF処理部223に供給する。
【0233】
具体的には、AF用イメージセンサは、AF用観察光学系を介して眼から入射した光を受光して光電変換することでAF用カメラ画像を撮像する。また、AF用画像取得部221は、AF用イメージセンサで得られたAF用カメラ画像に対して、ホワイトバランス調整等の各種の画像処理を施し、最終的なAF用カメラ画像とする。
【0234】
また、AF用カメラ画像の取得が開始されると、それと同時にカメラ画像取得部31でも正面画像の取得が開始され、表示部23に表示用正面画像が表示される。
【0235】
ステップS53において、AF処理部223は、AF用画像取得部221から供給されたAF用カメラ画像から初期合焦領域を抽出する。このステップS53では、図9のステップS13と同様の処理が行われる。
【0236】
また、AF処理部223は、初期合焦領域を抽出すると、その初期合焦領域に応じて時間間隔パラメータおよび調整速度パラメータを設定する。
【0237】
なお、初期合焦領域内にどのような眼の臓器等が被写体として含まれているかは、例えばAF用カメラ画像における初期合焦領域の位置や、AF用カメラ画像に対する画像認識等により特定することが可能である。AF処理部223は、初期合焦領域内に含まれている被写体に応じて、時間間隔パラメータおよび調整速度パラメータを設定する。
【0238】
ステップS54において、AF処理部223は、ステップS53の処理でAF用カメラ画像から抽出した初期合焦領域を対象としてコントラスト評価値を算出する。ステップS54では、図9のステップS14と同様の処理が行われる。
【0239】
また、AF処理部223は、これまでに行われたステップS54の処理で得られた、各AF用カメラ焦点位置でのコントラスト評価値に基づいて、コントラスト評価値のピーク値を検出する。
【0240】
ステップS55において、AF処理部223は、コントラスト評価値のピーク値が検出されたか否かを判定する。
【0241】
ステップS55においてコントラスト評価値のピーク値が検出されなかった、つまり初期合焦位置dinitが検出されなかったと判定された場合、その後、処理はステップS56へと進む。
【0242】
この場合、AF処理部223は、これまでに得られたコントラスト評価値と、設定した調整速度パラメータとに基づいて、適切な移動先となるAF用カメラ焦点位置を示すAF焦点位置情報を生成し、AF用カメラ制御部222に供給する。
【0243】
ステップS56において、AF用カメラ制御部222はAF処理部223から供給されたAF焦点位置情報に基づいてAF用画像取得部221を制御し、AF用カメラ焦点位置の調整を行う。
【0244】
すなわち、AF用カメラ制御部222はAF用画像取得部221を制御して、AF用対物レンズのAF用カメラ焦点位置が、AF処理部223からのAF焦点位置情報により示されるAF用カメラ焦点位置となるように、AF用対物レンズを光軸方向に移動させる。
【0245】
AF用カメラ焦点位置の調整が行われると、その後、処理はステップS52に戻り、ピーク値が検出されるまで上述した処理が繰り返し行われる。
【0246】
これに対して、ステップS55においてコントラスト評価値のピーク値が検出されたと判定された場合、AF用カメラ画像における初期合焦領域内の被写体に合焦した状態となったので、その後、処理はステップS57へと進む。
【0247】
この場合、AF処理部223は、検出されたピーク値となるコントラスト評価値が得られたときのAF用カメラ焦点位置を、顕微鏡対物レンズ91のカメラ焦点位置へと変換し、その結果得られたカメラ焦点位置を初期合焦位置dinitとする。そして、AF処理部223は、その初期合焦位置dinitを示す初期焦点位置情報をオフセット値算出部52に供給する。
【0248】
以上の処理により初期合焦位置dinitが得られると、その後、ステップS57乃至ステップS61の処理が行われる。
【0249】
これらの処理が行われると、顕微鏡対物レンズ91のカメラ焦点位置が合焦位置dfocussへと移動されて、正面画像では目標焦点位置にある部位に焦点が合った状態となり、また表示部23には合焦位置表示画像が表示される。
【0250】
なお、これらのステップS57乃至ステップS61の処理は、図9のステップS17乃至ステップS21の処理と同様であるので、その説明は省略する。
【0251】
ステップS61の処理が行われて合焦位置表示画像が表示されると、その後、処理はステップS62へと進む。
【0252】
ステップS62においてカメラ制御部32は、正面画像を取得して患者の眼を観察する処理を終了するか否かを判定する。例えばユーザが入力部43等を操作して、観察の終了などを指示した場合、処理を終了すると判定される。
【0253】
ステップS62において、まだ処理を終了しないと判定された場合、その後、処理はステップS52に戻り、上述した処理が繰り返し行われる。
【0254】
このとき、例えば最後に初期合焦位置dinitが求められてから、設定されている時間間隔パラメータにより示される時間が経過した後、次のステップS52乃至ステップS56の処理が開始される。また、処理の途中でユーザにより新たな目標焦点位置が入力された場合、つまり目標焦点位置が更新された場合には、ステップS51の処理が行われ、その後、ステップS52以降の処理が実行される。
【0255】
一方、ステップS62において、処理を終了すると判定された場合、手術顕微鏡システム201の各部は、患者の眼を観察するための動作を停止して観察処理は終了する。
【0256】
以上のようにして手術顕微鏡システム201は、カメラ画像取得部31とは異なるAF処理用のAF用画像取得部221により得られたAF用カメラ画像に基づいて、コントラストAF処理により初期合焦位置dinitを求める。そして、手術顕微鏡システム201は、その初期合焦位置dinitから最終的な合焦位置dfocussを算出し、目標焦点位置にある部位へと顕微鏡対物レンズ91のカメラ焦点位置を移動させる。
【0257】
このようにすることで、目標焦点位置が透明体である場合であっても、その目標焦点位置に高速かつ高精度に合焦させることができる。すなわち、被写体の所望の位置に合焦させることができる。
【0258】
特に、手術顕微鏡システム201では、正面画像の焦点位置、つまり顕微鏡対物レンズ91の焦点位置に影響を与えないAF用カメラユニット211により初期合焦位置dinitを求めるようにした。したがって、正面画像において常に目標焦点位置にある透明体等の被写体に合焦した状態のまま、顕微鏡対物レンズ91の合焦位置dfocussを求めることができる。すなわち、合焦させようとする被写体のZ方向の動きに追従させて顕微鏡対物レンズ91のカメラ焦点位置を適切な位置に移動させることができる。
【0259】
以上のように、本技術によれば、観察対象の被写体の合焦させようとする部位が透明体である場合であっても、その部位に合焦させることができ、ぼけのない鮮明な正面画像、すなわち鮮明な手術映像を提供することができる。
【0260】
このように鮮明な手術映像を得ることができれば、術者等は手術顕微鏡システム、特にビデオ手術顕微鏡に対する操作を行う回数を低減させることができるので、手術の高効率化および手術時間の短縮を図ることができる。
【0261】
また、合焦位置を示す合焦位置表示画像を表示させるようにしたので、ユーザは直感的に顕微鏡対物レンズ91の焦点位置、つまりピントの合った位置を把握することができる。
【0262】
さらに、第2の実施の形態では、顕微鏡対物レンズ91のカメラ焦点位置を必要以上に動かすことなく、コンティニュアスAFにより目標焦点位置にある透明体等の被写体に合焦した状態を維持し、目的とする被写体の移動に高速に追従させることができる。
【0263】
〈コンピュータの構成例〉
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【0264】
図12は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【0265】
コンピュータにおいて、CPU(Central Processing Unit)501,ROM(Read Only Memory)502,RAM(Random Access Memory)503は、バス504により相互に接続されている。
【0266】
バス504には、さらに、入出力インターフェース505が接続されている。入出力インターフェース505には、入力部506、出力部507、記録部508、通信部509、及びドライブ510が接続されている。
【0267】
入力部506は、キーボード、マウス、マイクロホン、撮像素子などよりなる。出力部507は、ディスプレイ、スピーカなどよりなる。記録部508は、ハードディスクや不揮発性のメモリなどよりなる。通信部509は、ネットワークインターフェースなどよりなる。ドライブ510は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体511を駆動する。
【0268】
以上のように構成されるコンピュータでは、CPU501が、例えば、記録部508に記録されているプログラムを、入出力インターフェース505及びバス504を介して、RAM503にロードして実行することにより、上述した一連の処理が行われる。
【0269】
コンピュータ(CPU501)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体511に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【0270】
コンピュータでは、プログラムは、リムーバブル記録媒体511をドライブ510に装着することにより、入出力インターフェース505を介して、記録部508にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部509で受信し、記録部508にインストールすることができる。その他、プログラムは、ROM502や記録部508に、あらかじめインストールしておくことができる。
【0271】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【0272】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【0273】
例えば、本技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【0274】
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
【0275】
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
【0276】
さらに、本技術は、以下の構成とすることも可能である。
【0277】
(1)
手術対象の患者の眼の観察画像に含まれる所定の被写体に合焦したときの焦点位置を初期合焦位置として検出する初期合焦位置検出部と、
眼球の構造に関する情報に基づいて、前記眼の角膜内皮よりも内側にある目標眼臓器と前記初期合焦位置との間の距離を示すオフセット値を決定し、前記オフセット値および前記初期合焦位置に基づいて、前記目標眼臓器に合焦する焦点位置である合焦位置を算出する算出部と
を備える制御装置。
(2)
前記算出部により算出された前記合焦位置となるように焦点位置を調整する制御部をさらに備える
(1)に記載の制御装置。
(3)
前記初期合焦位置検出部は、前記観察画像から前記所定の被写体を含む初期合焦領域を抽出し、前記初期合焦領域に基づいて前記初期合焦位置を検出する
(1)または(2)に記載の制御装置。
(4)
前記初期合焦位置検出部は、前記初期合焦領域に対してコントラストAF処理を行うことにより、前記初期合焦位置を検出する
(3)に記載の制御装置。
(5)
前記初期合焦位置検出部は、前記観察画像とは異なる前記患者の前記眼のAF用画像に基づいて前記初期合焦位置を検出する
(1)または(2)に記載の制御装置。
(6)
前記初期合焦位置検出部は、前記AF用画像から前記所定の被写体を含む初期合焦領域を抽出し、前記初期合焦領域に基づいて前記初期合焦位置を検出する
(5)に記載の制御装置。
(7)
前記初期合焦位置検出部は、前記初期合焦領域に対してコントラストAF処理を行うことにより、前記初期合焦位置を検出する
(6)に記載の制御装置。
(8)
前記算出部は、前記患者に固有の情報に基づいて前記オフセット値を補正する
(1)乃至(7)の何れか一項に記載の制御装置。
(9)
前記眼球の構造に関する情報は、眼球の各眼臓器の位置関係を示す構造情報である
(1)乃至(8)の何れか一項に記載の制御装置。
(10)
前記眼球の構造に関する情報は、術前に得られた前記患者の前記眼の断層画像である
(1)乃至(8)の何れか一項に記載の制御装置。
(11)
前記眼球の構造に関する情報は、術中に得られた前記患者の前記眼の断層画像である
(1)乃至(8)の何れか一項に記載の制御装置。
(12)
眼球の断面における前記合焦位置を示す合焦位置表示画像を表示させる合焦位置表示制御部をさらに備える
(1)乃至(11)の何れか一項に記載の制御装置。
(13)
前記算出部は、前記合焦位置表示画像上において指定された位置にある眼臓器を前記目標眼臓器として前記合焦位置を算出する
(12)に記載の制御装置。
(14)
前記観察画像を表示させる画像表示制御部をさらに備え、
前記観察画像と前記合焦位置表示画像は並べられて表示される
(12)または(13)に記載の制御装置。
(15)
前記目標眼臓器は透明体である
(1)乃至(14)の何れか一項に記載の制御装置。
(16)
前記所定の被写体は前記眼の眼臓器または術具である
(1)乃至(15)の何れか一項に記載の制御装置。
(17)
制御装置が、
手術対象の患者の眼の観察画像に含まれる所定の被写体に合焦したときの焦点位置を初期合焦位置として検出し、
眼球の構造に関する情報に基づいて、前記眼の角膜内皮よりも内側にある目標眼臓器と前記初期合焦位置との間の距離を示すオフセット値を決定し、前記オフセット値および前記初期合焦位置に基づいて、前記目標眼臓器に合焦する焦点位置である合焦位置を算出する
制御方法。
(18)
手術対象の患者の眼の観察画像を取得する画像取得部と、
前記観察画像に含まれる所定の被写体に合焦したときの前記画像取得部の焦点位置を初期合焦位置として検出する初期合焦位置検出部と、
眼球の構造に関する情報に基づいて、前記眼の角膜内皮よりも内側にある目標眼臓器と前記初期合焦位置との間の距離を示すオフセット値を決定し、前記オフセット値および前記初期合焦位置に基づいて、前記目標眼臓器に合焦する前記画像取得部の焦点位置である合焦位置を算出する算出部と
を備える手術顕微鏡システム。
【符号の説明】
【0278】
11 手術顕微鏡システム, 31 カメラ画像取得部, 32 カメラ制御部, 41 画像表示制御部, 42 合焦位置表示制御部, 43 入力部, 51 コントラストAF処理部, 52 オフセット値算出部, 201 手術顕微鏡システム, 221 AF用画像取得部, 222 AF用カメラ制御部, 223 AF処理部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
【国際調査報告】