(58)【調査した分野】(Int.Cl.,DB名)
撮像素子による生体内の被写体からの観察対象光の受光結果に基づく、互いに異なる複数の分光成分それぞれに対応する撮像信号に対して、前記観察対象光の帯域のうち観察の対象とする帯域に応じた前記複数の分光成分間で重み付けを行うための係数を適用し、前記係数が適用された当該撮像信号に基づき、合焦の度合いを示す評価値を算出する算出部と、
前記被写体からの観察対象光を前記撮像素子に結像する光学系のうち少なくとも1つの光学部材の位置を、前記評価値に基づき制御することで当該光学系の焦点位置を制御する制御部と、
ユーザから観察モードの選択を受け付けて当該選択された観察モードを示す観察モード選択信号を生成する入力部と、
を備え、
前記観察モードは、通常光を観察対象とする通常光観察モードと、前記通常光とは異なる帯域の成分を観察対象とする特殊光観察モードとを含み、
前記係数は、前記通常光観察モードで取得された撮像信号に対する第1係数と、前記特殊光観察モードで取得された撮像信号に対する第2係数とを含み、
前記第1係数及び前記第2係数のうちの少なくとも一方において、前記複数の分光成分のうちの少なくとも1つの係数は、他の分光成分の係数とは異なり、
前記算出部は、前記観察モード選択信号を前記入力部から取得し、取得された前記観察モード選択信号に基づいて所定の記憶領域に格納されている前記第1係数及び前記第2係数の中から前記観察モード選択信号に応じた前記係数を読み出して、前記評価値を算出する、
医療用観察装置。
【発明を実施するための形態】
【0013】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0014】
なお、説明は以下の順序で行うものとする。
1.システム構成
2.焦点位置の制御に関する検討
3.機能構成
4.処理
5.変形例
6.適用例
7.ハードウェア構成
8.まとめ
【0015】
<1.システム構成>
まず、
図1を参照して、本実施形態に係る医療用観察装置を適用したシステムの構成の一例について説明する。
図1は、本実施形態に係る医療用観察装置を適用したシステムの概略的な構成の一例について説明するための説明図である。
【0016】
例えば、
図1は、医療現場において従来の開腹手術に代わって行われる、腹部の内視鏡外科手術において用いられる内視鏡手術システムの一例を示している。
図1に示すように、腹部の内視鏡外科手術では、従来のように腹壁を切って開腹する代わりに、トロッカ25a、25bと称される開孔器具が腹壁に数か所取り付けられ、トロッカ25a、25bに設けられている孔から腹腔鏡(以下、内視鏡とも称する)11、エネルギ処置具22や鉗子23等が体内に挿入される。そして、内視鏡11によってビデオ撮像された患部(腫瘍等)Uの画像をリアルタイムに見ながら、エネルギ処置具22等によって患部Uを切除するなどの処置が行われる。なお、内視鏡11、エネルギ処置具22や鉗子23は、術者、助手、スコピスト、またはロボット等により保持される。
【0017】
このような内視鏡下手術を行う手術室内には、内視鏡下手術のための装置類を搭載するカート31、患者が横たわる患者ベッド33、フットスイッチ35等が配置される。また、カート31には、医療機器として、例えば、カメラコントロールユニット(CCU)13、光源装置17、処置具用装置21、気腹装置24、表示装置15、レコーダ26及びプリンタ27等の装置類が載置される。
【0018】
内視鏡11の観察光学系を通じて撮像された患部Uの画像信号は、カメラケーブルを介してCCU13に伝送される。なお、CCU13は、カメラケーブルを介して内視鏡11に接続される他、無線の通信経路を介して内視鏡11に接続されてもよい。CCU13は、内視鏡11から出力される画像信号に対して信号処理を施し、信号処理後の当該画像信号を表示装置15に出力する。このような構成により、患部Uの内視鏡画像が表示装置15に表示される。
【0019】
なお、CCU13は、信号処理後の画像信号をレコーダ26に出力することで、当該レコーダ26に、患部Uの内視鏡画像を画像データ(例えば、動画像のデータ)として記録させてもよい。また、CCU13は、信号処理後の画像信号をプリンタ27に出力することで、当該プリンタ27に、患部Uの内視鏡画像を印刷させてもよい。
【0020】
光源装置17は、ライトガイドケーブルを介して内視鏡11に接続され、患部Uに対してさまざまな波長の光を切り替えて照射することが可能である。なお、光源装置17から照射される光は、例えば、補助光として用いられる場合もある。
【0021】
処置具用装置21は、例えば、電気熱を用いて患部Uを切断するエネルギ処置具22に対して高周波電流を出力する高周波出力装置に相当する。
【0022】
また、気腹装置24は、送気、吸気手段を備え、患者体内の例えば腹部領域に空気を送気するものである。
【0023】
フットスイッチ35は、術者や助手等のフット操作をトリガ信号として、CCU13や処置具用装置21等を制御するようになっている。
【0024】
以上、
図1を参照して、本開示の一実施形態に係る医療用観察装置を適用したシステム構成として、所謂、内視鏡手術システム1の概略的なシステム構成の一例について説明した。
【0025】
<2.焦点位置の制御に関する検討>
次に、本開示の一実施形態に係る医療用観察装置の特徴をよりわかりやすくするために、内視鏡11等に含まれる撮像部による焦点位置の制御に関する動作の概要を説明し、次いで、本実施形態に係る医療用観察装置の課題について整理する。
【0026】
内視鏡11等に含まれる撮像部は、被写体に対して自動的に焦点を合わせる所謂オートフォーカス(AF)機能が備えられている場合がある。
【0027】
一般的に、AFの方式は、アクティブ方式とパッシブ方式の2種類に大きく分類される。アクティブ方式は、例えば近赤外光等を被写体に対して照射してその反射光を受光することにより被写体との距離を測定し、測定された距離に基づいて当該被写体に焦点が合うように光学系を構成する光学部材を移動させることにより、合焦動作を行う方式である。一方、パッシブ方式は、測距用の光等を自ら発することなく、撮影された被写体像から得られる情報に基づいて被写体に焦点が合うように光学系を構成する光学部材を移動させることにより、合焦動作を行う方式である。
【0028】
また、AFの方式としては、例えば、コントラスト方式、位相差方式、デプスマップ(DepthMap)方式、三角測距方式と呼称されている方式が一般的に知られている。これらの方式は、いずれも、撮影された被写体像から得られる情報に基づいて合焦動作を行うものであり、特に、パッシブ方式のAFの方式として適用され得る。
【0029】
例えば、
図2は、コントラスト方式におけるAF動作の概念について説明するための説明図である。
図2において、横軸は、撮像部の光学系のうち焦点位置を制御するための光学部材(即ち、フォーカスレンズ)の光軸方向に沿った位置(以降では、「フォーカスレンズ位置」と称する場合がある)を模式的に示している。また、縦軸は、撮像部が、焦点位置を制御するために参照するAF評価値示している。なお、コントラスト方式においては、被写体像のコントラストが、当該AF評価値に相当する。即ち、
図2において、参照符号g11は、フォーカスレンズ位置に応じた、被写体像のコントラストの変化の一例を模式的に示している。また、参照符号p11は、コントラストが最大となるフォーカスレンズ位置、即ち、合焦位置を示している。
【0030】
撮像部は、例えば、フォーカスレンズの位置を移動させながら、被写体像から算出されるAF評価値(コントラスト)を評価し、当該AF評価値が最大となるフォーカスレンズ位置(即ち、合焦位置)を探索する。そして、撮像部は、探索された合焦位置にフォーカスレンズを移動させることで、被写体への合焦を行う。
【0031】
なお、他の方式については、AF評価値として使用するパラメータや、当該AF評価値の評価方法が異なるものの、被写体像からAF評価値を算出し、当該AF評価値に基づき合焦位置を特定するという基本的な考え方については、コントラスト方式と同様である。上記を踏まえ、以降の説明においては、焦点位置の制御に関する説明においては、AFの方式としてコントラスト方式を適用した場合を例に説明するものとする。
【0032】
一方で、内視鏡システムや手術用顕微鏡等のような医療用観察装置による患部の観察には、通常光(白色光)とは異なる帯域の成分を観察対象とした、所謂特殊光観察が知られている。例えば、特殊光観察の一例として、狭帯域光観察(NBI:Narrow Band Imaging)が挙げられる。
【0033】
狭帯域光観察では、例えば、被写体に対して青色及び緑色の帯域にそれぞれ含まれる狭帯域の光を補助光として照射し、被写体からの反射光のうち、緑色成分の光(緑色光)と青色成分の光(青色光)とに基づき、当該被写体の画像を生成する。特に、青色光及び緑色光は、血液中のヘモグロビンに吸収されやすい。そのため、狭帯域光観察では、このような特性を利用することで、例えば、色素等による染色を伴わずに、血管などをより鮮明に撮像することが可能となる。
【0034】
また、特殊光観察の他の一例として、生体または非生体資料からの蛍光・燐光現象を観察することによって対象を観察する蛍光観察(AFI:Auto Fluorescence Imaging)や、赤外光を観察の対象とする赤外光観察(IRI:Infra Red Imaging)等が挙げられる。なお、これらの観察方法については、一般的に知られているため、詳細な説明は省略する。
【0035】
このような特殊光観察においては、観察の対象となる帯域に応じて合焦位置にずれが生じ、鮮明な被写体像を得ることが困難となる場合がある。このような現象は、特に色収差の大きい光学系(レンズ等)を使用する場合において、より顕在化しやすい傾向にあることがわかっている。
【0036】
例えば、
図3は、色収差により合焦位置のずれが生じる原理について説明するための説明図である。特に、
図3に示す例では、説明をよりわかりやすくするために、色収差の大きい光学系(レンズ)を使用した場合の一例について概略的に示している。
【0037】
図3に示すように、光線を透過し屈折させる物質(即ち、レンズ等の光学系)において、屈折率は一定ではなく、光線の波長(周波数)によって異なる。具体的には、
図3に示すように、光線の波長が短いほど(光線の周波数が高いほど)屈折率が高くなる。そのため、
図3に示すように、例えば、波長の比較的短い紫外光に比べて、当該紫外光よりも波長の長い白色光や赤外光の方が、光学系に対してより遠い位置で焦点を結ぶこととなる。
【0038】
このような特性から、例えば、赤外光を観察の対象とする場合において、通常光(白色光)を観察する場合と同様に、当該通常光の検出結果を基に算出されたAF評価値に基づきフォーカスレンズ位置を制御したとしても、より鮮明な被写体像が得られるとは限らない。このような現象は、色収差の大きい光学系ほど、より顕在化しやすい傾向にあることは、前述した通りである。
【0039】
そこで、本実施形態に係る医療用観察装置は、色収差の比較的大きい光学系を使用した場合においても、観察の対象となる帯域に応じて、より好適な態様で当該光学系の焦点位置を制御することが可能な仕組みを提供する。なお、以降では、本実施形態に係る医療用観察装置についてさらに詳しく説明する。
【0040】
<3.機能構成>
まず、
図4を参照して、本実施形態に係る医療用観察装置の機能構成の一例について説明する。
図4は、本実施形態に係る医療用観察装置の機能構成の一例について示したブロック図であり、特に、観察対象(被検体)の画像を撮像し、当該画像を表示する処理に着目した機能構成の一例を示している。
【0041】
図4に示すように、本実施形態に係る医療用観察装置100は、撮像部110(例えば、カメラヘッド)と、制御部130とを含む。また、医療用観察装置100は、光源部170を含んでもよい。
図4に示した医療用観察装置100は、例えば、
図1に示した内視鏡手術システム1として構成され得る。即ち、
図4に示した、撮像部110、制御部130、及び光源部170は、例えば、
図1に示した内視鏡手術システム1における、内視鏡11、CCU13、光源装置17にそれぞれ対応している。また、
図4では、図示していないが、医療用観察装置100は、
図1に示した内視鏡手術システム1における表示装置15に相当する、ディスプレイ等の表示部を含んでもよい。
【0042】
撮像部110は、所謂カメラ等のような動画像や静止画像等の画像を撮像する構成に相当する。具体的には、例えば、撮像部110は、撮像光学系(例えば、一連のレンズ群)111と、撮像素子114とを含む。また、撮像部110は、ズームレンズ駆動部115と、フォーカスレンズ駆動部116と、駆動系制御部117と、撮像素子駆動部118とを含む。
【0043】
撮像光学系111は、被写体の光学像を撮像素子114の撮像面に結像させる。撮像光学系111は、例えば、ズームレンズ112と、フォーカスレンズ113とを含む。なお、
図4に示す例では、代表的にズームレンズ112及びフォーカスレンズ113のみを図示しているが、撮像光学系111は、他のレンズやフィルター等、各種の光学部材を含んでもよい。撮像光学系111を構成する光学部材の種類や数、各光学部材の光学特性等は、当該撮像光学系111によって撮像素子114の撮像面上に被写体の光学像が結像されるように、適宜調整されている。
【0044】
ズームレンズ112は、撮像光学系111の倍率を調整するためのレンズである。ズームレンズ112は光軸上を移動可能に構成されており、ズームレンズ112の光軸上での位置が制御されることにより、撮像光学系111の倍率が調整される。なお、ズームレンズ112は、撮像光学系111の倍率を調整するための光学部材の一例である。即ち、撮像光学系111に含まれる少なくとも1つの光学部材の光軸上での位置が調整されることにより当該撮像光学系111の倍率が調整されればよく、倍率の調整のために移動可能に構成される光学部材の数及び種類は特に限定されない。
【0045】
フォーカスレンズ113は、撮像光学系111の焦点距離を調整するためのレンズである。フォーカスレンズ113は光軸上を移動可能に構成されており、フォーカスレンズ113の光軸上での位置(即ち、フォーカスレンズ位置)が制御されることにより、撮像光学系111の焦点距離(換言すると、焦点位置)が調整される。なお、フォーカスレンズ113は、撮像光学系111の焦点距離を調整するための光学部材の一例である。即ち、撮像光学系111に含まれる少なくとも1つの光学部材の光軸上での位置が調整されることにより当該撮像光学系111の焦点距離が調整されればよく、焦点距離の調整のために移動可能に構成される光学部材の数及び種類は特に限定されない。
【0046】
撮像素子114としては、例えば、CMOSイメージセンサやCCDイメージセンサ等が適用され得る。撮像素子114は、撮像面に結像した光学像を光電変換によって電気信号(以降では、「撮像信号」と称する場合がある)に変換する。具体的には、本実施形態に係る撮像素子114は、例えば、R、G、Bそれぞれの光(分光成分)を受光する受光素子(画素)を備え、被写体からの光を、R、G、Bの分光成分ごとに光電変換によって撮像信号に変換する。なお、以降の説明では、撮像素子114により受光される被写体からの光を、「観察対象光」と称する場合がある。例えば、通常光(白色光)を観察、狭帯域光観察、及び赤外光観察においては、被写体からの反射光が観察対象光の一例に相当する。また、蛍光観察においては、被写体(生体または非生体資料)から放出される蛍光が、観察対象光の一例に相当する。また、以降の説明では、R、G、Bの分光成分ごとの撮像信号を、それぞれ「R信号」、「G信号」、「B信号」と称し、これらを総じて「RGB信号」と称する場合がある。また、本実施形態に係る撮像素子114は、被写体からの観察対象光を複数の分光成分ごとに光電変換によって撮像信号に変換できれば、当該分光成分は必ずしもR、G、Bには限定されず、例えば、Y(イエロー)、M(マゼンダ)、C(シアン)等であってもよい。また、撮像素子114の動作(例えば、シャッタースピードやゲイン)は、例えば、後述する撮像素子駆動部118により制御される。
【0047】
そして、撮像素子114は、光電変換によって生成した分光成分ごとの撮像信号(例えば、RGB信号)を制御部130に出力する。これにより、撮像素子114により受光された分光成分それぞれの明るさに応じた撮像信号(即ち、被写体像の輝度に応じた分光成分ごとの撮像信号)が制御部130に出力される。
【0048】
ズームレンズ駆動部115は、例えばモータ、及び当該モータに対して駆動電流を供給するドライバ回路等によって構成され、ズームレンズ112を光軸に沿って移動させる。ズームレンズ駆動部115の動作は、後述する駆動系制御部117によって制御される。
【0049】
フォーカスレンズ駆動部116は、例えばモータ、及び当該モータに対して駆動電流を供給するドライバ回路等によって構成され、フォーカスレンズ113を光軸に沿って移動させる。フォーカスレンズ駆動部116の動作は、後述する駆動系制御部117によって制御される。
【0050】
駆動系制御部117は、CPU(Central Processing Unit)やDSP(Digital Signal Processor)等の各種のプロセッサ、又はプロセッサとメモリ等の記憶素子とがともに搭載されてなるマイコン等によって構成され、ズームレンズ駆動部115及びフォーカスレンズ駆動部116の動作を制御する。駆動系制御部117は、FPGA(Field−Programmable Gate Array)、ドライバIC(Integrated Circuit)、及び/又は専用のLSI(Large−Scale Integration)(すなわちASIC(Application Specific Integrated Circuit))等の各種の集積回路によって構成されてもよい。駆動系制御部117の機能は、当該駆動系制御部117を構成するプロセッサが所定のプログラムに従って演算処理を実行することにより実現され得る。
【0051】
具体的な一例として、駆動系制御部117は、後述する制御部130の光学系制御部134から送信される、ズームレンズ112の移動方向や移動量を示す情報に基づき、ズームレンズ駆動部115の駆動を制御する。これにより、当該移動方向に当該移動量の分だけズームレンズ112が移動し、撮像光学系111の倍率が調整される。なお、撮像光学系111の倍率の調整のために、ズームレンズ112以外の他の光学部材も移動可能に構成されている場合には、駆動系制御部117からの制御に基づき、ズームレンズ駆動部115によって、当該他の光学部材の位置が制御されてもよい。
【0052】
また、他の一例として、駆動系制御部117は、光学系制御部134から送信される、フォーカスレンズ113の移動方向や移動量を示す情報に基づき、フォーカスレンズ駆動部116の駆動を制御する。これにより、当該移動方向に当該移動量の分だけフォーカスレンズ113が移動し、撮像光学系111の焦点距離が調整される。なお、撮像光学系111の焦点距離の調整のためにフォーカスレンズ113以外の他の光学部材も移動可能に構成されている場合には、駆動系制御部117からの制御に基づき、フォーカスレンズ駆動部116によって、当該他の光学部材の位置が制御されてもよい。
【0053】
なお、
図4に示す例では、駆動系制御部117が撮像部110に設けられているが、当該駆動系制御部117は、撮像部110の外部(例えば、制御部130)に設けられていてもよい。
【0054】
撮像素子駆動部118は、撮像素子114を駆動するためのドライバに対応する。撮像素子駆動部118は、所定のタイミングで撮像素子114に対して駆動信号を供給することにより、撮像素子114に、撮影動作、リセット動作等の動作を所定のタイミングで実行させ、被写体像に対応する撮像信号を取得させる。これにより、撮像素子114のシャッタースピードが制御される。また、撮像素子駆動部118は、撮像素子114において、撮像された撮像信号に対して適用されるゲインを制御してもよい。
【0055】
なお、図示は省略するが、撮像素子駆動部118の動作を制御する撮像素子駆動制御部が、撮像部110または制御部130に設けられ得る。撮像素子駆動制御部は、CPUやDSP等の各種のプロセッサ、又はマイコン等によって構成され、上述した駆動信号を撮像素子114に供給するタイミングを撮像素子駆動部118に対して指示することにより、撮像素子駆動部118を介して、撮像素子114の駆動を制御する。また、撮像素子駆動制御部は、撮像素子114が撮像信号に対して適用するゲインを撮像素子駆動部118に対して指示することにより、撮像素子駆動部118を介して、撮像素子114の動作を制御してもよい。なお、当該撮像素子駆動制御部の機能は、当該撮像素子駆動制御部を構成するプロセッサが所定のプログラムに従って演算処理を実行することにより実現され得る。
【0056】
制御部130は、撮像信号処理部131と、検波枠ゲート132と、AF検波部133と、光学系制御部134とを含む。制御部130は、CPUやDSP等の各種のプロセッサ、又はマイコン等によって構成され得る。
【0057】
撮像信号処理部131は、撮像素子114において光電変換によって生成された分光成分ごとの撮像信号(例えば、RGB信号)に対して、例えば、リニアマトリクス処理、ホワイトバランス処理、γ補正処理等の各種信号処理を実行する。また、撮像信号処理部131は、各種信号処理が施された当該撮像信号に対して、色調補正、輝度補正等の各種補正処理、ビデオ信号の生成、あるいはエンコード処理等、目的に応じた画像処理を施す。以上のような制御により、撮像信号処理部131は、取得された撮像信号に対して、被写体像の明るさの調整、ホワイトバランスの調整、及び、色再現等の所謂現像処理を実行し、映像信号を生成する。
【0058】
具体的な一例として、ホワイトバランスを調整するための処理の一例について以下に説明する。例えば、ホワイトバランスの調整の対象となるRGB信号(例えば、撮像素子114から出力される撮像信号)それぞれの輝度成分をR、G、Bとし、ホワイトバランスを調整するためにRGB信号それぞれに適用する補正係数をm
30、m
40、及びm
50とする。ここで、ホワイトバランス調整後のRGB信号それぞれの輝度成分をR
1、G
1、B
1とすると、撮像信号処理部131は、R
1、G
1、B
1を以下に(式1)〜(式3)として示す計算式に基づき算出する。なお、補正係数m
30、m
40、及びm
50は、例えば、選択されたホワイトバランスの調整のためのモード(換言すると、色温度)に応じてあらかじめ設定されている。
【0060】
また、他の一例として、色再現のための処理の一例について以下に説明する。撮像信号処理部131は、RGB信号それぞれの輝度成分R、G、Bに対して、色再現のためにあらかじめ設定されたパラメータ(以降では、「色再現マトリックス」と称する場合がある)に基づく補正処理を施すことで、色再現処理を実行する。ここで、色再現処理後のRGB信号それぞれの輝度成分をR
2、G
2、B
2とし、色再現マトリックスをM
1すると、撮像信号処理部131は、R
2、G
2、B
2を以下に(式4)として示す計算式に基づき算出する。なお、色再現マトリックスM
1における各補正係数m
00〜m
02、m
10〜m
12、及びm
20〜
22は、色再現処理の内容に応じてあらかじめ設定されている。
【0062】
また、撮像信号処理部131は、色再現処理により、当該色再現処理の対象となる分光成分ごとの撮像信号を、他の色空間に基づく撮像信号に変換してもよい。具体的な一例として、撮像信号処理部131は、RGB信号を、輝度成分Yと色差成分Cb、Crとに基づく、YCbCr空間の成分に変換してもよい。この場合には、RGB信号をYCbCr空間の成分に変換するための色再現マトリックスをM
2としたとき、撮像信号処理部131は、YCbCr空間における輝度成分Yと色差成分Cb、Crとを、以下に(式5)として示す計算式に基づき算出する。
【0064】
また、撮像信号処理部131は、撮像素子114から出力される分光成分ごとの撮像信号(例えば、RGB信号)に対して、上記に説明したホワイトバランスの調整や色再現処理のうち、複数の処理を適用してもよい。具体的な一例として、撮像信号処理部131は、撮像素子114から出力されるRGB信号に対して、ホワイトバランスの調整に係る処理を適用し、ホワイトバランス調整後のRGB信号の輝度成分(R
1,G
1,B
1)に対して、色再現マトリックスM
1に基づき色再現処理を施してもよい。また、他の一例として、撮像信号処理部131は、撮像素子114から出力されるRGB信号に対して、色再現マトリックスM
1に基づき色再現処理を施し、色再現処理後のRGB信号の輝度成分(R
2,G
2,B
2)を、色再現マトリックスM
2に基づきYCbCr空間の成分に変換してもよい。
【0065】
なお、本実施形態に係る医療用観察装置100は、例えば、通常光(白色光)に基づき被写体像の観察に加えて、狭帯域光観察、蛍光観察、及び赤外光観察等のような各種特殊光観察を選択的に切り替えて実行可能に構成されていてもよい。この場合には、例えば、撮像信号処理部131は、選択された観察方式に対応するモード(以降では、「観察モード」と称する場合がある)に応じた現像処理(即ち、各種信号処理や各種画像処理)を、撮像信号に対して施してもよい。
【0066】
具体的には、撮像信号処理部131には、例えば、術者(ユーザ)により、ボタン、タッチパネル、またはスイッチ等の、医療用観察装置100に設けられる図示しない各種の入力部を介して選択された観察モードを示す観察モード選択信号が、当該入力部から入力されてもよい。この場合には、撮像信号処理部131は、入力された観察モード選択信号に基づき、術者により選択された観察モードを識別し、観察モードの識別結果に応じた現像処理を撮像信号に対して施すことで映像信号を生成してもよい。
【0067】
より具体的な一例として、撮像信号処理部131は、取得した撮像信号(例えば、RGB信号)に対して、選択された観察モードに応じたフィルター(例えば、バンドパスフィルタ)を適用することで、当該観察モードにおいて観察の対象となる帯域の成分を、当該撮像信号から抽出してもよい。
【0068】
また、撮像信号処理部131は、上記に説明したホワイトバランスの調整や色再現処理の内容を、選択された観察モードに応じて切り替えてもよい。この場合は、例えば、撮像信号処理部131は、適用する補正係数をm
30、m
40、及びm
50や、色再現マトリックスM
1またはM
2を、選択された観察モードに応じて切り替えてもよい。
【0069】
そして、撮像信号処理部131は、生成した映像信号は、例えば、ディスプレイ等のような表示部に出力する。これにより、当該表示部に、当該映像信号に基づく被写体の映像が表示され、術者(ユーザ)は、被写体である患部の映像を観察することが可能となる。
【0070】
また、撮像信号処理部131は、撮像素子114から出力される分光成分ごとの撮像撮像信号(例えば、RGB信号)を、検波枠ゲート132を介して、AF検波部133に出力する。
【0071】
検波枠ゲート132は、撮像信号処理部131から分光成分ごとの撮像信号(例えば、RGB信号)を受けて、撮像素子114中の所定の領域(以降では、「AF検波枠」と称する場合がある)の受光素子(画素)に対応する当該分光成分ごとの撮像信号を、後段に位置するAF検波部133に出力する。
【0072】
AF検波部133は、検波枠ゲート132から分光成分ごとの撮像信号を取得する。AF検波部133は、取得した当該撮像信号に基づき、AF機能を実現するためのAF評価値を算出し、算出したAF評価値を後述する光学系制御部134に出力する。なお、本実施形態に係るAF検波部133は、例えば、色収差の比較的大きい撮像光学系111を使用した場合においても、観察の対象となる帯域に応じて、より好適な態様で当該撮像光学系111の焦点位置を制御することが可能となるように、当該観察対象の帯域に応じてAF評価値を算出する。そこで、以下に、
図5を参照して、AF検波部133について詳細に説明する。
図5は、AF検波部133の機能構成の一例を示したブロック図である。
【0073】
図5に示すように、AF検波部133は、AF評価信号算出部135と、AF評価値算出部136とを含む。
【0074】
AF評価信号算出部135は、例えば、術者(ユーザ)により選択された観察モードを示す観察モード選択信号を入力部から取得し、取得した観察モード選択信号に基づき、観察の対象となる帯域を認識する。
【0075】
AF評価信号算出部135は、検波枠ゲート132から分光成分ごとの撮像信号を取得し、取得した当該撮像信号に対して、観察の対象となる帯域に応じて分光成分間で重み付けを行う。例えば、RGB信号を対象として、RGB信号それぞれの輝度成分をR、G、Bとし、観察の対象となる帯域に応じたRGB間の重みに基づく係数をr、g、bとする。このとき、AF評価信号算出部135は、AF評価値を算出するための撮像信号L(以降では、「AF評価信号」と称する場合がある)を以下に(式6)として示す計算式に基づき算出する。
【0077】
なお、(式6)に示したr、g、bのような分光成分間で重み付けを行うための係数(以降では、「AF用評価信号係数」と称する場合がある)は、例えば、観察モードごとに算出しておき、AF評価信号算出部135が読み出し可能な記憶領域にあらかじめ記憶させておくとよい。これにより、AF評価信号算出部135は、選択された観察モードに応じたAF用評価信号係数を当該記憶領域から読み出し、読み出したAF用評価信号係数を、取得した分光成分ごとの撮像信号に対して適用することで、AF評価信号を生成すればよい。
【0078】
より具体的な一例として、被写体からの観察対象光のうち赤外光を観察対象とした赤外光観察が選択された場合には、赤外光がより強調されるように、当該赤外光観察に対応するAF用評価信号係数r、g、bが設定されているとよい。同様に、被写体からの観察対象光のうち緑色光及び青色光を観察対象とした狭帯域光観察が選択された場合には、G信号及びB信号がより強調されるように、当該狭帯域光観察に対応するAF用評価信号係数r、g、bが設定されているとよい。なお、観察モードに応じたAF用評価信号係数は、例えば、当該観察モードにおいて観察の対象となる帯域の成分がより強調されるように、事前の実験等に基づきあらかじめ算出すればよい。
【0079】
また、他の一例として、AF評価信号算出部135は、被写体の撮像が行われる手術の術式に応じてAF用評価信号係数を決定してもよい。この場合には、例えば、当該術式ごとに、当該術式において観察の対象となる帯域の成分がより強調されるようにAF用評価信号係数を算出しておき、所定の記憶領域にあらかじめ記憶させておくとよい。また、AF評価信号算出部135は、例えば、術者(ユーザ)により選択された手術の術式を示す選択信号を入力部から取得し、取得した選択信号に基づき、選択された術式を識別する。そして、AF評価信号算出部135は、識別した術式に応じたAF用評価信号係数を、所定の記憶領域から読み出せばよい。もちろん、上記に示した例はあくまで一例であり、AF用評価信号係数の管理単位は、医療用観察装置100の運用方法に応じて適宜変更してもよい。具体的な一例として、AF評価信号算出部135は、医療用観察装置100を利用して被写体の撮像が行われる診療科に応じてAF用評価信号係数を決定してもよい。
【0080】
また、AF評価信号算出部135は、撮像信号処理部131が撮像信号に対して適用した現像処理の内容に応じて、AF用評価信号係数を算出してもよい。なお、本動作の詳細については、変形例として別途後述する。
【0081】
そして、AF評価信号算出部135は、算出したAF評価信号をAF評価値算出部136に出力する。
【0082】
AF評価値算出部136は、AF評価信号算出部135からAF評価信号を取得し、取得したAF評価信号に基づきAF評価値を算出する。具体的な一例として、AFの方式がコントラスト方式の場合には、AF評価値算出部136は、取得したAF評価信号に基づきコントラストを算出する。より具体的には、AF評価値算出部136は、AF検波枠内のすべての画素(受光素子)についての和として、輝度信号を用いた2次微分(ラプラシアン)よって、AF評価値(コントラスト)を算出する。なお、一般的には、合焦している場合には、合焦していない場合に比べて隣接する画素間の輝度信号の差分が大きくなり、コントラストが大きくなる。
【0083】
なお、上記に示すAF評価値の算出方法はあくまで一例であり、AFの方式に応じて当該AF評価値の算出方法が異なることは前述した通りである。
【0084】
そして、AF評価値算出部136は、算出したAF評価値を、光学系制御部134(
図4参照)に出力する。
【0085】
ここで、改めて
図4を参照する。光学系制御部134は、撮像部110の撮像光学系111を構成する各光学部材(例えば、ズームレンズ112やフォーカスレンズ113)の位置を制御することで、当該撮像部110の合焦動作やズーム動作を制御する。
【0086】
例えば、光学系制御部134は、術者(ユーザ)によって、ズーム動作を行う旨の指示信号(ズーム指示信号)が入力され得る。当該ズーム指示信号は、例えばスイッチ等、医療用観察装置100に設けられる図示しない各種の入力部を介して入力される。ズーム指示信号には、倍率についての指示も含まれており、光学系制御部134は、ズーム指示信号に基づいて、指示された倍率を実現し得るズームレンズ112の移動方向や移動量を決定し、当該移動方向や当該移動量を示す情報を駆動系制御部117に出力する。当該情報を受けて、駆動系制御部117は、ズームレンズ駆動部115を介して、決定された移動方向に向けて、決定された移動量の分だけズームレンズ112を移動させる。これにより、術者の指示に従って撮像光学系111の倍率が調整される。なお、撮像光学系111の倍率の調整のためにズームレンズ112以外の他の光学部材も移動可能に構成される場合には、光学系制御部134は、当該他の光学部材の光軸上での移動方向や移動量を併せて決定してもよい。
【0087】
また、他の一例として、光学系制御部134は、撮像部110が撮像光学系111の焦点距離を制御する(例えば、合焦動作を行う)ためのフォーカスレンズ113の移動方向や移動量を算出してもよい。
【0088】
具体的な一例として、光学系制御部134は、術者(ユーザ)からの指示に基づき焦点距離を制御するマニュアルフォーカス(MF)機能と、被写体に対して自動的に焦点合わせを行うオートフォーカス(AF)機能とを選択的に切り替え可能に構成されていてもよい。この場合には、光学系制御部134は、術者(ユーザ)によって、MF機能とAF機能とを選択的に切り替えるための指示信号(マニュアル/オートフォーカス切替え信号)が入力され得る。当該マニュアル/オートフォーカス切替え信号は、例えばスイッチ等、医療用観察装置100に設けられる図示しない各種の入力部を介して入力される。光学系制御部134は、マニュアル/オートフォーカス切替え信号に基づいて、フォーカスレンズ113の移動方向や移動量の決定方法を切り替える。
【0089】
例えば、MF機能が選択された場合には、光学系制御部134は、術者(ユーザ)によって、撮像光学系111の焦点距離を制御するための指示信号(フォーカス指示信号)が入力され得る。当該フォーカス指示信号は、例えばスイッチ等、医療用観察装置100に設けられる図示しない各種の入力部を介して入力される。フォーカス指示信号には、例えば、焦点距離についての指示も含まれており、光学系制御部134は、フォーカス指示信号に基づいて、指示された焦点距離を実現し得るフォーカスレンズ113の移動方向や移動量を決定し、当該移動方向や当該移動量を示す情報を駆動系制御部117に出力する。当該情報を受けて、駆動系制御部117は、フォーカスレンズ駆動部116を介して、決定された移動方向に向けて、決定された移動量の分だけフォーカスレンズ113を移動させる。これにより、術者の指示に従って撮像光学系111の焦点距離が調整される。なお、撮像光学系111の焦点距離の調整のためにフォーカスレンズ113以外の他の光学部材も移動可能に構成される場合には、光学系制御部134は、当該他の光学部材の光軸上での移動量を併せて決定してもよい。
【0090】
また、AF機能が選択された場合には、光学系制御部134は、AF検波部133から出力されるAF評価値(例えば、コントラスト)に基づき、フォーカスレンズ113の移動方向や移動量を決定する。具体的には、光学系制御部134は、駆動系制御部117を介してフォーカスレンズ113の位置を制御しながら、AF検波部133から出力されるAF評価値を、フォーカスレンズ113の移動前後で比較する。そして、光学系制御部134は、AF評価値の比較結果に基づき、当該AF評価値がより大きくなる方向にフォーカスレンズ113が光軸上を移動するように、当該フォーカスレンズ113の移動方向や移動量を決定する。なお、最初にフォーカスレンズ113を移動させる際には(即ち、比較対象となる移動前のAF評価値が存在しない場合には)、あらかじめ設定される所定の方向に所定の距離だけフォーカスレンズ113を移動させるように、当該フォーカスレンズ113の移動方向や移動量が決定されればよい。
【0091】
そして、光学系制御部134は、AF評価値の比較結果に基づき決定した、フォーカスレンズ113の移動方向や移動量を示す情報を駆動系制御部117に出力する。当該情報を受けて、駆動系制御部117は、フォーカスレンズ駆動部116を介して、決定された移動方向に向けて、決定された移動量の分だけフォーカスレンズ113を移動させる。
【0092】
以下、上記に説明した一連の処理(即ち、AF評価値の比較結果に基づく移動方向や移動量の決定に係る処理、及び、当該移動方向及び当該移動量に応じたフォーカスレンズ113の移動に係る処理)が繰り返し実行されることにより、AF動作が実行される。即ち、フォーカスレンズ113の移動後に撮像素子114によって得られた撮像信号に基づいて、AF検波部133がAF評価値を再度算出し、算出された当該AF評価値に基づき光学系制御部134がフォーカスレンズ113の移動方向や移動量を決定する。そして、決定された移動方向や移動量に基づき、駆動系制御部117が、フォーカスレンズ113を移動させる。これらの処理が繰り返し実行されることで、最終的に、AF評価値(例えば、被写体像のコントラスト)が最大になる位置にフォーカスレンズ113が移動され、被写体に対して合焦し、一連のAF動作に係る処理が終了する。
【0093】
なお、撮像光学系111の焦点距離の調整のためにフォーカスレンズ113以外の他の光学部材も移動可能に構成される場合には、光学系制御部134は、当該他の光学部材の光軸上での移動量を併せて決定してもよい点は、MF機能が選択された場合と同様である。
【0094】
なお、上記に説明したAF動作に係る処理はあくまで一例であり、AF評価値に基づきAF動作を実現することが可能であれば、AF評価値として使用されるパラメータの種別や、AF動作に係る処理の内容は特に限定されない。
【0095】
光源部170は、例えば、出射光の帯域が互いに異なる複数の光源を備え、当該光源を選択的に切り替え可能に構成されている。例えば、光源部170には、ボタン、タッチパネル、またはスイッチ等の、医療用観察装置100に設けられる図示しない各種の入力部を介して選択された観察モードを示す、観察モード選択信号が、当該入力部から入力される。光源部170は、入力された観察モード選択信号に基づき、選択された観察モードに対応する光源に補助光を照射させる。このような構成により、選択された観察モードに応じた補助光が、対応する光源から被写体に向けて照射される。
【0096】
また、他の一例として、光源部170は、観察モードに応じた光源を着脱可能に構成されていてもよい。この場合には、例えば、光源部170は、装着された光源に対応する観察モードが選択されたことを示す観察モード選択信号が入力された場合に、当該光源に補助光を照射させればよい。
【0097】
以上、
図4及び
図5を参照して、本実施形態に係る医療用観察装置の機能構成の一例について説明した。
【0098】
<4.処理>
次に、
図6を参照して、本実施形態に係る医療用観察装置の一連の処理の流れの一例について、特に、AF動作に係る処理に着目して説明する。
図6は、本実施形態に係る医療用観察装置の一連の処理の流れの一例を示したフローチャートであり、特に、制御部130によるAF動作に係る処理の流れの一例について示している。
【0099】
(ステップS101)
制御部130のAF評価信号算出部135は、術者(ユーザ)により選択された観察モードを示す観察モード選択信号を入力部から取得し、当該観察モード選択信号に応じたAF用評価信号係数を、所定の記憶領域から読み出す。また、他の一例として、AF評価信号算出部135は、撮像信号処理部131が撮像信号に対して適用した現像処理の内容に応じて、AF用評価信号係数を算出してもよい。以上のようにして、AF評価信号算出部135は、適用するAF用評価信号係数を決定する。
【0100】
(ステップS103)
次いで、AF評価信号算出部135は、検波枠ゲート132を介して撮像信号処理部131から分光成分ごとの撮像信号を取得し、取得した当該撮像信号に対して決定したAF用評価信号係数を適用することで、分光成分間で重み付けを行い、AF評価信号を生成する。そして、AF評価信号算出部135は、算出したAF評価信号をAF評価値算出部136に出力する。
【0101】
(ステップS105)
AF評価値算出部136は、AF評価信号算出部135からAF評価信号を取得し、取得したAF評価信号に基づきAF評価値を算出する。例えば、AFの方式がコントラスト方式の場合には、AF評価値算出部136は、取得したAF評価信号に基づきコントラストをAF評価値として算出する。AF評価値算出部136は、算出したAF評価値を、光学系制御部134に出力する。
【0102】
(ステップS107)
光学系制御部134は、AF検波部133から出力されるAF評価値に基づき、フォーカスレンズ113の移動方向や移動量を決定する。例えば、光学系制御部134は、駆動系制御部117を介してフォーカスレンズ113の位置を制御しながら、AF検波部133から出力されるAF評価値を、フォーカスレンズ113の移動前後で比較する。光学系制御部134は、AF評価値の比較結果に基づき、当該AF評価値がより大きくなる方向にフォーカスレンズ113が光軸上を移動するように、当該フォーカスレンズ113の移動方向や移動量を決定する。
【0103】
そして、光学系制御部134は、AF評価値の比較結果に基づき決定した、フォーカスレンズ113の移動方向や移動量を示す情報を駆動系制御部117に出力する。当該情報を受けて、駆動系制御部117は、フォーカスレンズ駆動部116を介して、決定された移動方向に向けて、決定された移動量の分だけフォーカスレンズ113を移動させる。
【0104】
(ステップS109)
制御部130は、上記に説明した一連の処理を、AF評価値が最大になる位置にフォーカスレンズ113が移動する(即ち、合焦位置に移動する)まで継続する(S109、NO)。
【0105】
(ステップS111)
そして、制御部130は、フォーカスレンズ113が合焦位置に移動すると(S109、YES)、当該フォーカスレンズ113の移動を停止し、AF動作を終了する。
【0106】
以上、
図6を参照して、本実施形態に係る医療用観察装置100の一連の処理の流れの一例について、特に、AF動作に係る処理に着目して説明した。以上のように、本実施形態に係る医療用観察装置100は、被写体からの観察対象光のうち観察の対象となる帯域に応じたAF用評価信号係数と、撮像素子114からの撮像信号とに基づきAF評価値を算出し、算出した当該AF評価値に基づき合焦動作(AF動作)を行う。このような構成により、本実施形態に係る医療用観察装置100は、色収差の比較的大きい光学系を使用した場合においても、観察の対象となる帯域に応じて、被写体に対して合焦するように、撮像光学系111の焦点位置を制御することが可能となる。
【0107】
<5.変形例>
次に、本実施形態に係る医療用観察装置の変形例について説明する。
【0108】
(現像内容に応じたAF用評価信号係数の決定)
前述した実施形態に係る医療用観察装置は、術者(ユーザ)により選択された観察モードに応じて、AF用評価信号係数を決定し、当該AF用評価信号係数に基づきAF用評価信号を生成していた。これに対して変形例に係る医療用観察装置は、撮像信号に対して適用した現像処理の内容(例えば、ホワイトバランスの調整や色再現処理のために適用した現像パラメータ)に応じて、AF用評価信号係数を動的に算出する。
【0109】
具体的な一例として、医療用観察装置100が、(式4)として前述したように、色再現マトリックスM
1に基づき、撮像素子114から出力される撮像信号に対して現像処理(色再現処理)を施すことで、映像信号を生成するものとする。この場合には、変形例に係る医療用観察装置100は、現像処理に用いた当該色再現マトリックスM
1に基づき、AF用評価信号係数を算出する。例えば、以下に(式7)として示す計算式は、現像処理に用いた色再現マトリックスM
1に基づくAF用評価信号係数の算出式の一例である。
【0111】
上記に示した(式7)において、A=(k
r,k
g,k
b)は、現像処理のために適用された現像パラメータをAF用評価信号係数に変換するための変換式であり、例えば、観察の対象となる帯域に応じた分光成分間の重みに応じて決定される。具体的な一例として、医療用観察装置100は、各種の入力部を介して術者(ユーザ)により選択された観察モードに応じて、適用する変換式Aを特定してもよい。例えば、被写体からの観察対象光のうち緑色光及び青色光を観察対象とした狭帯域光観察が選択された場合には、医療用観察装置100は、例えば、係数k
rに比べて、係数k
g及びk
bがより大きくなるように設定された変換式Aを選択すればよい。なお、観察モードに応じた変換式A中の各係数k
r、k
g、k
bは、例えば、当該観察モードにおいて観察の対象となる帯域の成分がより強調されるように、事前の実験等に基づきあらかじめ算出されているとよい。
【0112】
また、上述した例では、医療用観察装置100が、現像処理として適用したAF用評価信号係数を算出する例について説明したが、適用された現像処理の内容に応じて、AF用評価信号係数の算出に適用する現像パラメータを適宜変更してもよいことは言うまでもない。例えば、現像処理としてRGB信号からYCbCr空間の成分に変換するための色再現マトリックスM
2を適用した場合には、医療用観察装置100は、選択された観察モードに応じた変換式Aに対して、当該色再現マトリックスM
2を適用することで、AF用評価信号係数を算出してもよい。
【0113】
また、現像処理として複数の現像パラメータを適用した場合には、医療用観察装置100は、適用した現像パラメータを選択した変換式Aに順次乗じることで、AF用評価信号係数を算出してもよい。具体的な一例として、医療用観察装置100は、現像パラメータとして色再現マトリックスM
1及びM
2を適用した場合には、以下に(式8)として示す計算式に基づき、AF用評価信号係数を算出してもよい。
【0115】
なお、上記に示す例はあくまで一例であり、変換式Aの管理単位は、医療用観察装置100の運用方法に応じて適宜変更してもよい。具体的な一例として、医療用観察装置100は、被写体の撮像が行われる手術の術式に応じて変換式Aを決定してもよい。また、他の一例として、医療用観察装置100は、被写体の撮像が行われる診療科に応じて変換式Aを決定してもよい。
【0116】
以上のような構成により、変形例に係る医療用観察装置100は、撮像信号に対して適用した現像処理の内容に応じて、より好適な態様で被写体に対して合焦するように、撮像光学系111の焦点位置を制御することが可能となる。
【0117】
(撮像光学系に応じたAF用評価信号係数の決定)
また、医療用観察装置100は、撮像光学系111(または、撮像部110自体)が着脱可能に構成されていてもよい。このような場合には、医療用観察装置100に対して、光学特性が異なる撮像光学系111が装着される場合が想定され、装着される撮像光学系111の光学特性に応じて合焦位置が異なる場合も想定され得る。特に、被写体からの観察対象光のうち複数の帯域(例えば、互いに近傍に位置する帯域)を観察対象とする状況下で、各帯域に対応する被写体像それぞれに合焦するように撮像光学系111の焦点位置を制御する場合には、好適な合焦位置が撮像光学系111の光学特性に応じて異なる場合がある。このような状況を鑑みて、医療用観察装置100は、装着された撮像光学系111の光学特性(特に、色収差)に応じて、AF用評価信号係数を算出してもよい。
【0118】
具体的な一例として、前述したAF用評価信号係数を算出するための変換式A=(k
r,k
g,k
b)を、撮像光学系111ごとに、事前の実験等に基づき当該撮像光学系111の光学特性に応じて算出し、所定の記憶領域にあらかじめ記憶させておくとよい。医療用観察装置100は、例えば、装着された撮像光学系111を識別し、識別結果に基づき、当該撮像光学系111に対応する変換式Aを所定の記憶領域から読み出す。そして、医療用観察装置100は、読み出した変換式Aに基づき、AF用評価信号係数を算出してもよい。
【0119】
なお、医療用観察装置100が、自身に装着された撮像光学系111を識別できれば、その方法は特に限定されない。具体的な一例として、撮像光学系111の所定の記憶領域に当該撮像光学系111を識別するための識別情報をあらかじめ記憶させておき、医療用観察装置100は、接続された撮像光学系111の当該記憶領域から当該識別情報を読み出すことで、当該撮像光学系111を識別してもよい。
【0120】
また、変換式Aについては、観察対象となる帯域ごと(換言すると、観察モードごと)に設定されていてもよいことは、前述した例と同様である。この場合には、例えば、観察対象となる帯域(換言すると、選択される観察モード)と、接続される撮像光学系111との組み合わせごとに変換式Aがあらかじめ算出され、所定の記録領域に記憶されていてもよい。
【0121】
また、他の一例として、観察対象となる帯域と、接続される撮像光学系111との組み合わせごとにAF用評価信号係数があらかじめ算出され、所定の記憶領域に記憶されていてもよい。この場合には、医療用観察装置100は、例えば、術者(ユーザ)により選択された観察モードと、接続された撮像光学系111の識別結果とに応じて、対応するAF用評価信号係数を所定の領域から読み出せばよい。
【0122】
以上のような構成により、医療用観察装置100は、撮像光学系111が着脱可能に構成されている場合においても、装着される撮像光学系111の光学特性に応じて、より好適な態様で被写体に対して合焦するように、当該撮像光学系111の焦点位置を制御することが可能となる。
【0123】
<6.適用例>
次に、
図7を参照して、本実施形態に係る医療用観察装置の他の適用例として、アームを備えた手術用ビデオ顕微鏡装置が用いられる場合の一例について説明する。
図7は、本実施形態に係る医療用観察装置の一適用例について説明するための説明図である。
【0124】
図7は、手術用ビデオ顕微鏡装置を用いた施術の様子を模式的に表している。具体的には、
図7を参照すると、施術者(ユーザ)520である医師が、例えばメス、鑷子、鉗子等の手術用の器具521を使用して、施術台530上の施術対象(患者)540に対して手術を行っている様子が図示されている。なお、以下の説明においては、施術とは、手術や検査等、ユーザ520である医師が施術対象540である患者に対して行う各種の医療的な処置の総称であるものとする。また、
図7に示す例では、施術の一例として手術の様子を図示しているが、手術用ビデオ顕微鏡装置510が用いられる施術は手術に限定されず、他の各種の施術であってもよい。
【0125】
施術台530の脇には本実施形態に係る手術用ビデオ顕微鏡装置510が設けられる。手術用ビデオ顕微鏡装置510は、基台であるベース部511と、ベース部511から延伸するアーム部512と、アーム部512の先端に先端ユニットとして接続される撮像ユニット515とを備える。アーム部512は、複数の関節部513a、513b、513cと、関節部513a、513bによって連結される複数のリンク514a、514bと、アーム部512の先端に設けられる撮像ユニット515を有する。
図7に示す例では、簡単のため、アーム部512は3つの関節部513a〜513c及び2つのリンク514a、514bを有しているが、実際には、アーム部512及び撮像ユニット515の位置及び姿勢の自由度を考慮して、所望の自由度を実現するように関節部513a〜513c及びリンク514a、514bの数や形状、関節部513a〜513cの駆動軸の方向等が適宜設定されてもよい。
【0126】
関節部513a〜513cは、リンク514a、514bを互いに回動可能に連結する機能を有し、関節部513a〜513cの回転が駆動されることにより、アーム部512の駆動が制御される。
【0127】
アーム部512の先端には、先端ユニットとして撮像ユニット515が接続されている。撮像ユニット515は、撮像対象の画像を取得するユニットであり、例えば動画や静止画を撮像できるカメラ等である。
図7に示すように、アーム部512の先端に設けられた撮像ユニット515が施術対象540の施術部位の様子を撮像するように、手術用ビデオ顕微鏡装置510によってアーム部512及び撮像ユニット515の姿勢や位置が制御される。なお、アーム部512の先端に先端ユニットとして接続される撮像ユニット515の構成は特に限定されず、例えば、撮像ユニット515は、内視鏡や顕微鏡として構成されていてもよい。また、撮像ユニット515は、当該アーム部512に対して着脱可能に構成されていてもよい。このような構成により、例えば、利用用途に応じた撮像ユニット515が、アーム部512の先端に先端ユニットとして適宜接続されてもよい。なお、本説明では、先端ユニットとして撮像ユニット515が適用されている場合に着目して説明するが、アーム部512の先端に接続される先端ユニットは、必ずしも撮像ユニット515に限定されないことは言うまでもない。
【0128】
また、ユーザ520と対向する位置には、モニタやディスプレイ等の表示装置550が設置される。撮像ユニット515により取得された施術部位の画像は、例えば、手術用ビデオ顕微鏡装置510に内蔵または外付けされた画像処理装置(図示は省略する)により、各種画像処理が施されたうえで、表示装置550の表示画面に電子画像として表示される。このような構成により、ユーザ520は、表示装置550の表示画面に表示される施術部位の電子画像を見ながら各種の処置(例えば、手術等)を行うことが可能となる。
【0129】
なお、
図7に示す例では、撮像ユニット515が、例えば、
図4を参照して前述した撮像部110を含む。また、撮像ユニット515により取得された施術部位の画像に対して、各種画像処理を施す画像処理装置が、
図4を参照して前述した制御部130の一例に相当する。また、表示装置550が、当該制御部130からの映像信号の出力先の一例に相当し得る。
【0130】
以上、
図7を参照して、本実施形態に係る医療用観察装置の他の適用例として、アームを備えた手術用ビデオ顕微鏡装置が用いられる場合の一例について説明した。
【0131】
<7.ハードウェア構成>
次に、
図8を参照しながら、本実施形態に係る医療用観察装置として構成される情報処理装置900のハードウェア構成の一例について、詳細に説明する。
図8は、本開示の一実施形態に係る医療用観察装置として構成される情報処理装置900のハードウェア構成の一構成例を示す機能ブロック図である。
【0132】
図8に示すように、情報処理装置900は、主に、CPU901と、ROM903と、RAM905と、を備える。また、情報処理装置900は、更に、ホストバス907と、ブリッジ909と、外部バス911と、インターフェース913と、入力装置915と、出力装置917と、ストレージ装置919とを備える。また、情報処理装置900は、ドライブ921と、接続ポート923と、通信装置925とを備えてもよい。
【0133】
CPU901は、演算処理装置及び制御装置として機能し、ROM903、RAM905、ストレージ装置919又はリムーバブル記録媒体927に記録された各種プログラムに従って、情報処理装置900内の動作全般又はその一部を制御する。ROM903は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM905は、CPU901が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはCPUバス等の内部バスにより構成されるホストバス907により相互に接続されている。なお、
図4を参照して前述した、制御部130の各構成は、例えば、CPU901により実現され得る。
【0134】
ホストバス907は、ブリッジ909を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス911に接続されている。また、外部バス911には、インターフェース913を介して、入力装置915、出力装置917、ストレージ装置919、ドライブ921、接続ポート923及び通信装置925が接続される。
【0135】
入力装置915は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、レバー及びペダル等、ユーザが操作する操作手段である。また、入力装置915は、例えば、赤外線やその他の電波を利用したリモートコントロール手段(いわゆる、リモコン)であってもよいし、情報処理装置900の操作に対応した携帯電話やPDA等の外部接続機器929であってもよい。さらに、入力装置915は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、CPU901に出力する入力制御回路などから構成されている。情報処理装置900のユーザは、この入力装置915を操作することにより、情報処理装置900に対して各種のデータを入力したり処理動作を指示したりすることができる。
【0136】
出力装置917は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で構成される。このような装置として、CRTディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ELディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置917は、例えば、情報処理装置900が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置900が行った各種処理により得られた結果を、テキスト又はイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。例えば、
図4を参照して前述した撮像信号処理部131からの映像信号の出力先としては、表示装置として構成された出力装置917が想定され得る。
【0137】
ストレージ装置919は、情報処理装置900の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置919は、例えば、HDD(Hard Disk Drive)等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により構成される。このストレージ装置919は、CPU901が実行するプログラムや各種データ等を格納する。
【0138】
ドライブ921は、記録媒体用リーダライタであり、情報処理装置900に内蔵、あるいは外付けされる。ドライブ921は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体927に記録されている情報を読み出して、RAM905に出力する。また、ドライブ921は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体927に記録を書き込むことも可能である。リムーバブル記録媒体927は、例えば、DVDメディア、HD−DVDメディア又はBlu−ray(登録商標)メディア等である。また、リムーバブル記録媒体927は、コンパクトフラッシュ(登録商標)(CF:CompactFlash)、フラッシュメモリ又はSDメモリカード(Secure Digital memory card)等であってもよい。また、リムーバブル記録媒体927は、例えば、非接触型ICチップを搭載したICカード(Integrated Circuit card)又は電子機器等であってもよい。
【0139】
接続ポート923は、情報処理装置900に直接接続するためのポートである。接続ポート923の一例として、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポート等がある。接続ポート923の別の例として、RS−232Cポート、光オーディオ端子、HDMI(登録商標)(High−Definition Multimedia Interface)ポート等がある。この接続ポート923に外部接続機器929を接続することで、情報処理装置900は、外部接続機器929から直接各種のデータを取得したり、外部接続機器929に各種のデータを提供したりする。
【0140】
通信装置925は、例えば、通信網(ネットワーク)931に接続するための通信デバイス等で構成された通信インターフェースである。通信装置925は、例えば、有線若しくは無線LAN(Local Area Network)、Bluetooth(登録商標)又はWUSB(Wireless USB)用の通信カード等である。また、通信装置925は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ又は各種通信用のモデム等であってもよい。この通信装置925は、例えば、インターネットや他の通信機器との間で、例えばTCP/IP等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置925に接続される通信網931は、有線又は無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信又は衛星通信等であってもよい。
【0141】
以上、本開示の実施形態に係る医療用立体観察システムを構成する情報処理装置900の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。なお、
図8では図示しないが、例えば、前述した医療用観察装置に対応する各種の構成を当然備える。
【0142】
なお、上述のような本実施形態に係る医療用立体観察システムを構成する情報処理装置900の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
【0143】
<8.まとめ>
以上、説明したように、本実施形態に係る医療用観察装置100は、被写体からの観察対象光のうち観察の対象となる帯域に応じたAF用評価信号係数と、撮像素子114からの撮像信号とに基づきAF評価値を算出し、算出した当該AF評価値に基づき合焦動作(AF動作)を行う。このような構成により、本実施形態に係る医療用観察装置100は、色収差の比較的大きい光学系を使用した場合においても、観察の対象となる帯域に応じて、被写体に対して合焦するように、撮像光学系111の焦点位置を制御することが可能となる。即ち、本実施形態に係る医療用観察装置100に依れば、術者(ユーザ)は、所謂特殊光観察においても、観察の対象となる帯域に応じた、より鮮明な被写体像を観察することが可能となる。
【0144】
特に、本実施形態に係る医療用観察装置100は、例えば、撮像素子114からの撮像信号に対して適用される現像処理の特性に応じたAF用評価信号係数に基づきAF用評価信号を生成し、当該AF用評価信号に基づきAF評価値を算出することが可能である。このような構成により、医療用観察装置100は、互いに異なる複数の帯域それぞれに注目した現像を行うような状況下でも、当該複数の帯域それぞれについて、被写体に対して合焦するように、撮像光学系111の焦点距離を制御することが可能となる。
【0145】
より具体的な一例として、医療用観察装置100が、被写体に対して光源から複数の異なる帯域の補助光を照射し、当該被写体からの反射光の受光結果に基づく撮像信号に対して、当該複数の帯域それぞれについて、帯域ごとに異なる現像処理を施す場合に着目する。この場合には、例えば、医療用観察装置100は、複数の帯域それぞれに着目した現像処理ごとのAF用評価信号係数に基づき、当該現像処理ごとにAF用評価信号を生成し、当該AF用評価信号に基づきAF評価値を算出する。そして、医療用観察装置100は、現像処理ごとに、当該現像処理に対応したAF評価値に基づき、撮像光学系111の焦点位置を制御してもよい。このような制御により、医療用観察装置100は、例えば、患部表面や患部奥等のように、生体内の異なる位置それぞれに対して合焦した画像(即ち、患部がより鮮明に提示された画像)を出力することが可能となる。
【0146】
また、他の一例として、複数の帯域の蛍光を放出する蛍光体を観察する場合において、医療用観察装置100が、当該蛍光の受光結果に基づく撮像信号に対して、当該複数の帯域それぞれについて、帯域ごとに異なる現像処理を施す場合に着目する。この場合においても、例えば、医療用観察装置100は、複数の帯域それぞれに着目した現像処理ごとのAF用評価信号係数に基づきAF評価値を算出し、現像処理ごとに、当該現像処理に対応したAF評価値に基づき、撮像光学系111の焦点位置を制御してもよい。このような制御により、医療用観察装置100は、例えば、血管や腫瘍部位のように、生体内の異なる部位(換言すると、互いに異なる蛍光を放出する部分)それぞれに対して合焦した画像(即ち、各部位がより鮮明に提示された画像)を出力することが可能となる。
【0147】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【0148】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【0149】
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
撮像素子による生体内の被写体からの観察対象光の受光結果に基づく、互いに異なる複数の分光成分それぞれに対応する撮像信号に対して、前記観察対象光の帯域のうち観察の対象とする帯域に応じた前記複数の分光成分間の重みを適用し、前記重みが適用された当該撮像信号に基づき、合焦の度合いを示す評価値を算出する算出部と、
前記被写体からの観察対象光を前記撮像素子に結像する光学系のうち少なくとも1つの光学部材の位置を、前記評価値に基づき制御することで当該光学系の焦点位置を制御する制御部と、
を備える、医療用観察装置。
(2)
前記算出部は、前記複数の分光成分に基づき前記観察の対象とする帯域の成分に基づく画像データを生成するための補正パラメータに応じた前記重みに基づき、前記評価値を算出する、前記(1)に記載の医療用観察装置。
(3)
前記算出部は、前記観察の対象とする帯域ごとにあらかじめ設定された前記重みに基づき、前記評価値を算出する、前記(1)に記載の医療用観察装置。
(4)
前記算出部は、前記観察対象光の帯域のうち少なくとも一部の帯域を観察対象とする複数のモードそれぞれについてあらかじめ設定された前記重みのうち、選択された前記モードに対応する前記重みを取得し、取得した当該重みに基づき、前記評価値を算出する、前記(3)に記載の医療用観察装置。
(5)
前記複数のモードには、狭帯域光観察、蛍光観察、及び赤外光観察のうち少なくともいずれかに対応するモードが含まれる、前記(4)に記載の医療用観察装置。
(6)
前記算出部は、前記被写体の撮像が行われる手術の術式に応じて設定される前記重みに基づき、前記評価値を算出する、前記(1)に記載の医療用観察装置。
(7)
前記算出部は、前記被写体の撮像が行われる診療科に応じて設定される前記重みに基づき、前記評価値を算出する、前記(1)に記載の医療用観察装置。
(8)
前記算出部は、前記光学系の光学特性に応じて設定される前記重みに基づき、前記評価値を算出する、前記(1)〜(7)のいずれか一項に記載の医療用観察装置。
(9)
前記複数の分光成分に対応する前記撮像信号は、RGB信号であり、
R信号、G信号、及びB信号の輝度成分をそれぞれR、G、及びBとし、前記重みに基づく、前記R信号、前記G信号、及び前記B信号それぞれに対応する係数をr、g、及びbとしたとき、前記評価値を算出するための評価信号Lは、以下に示す計算式に基づき算出される、前記(1)〜(8)のいずれか一項に記載の医療用観察装置。
【数7】
(10)
前記制御部は、前記評価値を基に算出される被写体像のコントラストに基づき、前記光学系の焦点位置を制御する、前記(1)〜(9)のいずれか一項に記載の医療用観察装置。
(11)
前記撮像素子を含む撮像部を備える、前記(1)〜(10)のいずれか一項に記載の医療用観察装置。
(12)
前記撮像部は、患者の体腔内に挿入される内視鏡である、
前記(11)に記載の医療用観察装置。
(13)
前記撮像部は、前記被写体の光学像を取得する前記光学系を含む顕微鏡部であって、
前記顕微鏡部を支持する支持部、
をさらに備える、
前記(11)に記載の医療用観察装置。
(14)
プロセッサが、
撮像素子による生体内の被写体からの観察対象光の受光結果に基づく、互いに異なる複数の分光成分それぞれに対応する撮像信号に対して、前記観察対象光の帯域のうち観察の対象とする帯域に応じた前記複数の分光成分間の重みを適用し、前記重みが適用された当該撮像信号に基づき、合焦の度合いを示す評価値を算出することと、
前記被写体からの観察対象光を前記撮像素子に結像する光学系のうち少なくとも1つの光学部材の位置を、前記評価値に基づき制御することで当該光学系の焦点位置を制御することと、
を含む、医療用観察方法。