(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-23
(45)【発行日】2025-01-07
(54)【発明の名称】光源制御装置及び医療用観察システム
(51)【国際特許分類】
A61B 1/06 20060101AFI20241224BHJP
【FI】
A61B1/06 611
(21)【出願番号】P 2020193846
(22)【出願日】2020-11-20
【審査請求日】2023-10-02
(73)【特許権者】
【識別番号】313009556
【氏名又は名称】ソニー・オリンパスメディカルソリューションズ株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】小島 航史
【審査官】増渕 俊仁
(56)【参考文献】
【文献】国際公開第2020/150494(WO,A1)
【文献】特開2015-033405(JP,A)
【文献】国際公開第2012/114934(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 1/00-1/32
(57)【特許請求の範囲】
【請求項1】
複数の画素が水平ライン単位で2次元状に配列されたローリングシャッタ方式の撮像素子における有効画素領域の全ての前記水平ラインが同時に露光される全ライン露光期間である第1の全ライン露光期間において第1の光源から可視の波長帯域の光を発光させるとともに、前記第1の全ライン露光期間とは異なる前記全ライン露光期間である第2の全ライン露光期間において第2の光源から励起光を発光させる光源制御部を備え、
前記光源制御部は、
前記第2の光源の動作を制御する際、前記第2の全ライン露光期間と、前記第2の全ライン露光期間に隣り合い、前記複数の画素に蓄積された電荷を読み出す読み出し期間の少なくとも一部の期間とを含む励起光発光期間において前記励起光を発光させ
、
前記励起光発光期間は、
前記第2の全ライン露光期間に対して時系列的に前の前記読み出し期間の少なくとも一部の期間と、前記第2の全ライン露光期間とを含む期間である光源制御装置。
【請求項2】
前記励起光発光期間は、
前記全ての水平ラインのうち、中央に位置する水平ラインが露光を開始するタイミングよりも後のタイミングから、前記第2の全ライン露光期間の終了タイミングまでの期間である請求項
1に記載の光源制御装置。
【請求項3】
複数の画素が水平ライン単位で2次元状に配列されたローリングシャッタ方式の撮像素子における有効画素領域の全ての前記水平ラインが同時に露光される全ライン露光期間である第1の全ライン露光期間において第1の光源から可視の波長帯域の光を発光させるとともに、前記第1の全ライン露光期間とは異なる前記全ライン露光期間である第2の全ライン露光期間において第2の光源から励起光を発光させる光源制御部を備え、
前記光源制御部は、
前記第2の光源の動作を制御する際、前記第2の全ライン露光期間と、前記第2の全ライン露光期間に隣り合い、前記複数の画素に蓄積された電荷を読み出す読み出し期間の少なくとも一部の期間とを含む励起光発光期間において前記励起光を発光させ、
前記励起光発光期間は、
前記第2の全ライン露光期間と、前記第2の全ライン露光期間に対して時系列的に後の前記読み出し期間の少なくとも一部の期間とを含む期間であ
る光源制御装置。
【請求項4】
前記励起光発光期間は、
前記第2の全ライン露光期間の開始タイミングから、前記全ての水平ラインのうち、中央に位置する水平ラインが露光を終了するタイミングよりも前のタイミングまでの期間である請求項
3に記載の光源制御装置。
【請求項5】
前記励起光発光期間は、
前記第2の全ライン露光期間と、前記第2の全ライン露光期間に対して時系列的に前の前記読み出し期間の少なくとも一部の期間と、前記第2の全ライン露光期間に対して時系列的に後の前記読み出し期間の少なくとも一部の期間とを含む期間である請求項1に記載の光源制御装置。
【請求項6】
複数の画素が水平ライン単位で2次元状に配列されたローリングシャッタ方式の撮像素子における有効画素領域の全ての前記水平ラインが同時に露光される全ライン露光期間である第1の全ライン露光期間において第1の光源から可視の波長帯域の光を発光させるとともに、前記第1の全ライン露光期間とは異なる前記全ライン露光期間である第2の全ライン露光期間において第2の光源から励起光を発光させる光源制御部と、
観察対象に前記励起光が照射され、前記励起光によって励起された前記観察対象からの蛍光が撮像部にて撮像された蛍光画像を取得する画像取得部と、
前記蛍光画像における全画像領域のうち、前記蛍光に応じた画素レベルが特定の閾値よりも高い画素で構成された蛍光領域の位置を特定する領域特定部と
を備え、
前記光源制御部は、
前記第2の光源の動作を制御する際、前記第2の全ライン露光期間と、前記第2の全ライン露光期間に隣り合い、前記複数の画素に蓄積された電荷を読み出す読み出し期間の少なくとも一部の期間とを含む励起光発光期間において前記励起光を発光させるとともに、前記蛍光領域の位置に基づいて、前記第2の全ライン露光期間と前記第2の全ライン露光期間に対して時系列的に前の前記読み出し期間の少なくとも一部の期間とを含む前記励起光発光期間において前記励起光を発光させる第1の励起光発光制御と、前記第2の全ライン露光期間と前記第2の全ライン露光期間に対して時系列的に後の前記読み出し期間の少なくとも一部の期間とを含む前記励起光発光期間において前記励起光を発光させる第2の励起光発光制御と、前記第2の全ライン露光期間と前記第2の全ライン露光期間に対して時系列的に前の前記読み出し期間の少なくとも一部の期間と前記第2の全ライン露光期間に対して時系列的に後の前記読み出し期間の少なくとも一部の期間とを含む前記励起光発光期間において前記励起光を発光させる第3の励起光発光制御とのいずれかを実行す
る光源制御装置。
【請求項7】
前記励起光発光期間は、
前記可視の波長帯域の光を発光させる期間よりも長い請求項1、3、6のいずれか1つに記載の光源制御装置。
【請求項8】
前記可視の波長帯域の光を発光させる期間は、
前記全ライン露光期間内である請求項1、3、6のいずれか1つに記載の光源制御装置。
【請求項9】
複数の画素が水平ライン単位で2次元状に配列されたローリングシャッタ方式の撮像素子を含む撮像装置と、
可視の波長帯域である光を発光する第1の光源と、
励起光を発光する第2の光源と、
前記第1の光源及び前記第2の光源を制御する光源制御装置とを備え、
前記光源制御装置は、
前記撮像素子における有効画素領域の全ての前記水平ラインが同時に露光される全ライン露光期間である第1の全ライン露光期間において前記第1の光源から前記可視の波長帯域の光を発光させるとともに、前記第1の全ライン露光期間とは異なる前記全ライン露光期間である第2の全ライン露光期間において前記第2の光源から前記励起光を発光させる光源制御部を備え、
前記光源制御部は、
前記第2の光源の動作を制御する際、前記第2の全ライン露光期間と、前記第2の全ライン露光期間に隣り合い、前記複数の画素に蓄積された電荷を読み出す読み出し期間の少なくとも一部の期間とを含む励起光発光期間において前記励起光を発光させ
、
前記励起光発光期間は、
前記第2の全ライン露光期間に対して時系列的に前の前記読み出し期間の少なくとも一部の期間と、前記第2の全ライン露光期間とを含む期間である医療用観察システム。
【請求項10】
複数の画素が水平ライン単位で2次元状に配列されたローリングシャッタ方式の撮像素子を含む撮像装置と、
可視の波長帯域である光を発光する第1の光源と、
励起光を発光する第2の光源と、
前記第1の光源及び前記第2の光源を制御する光源制御装置とを備え、
前記光源制御装置は、
前記撮像素子における有効画素領域の全ての前記水平ラインが同時に露光される全ライン露光期間である第1の全ライン露光期間において前記第1の光源から前記可視の波長帯域の光を発光させるとともに、前記第1の全ライン露光期間とは異なる前記全ライン露光期間である第2の全ライン露光期間において前記第2の光源から前記励起光を発光させる光源制御部を備え、
前記光源制御部は、
前記第2の光源の動作を制御する際、前記第2の全ライン露光期間と、前記第2の全ライン露光期間に隣り合い、前記複数の画素に蓄積された電荷を読み出す読み出し期間の少なくとも一部の期間とを含む励起光発光期間において前記励起光を発光させ、
前記励起光発光期間は、
前記第2の全ライン露光期間と、前記第2の全ライン露光期間に対して時系列的に後の前記読み出し期間の少なくとも一部の期間とを含む期間である医療用観察システム。
【請求項11】
複数の画素が水平ライン単位で2次元状に配列されたローリングシャッタ方式の撮像素子を含む撮像装置と、
可視の波長帯域である光を発光する第1の光源と、
励起光を発光する第2の光源と、
前記第1の光源及び前記第2の光源を制御する光源制御装置とを備え、
前記光源制御装置は、
前記撮像素子における有効画素領域の全ての前記水平ラインが同時に露光される全ライン露光期間である第1の全ライン露光期間において前記第1の光源から前記可視の波長帯域の光を発光させるとともに、前記第1の全ライン露光期間とは異なる前記全ライン露光期間である第2の全ライン露光期間において前記第2の光源から前記励起光を発光させる光源制御部と、
観察対象に前記励起光が照射され、前記励起光によって励起された前記観察対象からの蛍光が撮像部にて撮像された蛍光画像を取得する画像取得部と、
前記蛍光画像における全画像領域のうち、前記蛍光に応じた画素レベルが特定の閾値よりも高い画素で構成された蛍光領域の位置を特定する領域特定部とを備え、
前記光源制御部は、
前記第2の光源の動作を制御する際、前記第2の全ライン露光期間と、前記第2の全ライン露光期間に隣り合い、前記複数の画素に蓄積された電荷を読み出す読み出し期間の少なくとも一部の期間とを含む励起光発光期間において前記励起光を発光させるとともに、前記蛍光領域の位置に基づいて、前記第2の全ライン露光期間と前記第2の全ライン露光期間に対して時系列的に前の前記読み出し期間の少なくとも一部の期間とを含む前記励起光発光期間において前記励起光を発光させる第1の励起光発光制御と、前記第2の全ライン露光期間と前記第2の全ライン露光期間に対して時系列的に後の前記読み出し期間の少なくとも一部の期間とを含む前記励起光発光期間において前記励起光を発光させる第2の励起光発光制御と、前記第2の全ライン露光期間と前記第2の全ライン露光期間に対して時系列的に前の前記読み出し期間の少なくとも一部の期間と前記第2の全ライン露光期間に対して時系列的に後の前記読み出し期間の少なくとも一部の期間とを含む前記励起光発光期間において前記励起光を発光させる第3の励起光発光制御とのいずれかを実行する医療用観察システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、光源制御装置及び医療用観察システムに関する。
【背景技術】
【0002】
従来、ローリングシャッタ方式の撮像素子であるCMOS(Complementary Metal Oxide Semiconductor)を用いて生体内等の観察対象を撮像し、当該観察対象を観察する医療用観察システムが知られている(例えば、特許文献1参照)。
特許文献1に記載の医療用観察システムでは、通常光画像と蛍光画像とを生成している。具体的に、通常光画像は、可視の波長帯域である通常光を観察対象に照射して当該観察対象を介した通常光を撮像することで得られた画像である。また、蛍光画像は、励起光を観察対象に照射して当該励起光によって励起された当該観察対象からの蛍光を撮像することで得られた画像である。
ここで、特許文献1に記載の医療用観察システムでは、通常光画像や蛍光画像の輝度ムラを抑制するために、撮像素子における有効画素領域の全ての水平ラインが同時に露光される全ライン露光期間内においてのみ、通常光や励起光をそれぞれ発光させている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、蛍光画像は、観察対象からの蛍光が微小であり、当該蛍光の波長帯域における撮像素子の感度も低いため、信号レベルが著しく低いものである。このため、観察に適した画像を生成することが難しい、という問題がある。
【0005】
本開示は、上記に鑑みてなされたものであって、観察に適した画像を生成することができる光源制御装置及び医療用観察システムを提供することを目的とする。
【課題を解決するための手段】
【0006】
上述した課題を解決し、目的を達成するために、本開示に係る光源制御装置は、複数の画素が水平ライン単位で2次元状に配列されたローリングシャッタ方式の撮像素子における有効画素領域の全ての前記水平ラインが同時に露光される全ライン露光期間である第1の全ライン露光期間において第1の光源から可視の波長帯域の光を発光させるとともに、前記第1の全ライン露光期間とは異なる前記全ライン露光期間である第2の全ライン露光期間において第2の光源から励起光を発光させる光源制御部を備え、前記光源制御部は、前記第2の光源の動作を制御する際、前記第2の全ライン露光期間と、前記第2の全ライン露光期間に隣り合い、前記複数の画素に蓄積された電荷を読み出す読み出し期間の少なくとも一部の期間とを含む励起光発光期間において前記励起光を発光させる。
【0007】
また、本開示に係る医療用観察システムは、複数の画素が水平ライン単位で2次元状に配列されたローリングシャッタ方式の撮像素子を含む撮像装置と、可視の波長帯域である光を発光する第1の光源と、励起光を発光する第2の光源と、前記第1の光源及び前記第2の光源を制御する光源制御装置とを備え、前記光源制御装置は、前記撮像素子における有効画素領域の全ての前記水平ラインが同時に露光される全ライン露光期間である第1の全ライン露光期間において前記第1の光源から前記可視の波長帯域の光を発光させるとともに、前記第1の全ライン露光期間とは異なる前記全ライン露光期間である第2の全ライン露光期間において前記第2の光源から前記励起光を発光させる光源制御部を備え、前記光源制御部は、前記第2の光源の動作を制御する際、前記第2の全ライン露光期間と、前記第2の全ライン露光期間に隣り合い、前記複数の画素に蓄積された電荷を読み出す読み出し期間の少なくとも一部の期間とを含む励起光発光期間において前記励起光を発光させる。
【発明の効果】
【0008】
本開示に係る光源制御装置及び医療用観察システムによれば、観察に適した画像を生成することができる。
【図面の簡単な説明】
【0009】
【
図1】
図1は、実施の形態1に係る医療用観察システムの構成を示す図である。
【
図2】
図2は、カメラヘッド及び制御装置の構成を示すブロック図である。
【
図3】
図3は、制御装置の動作を説明する図である。
【
図4】
図4は、実施の形態2に係る制御部が実行する第1の励起光発光制御を説明する図である。
【
図5】
図5は、実施の形態2に係る制御部が実行する第2の励起光発光制御を説明する図である。
【
図6】
図6は、実施の形態2に係る制御部が実行する第3の励起光発光制御を説明する図である。
【発明を実施するための形態】
【0010】
以下に、図面を参照して、本開示を実施するための形態(以下、実施の形態)について説明する。なお、以下に説明する実施の形態によって本開示が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付している。
【0011】
(実施の形態1)
〔医療用観察システムの概略構成〕
図1は、実施の形態1に係る医療用観察システム1の構成を示す図である。
医療用観察システム1は、医療分野において用いられ、被写体となる生体内(観察対象)を撮像(観察)するシステムである。この医療用観察システム1は、
図1に示すように、挿入部2と、光源装置3と、ライトガイド4と、カメラヘッド5と、第1の伝送ケーブル6と、表示装置7と、第2の伝送ケーブル8と、制御装置9と、第3の伝送ケーブル10とを備える。
【0012】
本実施の形態1では、挿入部2は、硬性内視鏡で構成されている。すなわち、挿入部2は、全体が硬質、または一部が軟質で他の部分が硬質である細長形状を有し、生体内に挿入される。この挿入部2内には、1または複数のレンズを用いて構成され、被写体からの光を集光する光学系が設けられている。
【0013】
光源装置3は、ライトガイド4の一端が接続され、制御装置9による制御の下、当該ライトガイド4の一端に生体内に照射する光を供給する。この光源装置3は、
図1に示すように、第1の光源31と、第2の光源32とを備える。
第1の光源31は、可視の波長帯域である通常光を出射(発光)する。本実施の形態1では、第1の光源31は、白色光を発光するLED(Light Emitting Diode)で構成されている。
【0014】
第2の光源32は、通常光の波長帯域とは異なる波長帯域の励起光を出射(発光)する。本実施の形態1では、第2の光源32は、近赤外の波長帯域(例えば750nm~800nm程度の波長帯域)の近赤外励起光を発光する半導体レーザまたはLEDで構成されている。当該近赤外励起光は、インドシアニングリーン等の蛍光物質を励起する励起光である。また、当該インドシアニングリーン等の蛍光物質は、当該近赤外励起光で励起すると、当該近赤外励起光の波長帯域の中心波長よりも長波長側に中心波長を有する可視域以外の波長帯域(例えば830nm近辺の波長帯域)の蛍光を発光する。なお、近赤外励起光の波長帯域と蛍光の波長帯域とは、一部が重なり合うように設定してもよく、あるいは、全く重なり合わないように設定しても構わない。
【0015】
そして、本実施の形態1に係る光源装置3では、制御装置9による制御の下、交互に繰り返される第1,第2の期間のうち、第1の期間において、第1の光源31が駆動する。すなわち、第1の期間では、光源装置3は、通常光(白色光)を発光する。また、光源装置3では、制御装置9による制御の下、第2の期間において、第2の光源32が駆動する。すなわち、第2の期間では、光源装置3は、近赤外励起光を発光する。
なお、本実施の形態1では、光源装置3は、制御装置9とは別体で構成されているが、これに限らず、当該制御装置9内部に設けられた構成を採用しても構わない。
【0016】
ライトガイド4は、一端が光源装置3に着脱自在に接続されるとともに、他端が挿入部2に着脱自在に接続される。そして、ライトガイド4は、光源装置3から供給された光(通常光や近赤外励起光)を一端から他端に伝達し、挿入部2に供給する。生体内に通常光(白色光)が照射された場合には、当該生体内を介した通常光(当該生体内で反射された通常光)が挿入部2内の光学系により集光される。また、生体内に近赤外励起光が照射された場合には、当該生体内を介した近赤外励起光(当該生体内で反射された近赤外励起光)と、当該生体内における病変部に集積するインドシアニングリーン等の蛍光物質が当該近赤外励起光によって励起され、当該蛍光物質から発せられた蛍光とが挿入部2内の光学系により集光される。
【0017】
カメラヘッド5は、本開示に係る撮像装置に相当する。このカメラヘッド5は、挿入部2の基端(接眼部21(
図1))に着脱自在に接続される。そして、カメラヘッド5は、制御装置9による制御の下、挿入部2にて集光された光を撮像して撮像画像を生成する。
なお、カメラヘッド5の詳細な構成については、後述する「カメラヘッドの構成」において説明する。
【0018】
第1の伝送ケーブル6は、一端がコネクタCN1(
図1)を介して制御装置9に着脱自在に接続され、他端がコネクタCN2(
図1)を介してカメラヘッド5に着脱自在に接続される。そして、第1の伝送ケーブル6は、カメラヘッド5から出力される撮像画像等を制御装置9に伝送するとともに、制御装置9から出力される制御信号、同期信号、クロック、及び電力等をカメラヘッド5にそれぞれ伝送する。
なお、第1の伝送ケーブル6を介したカメラヘッド5から制御装置9への撮像画像等の伝送は、当該撮像画像等を光信号で伝送してもよく、あるいは、電気信号で伝送しても構わない。第1の伝送ケーブル6を介した制御装置9からカメラヘッド5への制御信号、同期信号、クロックの伝送も同様である。
【0019】
表示装置7は、液晶または有機EL(Electro Luminescence)等を用いた表示ディスプレイで構成され、制御装置9による制御の下、当該制御装置9からの映像信号に基づく画像を表示する。
第2の伝送ケーブル8は、一端が表示装置7に着脱自在に接続され、他端が制御装置9に着脱自在に接続される。そして、第2の伝送ケーブル8は、制御装置9にて処理された映像信号を表示装置7に伝送する。
【0020】
制御装置9は、本開示に係る光源制御装置に相当する。この制御装置9は、CPU(Central Processing Unit)やFPGA(Field-Programmable Gate Array)等で構成され、光源装置3、カメラヘッド5、及び表示装置7の動作を統括的に制御する。
なお、制御装置9の詳細な構成については、後述する「制御装置の構成」において説明する。
第3の伝送ケーブル10は、一端が光源装置3に着脱自在に接続され、他端が制御装置9に着脱自在に接続される。そして、第3の伝送ケーブル10は、制御装置9からの制御信号を光源装置3に伝送する。
【0021】
〔カメラヘッドの構成〕
次に、カメラヘッド5の構成について説明する。
図2は、カメラヘッド5及び制御装置9の構成を示すブロック図である。
カメラヘッド5は、
図2に示すように、レンズユニット51と、撮像部52と、通信部53とを備える。
レンズユニット51は、1または複数のレンズを用いて構成され、挿入部2にて集光された光(通常光や近赤外励起光及び蛍光)を撮像部52(撮像素子522)の撮像面に結像する。
【0022】
撮像部52は、制御装置9による制御の下、生体内を撮像する。この撮像部52は、
図2に示すように、励起光カットフィルタ521と、撮像素子522と、信号処理部523とを備える。
【0023】
励起光カットフィルタ521は、レンズユニット51と撮像素子522との間に設けられ、特定の波長帯域を除去するバンドストップフィルタで構成されている。なお、以下では、説明の便宜上、励起光カットフィルタ521にてカット(除去)する波長帯域をカット帯域と記載し、当該カット帯域よりも短波長側であって当該励起光カットフィルタ521を透過する波長帯域を短波側透過領域と記載し、当該カット帯域よりも長波長側であって当該励起光カットフィルタ521を透過する波長帯域を長波側透過領域と記載する。
ここで、カット帯域は、近赤外励起光の波長帯域の少なくとも一部を含む。本実施の形態1では、カット帯域は、近赤外励起光の波長帯域の全てを含む。また、長波側透過帯域は、蛍光の波長帯域を含む。さらに、短波側透過領域は、通常光(白色光)の波長帯域を含む。
【0024】
すなわち、励起光カットフィルタ521は、レンズユニット51から撮像素子522に向かう通常光(白色光)を透過させる。なお、以下では、説明の便宜上、励起光カットフィルタ521を透過し、撮像素子522に向かう通常光(白色光)を被写体像と記載する。一方、励起光カットフィルタ521は、レンズユニット51から撮像素子522に向かう近赤外励起光及び蛍光については、近赤外励起光を除去するとともに、蛍光を透過させる。なお、以下では、説明の便宜上、励起光カットフィルタ521を透過し、撮像素子522に向かう蛍光を蛍光像と記載する。
【0025】
撮像素子522は、励起光カットフィルタ521を透過した被写体像や蛍光像を受光して電気信号(アナログ信号)に変換する。本実施の形態1では、撮像素子522は、複数の画素が水平ライン単位で2次元状に配列されたローリングシャッタ方式の撮像素子であるCMOSで構成されている。
ここで、撮像素子521は、具体的な図示は省略したが、電気的に保証されない無効領域と、光学的黒領域(OB領域)と、レンズユニット51にて結像した被写体像を撮像信号に変換して出力する有効画素領域とで構成されている。
そして、撮像素子522は、制御装置9による制御の下、光源装置3の発光タイミングに同期して、交互に繰り返される第1,第2の期間毎に撮像を行う。以下では、説明の便宜上、撮像素子522により第1の期間において被写体像(通常光)を撮像することで生成された画像を通常光画像と記載し、撮像素子522により第2の期間において蛍光像(蛍光)を撮像することで生成された画像を蛍光画像と記載する。また、通常光画像及び蛍光画像を纏めて撮像画像と記載する。
信号処理部523は、撮像素子522にて生成されたアナログ信号の撮像画像に対して信号処理を行ってデジタル信号の撮像画像を出力する。
【0026】
通信部53は、第1の伝送ケーブル6を介して、撮像部52から出力される撮像画像を制御装置9に送信するトランスミッタとして機能する。この通信部53は、例えば、第1の伝送ケーブル6を介して、制御装置9との間で、1Gbps以上の伝送レートで撮像画像の通信を行う高速シリアルインターフェースで構成されている。
【0027】
〔制御装置の構成〕
次に、制御装置9の構成について
図2を参照しながら説明する。
制御装置9は、
図2に示すように、通信部91と、メモリ92と、観察画像生成部93と、制御部94と、入力部95と、出力部96と、記憶部97とを備える。
通信部91は、第1の伝送ケーブル6を介して、カメラヘッド5(通信部53)から出力される撮像画像を受信するレシーバとして機能する。この通信部91は、例えば、通信部53との間で、1Gbps以上の伝送レートで撮像画像の通信を行う高速シリアルインターフェースで構成されている。すなわち、通信部91は、本開示に係る画像取得部に相当する。
メモリ92は、例えば、DRAM(Dynamic Random Access Memory)等で構成されている。このメモリ92は、カメラヘッド5(通信部53)から順次、出力される撮像画像を複数フレーム分、一時的に記憶可能とする。
【0028】
観察画像生成部93は、制御部94による制御の下、カメラヘッド5(通信部53)から順次、出力され、通信部91にて受信した撮像画像を処理する。この観察画像生成部93は、
図2に示すように、メモリコントローラ931と、通常光画像処理部932と、蛍光画像処理部933と、重畳画像生成部934と、表示制御部935とを備える。
【0029】
メモリコントローラ931は、メモリ92への撮像画像の書込み及び読出しを制御する。より具体的に、メモリコントローラ931は、カメラヘッド5(通信部53)から順次、出力され、通信部91にて受信した撮像画像(通常光画像及び蛍光画像)をメモリ92に順次、書き込む。また、メモリコントローラ931は、メモリ92から通常光画像を特定のタイミングで読み出すとともに、当該読み出した通常光画像を通常光画像処理部932に入力させる。さらに、メモリコントローラ931は、メモリ92から蛍光画像を特定のタイミングで読み出すとともに、当該読み出した蛍光画像を蛍光画像処理部933に入力させる。
【0030】
通常光画像処理部932は、入力した通常光画像に対して第1の画像処理を実行する。
当該第1の画像処理としては、オプティカルブラック減算処理、ホワイトバランス調整処理、デモザイク処理、色補正マトリクス処理、ガンマ補正処理、RGB信号(通常光画像)を輝度色差信号(Y,Cb/Cr信号)に変換するYC処理等を例示することができる。
【0031】
蛍光画像処理部933は、入力した蛍光画像に対して、第1の画像処理とは異なる第2の画像処理を実行する。
当該第2の画像処理としては、上述した第1の画像処理と同様に、オプティカルブラック減算処理、ホワイトバランス調整処理、デモザイク処理、色補正マトリクス処理、ガンマ補正処理、RGB信号(蛍光画像)を輝度色差信号(Y,Cb/Cr信号)に変換するYC処理等を例示することができる。
【0032】
重畳画像生成部934は、通常光画像処理部932にて第1の画像処理が実行された後の通常光画像に、蛍光画像処理部933にて第2の画像処理が実行された後の蛍光画像を重畳して重畳画像を生成する重畳処理を実行する。
ここで、当該重畳処理としては、以下に示す第1,第2の重畳処理を例示することができる。なお、以下では、蛍光画像において、輝度値が特定の閾値以上となる画素で構成される領域を蛍光領域と記載する。
第1の重畳処理は、通常光画像において、蛍光領域と同一の画素位置となる領域を蛍光画像における蛍光領域の画像に置き換える処理である。
第2の重畳処理は、蛍光画像の蛍光領域における各画素位置の輝度値に応じて、通常光画像における蛍光領域と同一の画素位置となる領域の各画素に付す蛍光を示す色の明るさを変更する処理(所謂、アルファブレンド処理)である。
【0033】
表示制御部935は、制御部94による制御の下、重畳画像生成部934にて生成された重畳画像を表示するための映像信号を生成する。そして、表示制御部935は、第2の伝送ケーブル8を介して、当該映像信号を表示装置7に出力する。
【0034】
制御部94は、例えば、CPUやFPGA等を用いて構成され、第1~第3の伝送ケーブル6,8,10を介して制御信号を出力することで、光源装置3、カメラヘッド5、及び表示装置7の動作を制御するとともに、制御装置9全体の動作を制御する。この制御部94は、本開示に係る光源制御部としての機能を有する。なお、当該光源制御部の機能については、後述する「制御装置の動作」において説明する。
【0035】
入力部95は、マウス、キーボード、及びタッチパネル等の操作デバイスを用いて構成され、医師等のユーザによるユーザ操作を受け付ける。そして、入力部95は、当該ユーザ操作に応じた操作信号を制御部94に出力する。
出力部96は、スピーカやプリンタ等を用いて構成され、各種情報を出力する。
記憶部97は、制御部94が実行するプログラムや、制御部94の処理に必要な情報等を記憶する。
【0036】
〔制御装置の動作〕
次に、上述した制御装置9の動作について説明する。
なお、以下では、説明の便宜上、制御部94による撮像素子522の制御(以下、撮像制御と記載)と、制御部94による第1,第2の光源31,32の制御(以下、光源制御と記載)とを主に説明する。
図3は、制御装置9の動作を説明する図である。具体的に、
図3(a)は、撮像素子522の露光タイミングを示した図であって、縦軸で撮像素子522の水平ラインを示し(最上段が最も上の水平ライン(1ライン目の水平ライン)を示し、最下段が最も下の水平ライン(最終ライン)を示し)、横軸で時間を示している。なお、
図3(a)では、通常光画像の生成に寄与する平行四辺形の領域をWLI(White Light Imaging)フィールドと記載し、蛍光画像の生成に寄与する平行四辺形の領域をIR(Infra-Red)フィールドと記載している。
図3(b)は、光源制御を示した図であって、縦軸で第1,第2の光源31,32に供給する電流値を示し、横軸で時間(第1,第2の光源31,32に供給する電流の印可パルス幅(電流の供給時間))を示している。なお、当該光源制御では、実際には、通常光画像または蛍光画像における特定の領域(検波領域)の明るさ(輝度値の平均値等)に基づいて、当該電流値や当該電流の供給時間が変更されるが、
図3(b)では、説明の便宜上、当該電流値を最大とし、当該電流の供給時間を最大とした場合を示している。また、
図3(b)では、通常光の発光をWLIと記載し、励起光の発光をIRと記載している。
【0037】
先ず、撮像制御は、以下の通りである。
制御部94は、撮像素子522の1フレーム期間における露光を水平ライン毎に順次、開始させ、露光開始から所定の期間(所謂、シャッタ速度)が経過した水平ライン毎に順次、読み出しを行わせる所謂、ローリングシャッタ方式による露光制御を行う。本実施の形態1では、制御部94は、
図3(a)に示すように、撮像素子522における有効画素領域の全ての水平ラインが同時に露光される全ライン露光期間TEと撮像素子522の複数の画素に蓄積された電荷を読み出す読み出し期間TRとで1フレーム期間を構成するように露光制御を行う。
【0038】
次に、光源制御は、以下の通りである。
制御部94は、
図3(b)に示すように、第1の光源31の発光と、第2の光源32の発光とを交互に繰り返す。
具体的に、制御部94は、第1の光源31を動作させる際、通常光画像の輝度ムラを抑制するために、交互に繰り返されるWLIフィールド及びIRフィールドのうちWLIフィールドにおける全ライン露光期間TE1内の第1の期間TE1´全体で第1の光源31を発光させる。なお、
図3(b)では、上述したように電流の供給時間を最大とした場合を示しているため、第1の期間TE1´は、全ライン露光期間TE1と同一の期間となっている。そして、当該全ライン露光期間TE1は、本開示に係る第1の全ライン露光期間に相当する。
【0039】
一方、制御部94は、第2の光源32を動作させる際、交互に繰り返されるWLIフィールド及びIRフィールドのうちIRフィールドにおける全ライン露光期間TE2と、読み出し期間TRBの少なくとも一部の期間TRB´と、読み出し期間TRAの少なくとも一部の期間TRA´とを含む励起光発光期間TIR内の第2の期間TIR´全体で第2の光源32を発光させる。なお、
図3(b)では、上述したように電流の供給時間を最大とした場合を示しているため、第2の期間TIR´は、励起光発光期間TIRと同一の期間となっている。そして、当該全ライン露光期間TE2は、本開示に係る第2の全ライン露光期間に相当する。
【0040】
ここで、読み出し期間TRBは、全ライン露光期間TE2に隣り合い、当該全ライン露光期間TE2に対して時系列的に前の読み出し期間TRである。また、本実施の形態1では、期間TRB´は、撮像素子522の全ての水平ラインのうち、中央に位置する水平ラインが露光を開始するタイミングP1よりも後のタイミングP1´から全ライン露光期間TE2の開始タイミングまでの期間である。
また、読み出し期間TRAは、全ライン露光期間TE2に隣り合い、当該全ライン露光期間TE2に対して時系列的に後の読み出し期間TRである。また、本実施の形態1では、期間TRA´は、全ライン露光期間TE2の終了タイミングから、撮像素子522の全ての水平ラインのうち、中央に位置する水平ラインが露光を終了するタイミングP2よりも前のタイミングP2´までの期間である。
【0041】
例えば、撮像素子522がNTSC方式の撮像素子である場合には、全ライン露光期間TEは、8.0msである。そして、第2の光源32において、オーバードライブ駆動時の最大の電流値で電流を供給し続けることができる性能限界での電流の供給時間が12.0msである場合には、期間TRB´,TRA´は、それぞれ2.0msとなる。なお、オーバードライブ駆動とは、LED等の照明が定常発光時に流す電流値を超す電流を一定時間流すことで、瞬間的に照明をより明るく発光させる方式のことである。
また、例えば、撮像素子522がPAL方式の撮像素子である場合には、全ライン露光期間TEは、10.0msである。そして、第2の光源32における上述した性能限界での電流の供給時間が12.0msである場合には、期間TRB´,TRA´は、それぞれ1.0msである。なお、撮像素子522がPAL方式の撮像素子である場合には、通常光画像と蛍光画像との明るさのバランスをNTSC方式の撮像素子と合わせるため、第1の期間TE1´の最大値を全ライン露光期間TEの10.0msよりも短い期間(例えば、8.0ms)としても構わない。
【0042】
以上説明した本実施の形態1によれば、以下の効果を奏する。
本実施の形態1に係る制御装置9は、第2の光源32の動作を制御する際、上述した第2の期間TIR´全体で第2の光源32を発光させる。すなわち、全ライン露光期間TE2内においてのみ励起光を発光させる従来の技術と比較して、当該励起光の発光量を多くすることができる。その結果、当該励起光に伴う蛍光の輝度を高くすることができ、蛍光画像の明るさを十分に確保することができる。ここで、第2の光源32からの励起光に伴う蛍光は、WLIフィールドに漏れ込むこととなるが、当該蛍光は通常光に比べてかなり暗いため、通常光画像の画像品位にほとんど影響を与えない。
したがって、本実施の形態1に係る制御装置9によれば、観察に適した画像(通常光画像及び蛍光画像)を生成することができる。
【0043】
(実施の形態2)
次に、実施の形態2について説明する。
以下の説明では、上述した実施の形態1と同様の構成には同一符号を付し、その詳細な説明は省略または簡略化する。
本実施の形態2では、制御部94は、第2の光源32を動作させる際、上述した実施の形態1で説明した光源制御とは異なる制御を実行する。
【0044】
本実施の形態2に係る制御部94は、蛍光画像内において、画素レベルが特定の閾値よりも高い画素で構成された蛍光領域の位置を特定する。すなわち、制御部94は、本開示に係る領域特定部としての機能を有する。ここで、当該画素レベルとしては、Y信号(輝度信号)に応じた輝度値やRGB値(画素値)を例示することができる。本実施の形態2では、当該画素レベルとして、当該輝度値を採用している。
そして、制御部94は、当該蛍光領域の位置に基づいて、第1~第3の励起光発光制御のいずれかを実行する。具体的に、制御部94は、蛍光領域の位置が蛍光画像内の上方に位置する場合には、第1の励起光発光制御を実行する。また、制御部94は、蛍光領域の位置が蛍光画像内の下方に位置する場合には、第2の励起光発光制御を実行する。さらに、制御部94は、蛍光領域の位置が蛍光画像内の上下中央に位置する場合には、第3の励起光発光制御を実行する。
【0045】
図4は、制御部94が実行する第1の励起光発光制御を説明する図である。
図5は、制御部94が実行する第2の励起光発光制御を説明する図である。
図6は、制御部94が実行する第3の励起光発光制御を説明する図である。具体的に、
図4ないし
図6は、
図3に対応した図である。なお、
図4ないし
図6では、説明の便宜上、IRフィールドのみを図示している。
具体的に、第1の励起光発光制御は、
図4に示すように、IRフィールドにおける全ライン露光期間TE2と、読み出し期間TRBの少なくとも一部の期間TRB´とを含む励起光発光期間TIR内の第2の期間TIR´全体で第2の光源32を発光させる制御である。なお、
図4(b)では、
図3と同様に、電流の供給時間を最大とした場合を示しているため、第2の期間TIR´は、励起光発光期間TIRと同一の期間となっている。また、
図4(b)では、第2の光源32における性能限界での電流の供給時間を示しているため、期間TRB´を上述した実施の形態1で説明した期間TRB´と期間TRA´とを足し合わせた期間としている。なお、
図4(b)に示した期間TRB´も、上述した実施の形態1で説明した期間TRB´と同様に、撮像素子522の全ての水平ラインのうち、中央に位置する水平ラインが露光を開始するタイミングP1よりも後のタイミングP1´から全ライン露光期間TE2の開始タイミングまでの期間である。
【0046】
また、第2の励起光発光制御は、
図5に示すように、IRフィールドにおける全ライン露光期間TE2と、読み出し期間TRAの少なくとも一部の期間TRA´とを含む励起光発光期間TIR内の第2の期間TIR´全体で第2の光源32を発光させる制御である。なお、
図5(b)では、
図3と同様に、電流の供給時間を最大とした場合を示しているため、第2の期間TIR´は、励起光発光期間TIRと同一の期間となっている。また、
図5(b)では、第2の光源32における性能限界での電流の供給時間を示しているため、期間TRA´を上述した実施の形態1で説明した期間TRB´と期間TRA´とを足し合わせた期間としている。なお、
図5(b)に示した期間TRA´も、上述した実施の形態1で説明した期間TRA´と同様に、全ライン露光期間TE2の終了タイミングから、撮像素子522の全ての水平ラインのうち、中央に位置する水平ラインが露光を終了するタイミングP2よりも前のタイミングP2´までの期間である。
【0047】
さらに、第3の励起光発光制御は、
図6に示すように、上述した実施の形態1で説明した光源制御を同様の制御である。
【0048】
以上説明した本実施の形態2によれば、上述した実施の形態1と同様の効果の他、以下の効果を奏する。
本実施の形態2に係る制御装置9は、蛍光領域の位置に基づいて、第1~第3の励起光発光制御のいずれかを実行する。すなわち、第1の励起光発光制御を実行すれば、蛍光画像内の上方に位置する蛍光領域を明るくすることができる。また、第2の励起光発光制御を実行すれば、蛍光画像内の下方に位置する蛍光領域を明るくすることができる。さらに、第3の励起光発光制御を実行すれば、蛍光画像内の上下中央に位置する蛍光領域を明るくすることができる。
したがって、本実施の形態2に係る制御装置9によれば、蛍光領域をより明るくすることができ、観察に適した蛍光画像を生成することができる。
【0049】
(その他の実施の形態)
ここまで、本開示を実施するための形態を説明してきたが、本開示は上述した実施の形態1,2によってのみ限定されるべきものではない。
上述した実施の形態1において、励起光発光期間TIR(第2の期間TIR´)を読み出し期間TRB全体と全ライン露光期間TE2全体と読み出し期間TRA全体とを含めた期間としても構わない。
同様に、上述した実施の形態2において、第1の励起光発光制御での励起光発光期間TIR(第2の期間TIR´)を読み出し期間TRB全体と全ライン露光期間TE2全体とを含めた期間としても構わない。また、第2の励起光発光制御での励起光発光期間TIR(第2の期間TIR´)を全ライン露光期間TE2全体と読み出し期間TRA全体とを含めた期間としても構わない。
上述した実施の形態1,2において、期間TRB´と期間TRA´とを異なる期間としても構わない。
上述した実施の形態1では、上述した実施の形態2で説明した第3の励起光発光制御を実行していたが、これに限らず、上述した実施の形態2で説明した第1,第2の励起光発光制御のいずれかを実行する構成としても構わない。
上述した実施の形態2において、通常光画像または蛍光画像における特定の領域(検波領域)の明るさ(輝度値の平均値等)に基づいて、第1~第3の励起光発光制御のいずれかを実行する構成としても構わない。
【0050】
ところで、従来、癌細胞を検出する癌診断法の一つである光線力学診断(Photo Dynamic Diagnosis:PDD)が知られている。
当該光線力学診断では、例えば5-アミノレブリン酸(以下、5-ALAと記載)等の光感受性物質が用いられる。当該5-ALAは、元来、動植物の生体内に含まれる天然アミノ酸である。この5-ALAは、体内投与後に細胞内に取り込まれ、ミトコンドリア内でプロトポルフィリンに生合成される。そして、癌細胞では、当該プロトポルフィリンが過剰に集積する。また、当該癌細胞に過剰集積するプロトポルフィリンは、光活性を有する。このため、当該プロトポルフィリンは、励起光(例えば375nm~445nmの波長帯域の青色可視光)で励起すると、蛍光(例えば600nm~740nmの波長帯域の赤色蛍光)を発光する。このように、光感受性物質を用いて癌細胞を蛍光発光させる癌診断法を光線力学診断という。
そして、上述した実施の形態1,2において、白色光を発光するLEDで第1の光源31を構成し、プロトポルフィリンを励起する励起光(例えば375nm~445nmの波長帯域の青色可視光)を発光する半導体レーザで第2の光源32を構成しても構わない。このように構成した場合であっても、上述した実施の形態1,2と同様の効果を奏する。
【0051】
上述した実施の形態1,2では、第1,第2の期間が交互に繰り返すように設定されていたが、これに限らず、第1,第2の期間の少なくともいずれかが連続し、第1,第2の期間の頻度の比率が1:1以外の比率となるように構成しても構わない。
【0052】
上述した実施の形態1,2では、挿入部2を硬性内視鏡で構成した医療用観察システム1に本開示に係る光源制御装置を搭載していたが、これに限らない。例えば、挿入部2を軟性内視鏡で構成した医療用観察システムに本開示に係る光源制御装置を搭載しても構わない。また、被写体内(生体内)や被写体表面(生体表面)の所定の視野領域を拡大して観察する手術用顕微鏡(例えば、特開2016-42981号公報参照)等の医療用観察システムに本開示に係る光源制御装置を搭載しても構わない。
上述した実施の形態1,2において、カメラヘッド5の一部の構成や制御装置9の一部の構成を例えばコネクタCN1やコネクタCN2に設けても構わない。
【0053】
なお、以下のような構成も本開示の技術的範囲に属する。
(1)複数の画素が水平ライン単位で2次元状に配列されたローリングシャッタ方式の撮像素子における有効画素領域の全ての前記水平ラインが同時に露光される全ライン露光期間である第1の全ライン露光期間において第1の光源から可視の波長帯域の光を発光させるとともに、前記第1の全ライン露光期間とは異なる前記全ライン露光期間である第2の全ライン露光期間において第2の光源から励起光を発光させる光源制御部を備え、前記光源制御部は、前記第2の光源の動作を制御する際、前記第2の全ライン露光期間と、前記第2の全ライン露光期間に隣り合い、前記複数の画素に蓄積された電荷を読み出す読み出し期間の少なくとも一部の期間とを含む励起光発光期間において前記励起光を発光させる。
(2)前記励起光発光期間は、前記第2の全ライン露光期間に対して時系列的に前の前記読み出し期間の少なくとも一部の期間と、前記第2の全ライン露光期間とを含む期間である前記(1)に記載の光源制御装置。
(3)前記励起光発光期間は、前記全ての水平ラインのうち、中央に位置する水平ラインが露光を開始するタイミングよりも後のタイミングから、前記第2の全ライン露光期間の終了タイミングまでの期間である前記(2)に記載の光源制御装置。
(4)前記励起光発光期間は、前記第2の全ライン露光期間と、前記第2の全ライン露光期間に対して時系列的に後の前記読み出し期間の少なくとも一部の期間とを含む期間である前記(1)に記載の光源制御装置。
(5)前記励起光発光期間は、前記第2の全ライン露光期間の開始タイミングから、前記全ての水平ラインのうち、中央に位置する水平ラインが露光を終了するタイミングよりも前のタイミングまでの期間である前記(4)に記載の光源制御装置。
(6)前記励起光発光期間は、前記第2の全ライン露光期間と、前記第2の全ライン露光期間に対して時系列的に前の前記読み出し期間の少なくとも一部の期間と、前記第2の全ライン露光期間に対して時系列的に後の前記読み出し期間の少なくとも一部の期間とを含む期間である前記(1)に記載の光源制御装置。
(7)観察対象に前記励起光が照射され、前記励起光によって励起された前記観察対象からの蛍光が撮像部にて撮像された蛍光画像を取得する画像取得部と、前記蛍光画像における全画像領域のうち、前記蛍光に応じた画素レベルが特定の閾値よりも高い画素で構成された蛍光領域の位置を特定する領域特定部とをさらに備え、前記光源制御部は、前記蛍光領域の位置に基づいて、前記第2の全ライン露光期間と前記第2の全ライン露光期間に対して時系列的に前の前記読み出し期間の少なくとも一部の期間とを含む前記励起光発光期間において前記励起光を発光させる第1の励起光発光制御と、前記第2の全ライン露光期間と前記第2の全ライン露光期間に対して時系列的に後の前記読み出し期間の少なくとも一部の期間とを含む前記励起光発光期間において前記励起光を発光させる第2の励起光発光制御と、前記第2の全ライン露光期間と前記第2の全ライン露光期間に対して時系列的に前の前記読み出し期間の少なくとも一部の期間と前記第2の全ライン露光期間に対して時系列的に後の前記読み出し期間の少なくとも一部の期間とを含む前記励起光発光期間において前記励起光を発光させる第3の励起光発光制御とのいずれかを実行する前記(1)~(6)のいずれか一つに記載の光源制御装置。
(8)複数の画素が水平ライン単位で2次元状に配列されたローリングシャッタ方式の撮像素子を含む撮像装置と、可視の波長帯域である光を発光する第1の光源と、励起光を発光する第2の光源と、前記第1の光源及び前記第2の光源を制御する光源制御装置とを備え、前記光源制御装置は、前記撮像素子における有効画素領域の全ての前記水平ラインが同時に露光される全ライン露光期間である第1の全ライン露光期間において前記第1の光源から前記可視の波長帯域の光を発光させるとともに、前記第1の全ライン露光期間とは異なる前記全ライン露光期間である第2の全ライン露光期間において前記第2の光源から前記励起光を発光させる光源制御部を備え、前記光源制御部は、前記第2の光源の動作を制御する際、前記第2の全ライン露光期間と、前記第2の全ライン露光期間に隣り合い、前記複数の画素に蓄積された電荷を読み出す読み出し期間の少なくとも一部の期間とを含む励起光発光期間において前記励起光を発光させる医療用観察システム。
【符号の説明】
【0054】
1 医療用観察システム
2 挿入部
3 光源装置
4 ライトガイド
5 カメラヘッド
6 第1の伝送ケーブル
7 表示装置
8 第2の伝送ケーブル
9 制御装置
10 第3の伝送ケーブル
21 接眼部
31 第1の光源
32 第2の光源
51 レンズユニット
52 撮像部
53 通信部
91 通信部
92 メモリ
93 観察画像生成部
94 制御部
95 入力部
96 出力部
97 記憶部
521 励起光カットフィルタ
522 撮像素子
523 信号処理部
931 メモリコントローラ
932 通常光画像処理部
933 蛍光画像処理部
934 重畳画像生成部
935 表示制御部
CN1,CN2 コネクタ
P1,P1´,P2,P2´ タイミング
TE,TE1,TE2 全ライン露光期間
TE1´ 第1の期間
TIR 励起光発光期間
TIR´ 第2の期間
TR,TRA,TRB 読み出し期間
TRA´,TRB´ 期間