【国等の委託研究の成果に係る記載事項】(出願人による申告)平成26年度、独立行政法人新エネルギー・産業技術総合開発機構、「未来医療を実現する先端医療機器・システムの研究開発/先端医療機器の開発/高い安全性と更なる低侵襲化及び高難度治療を可能にする軟性内視鏡手術システムの研究開発」委託研究、産業技術力強化法第19条の適用を受ける特許出願
(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0009】
以下、適宜図面を参照しながら、実施形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。尚、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるものであり、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
【0010】
(本開示の一形態を得るに至った経緯)
従来の内視鏡システムでは、光の照射と同時にイメージセンサの露光が行われていた。可視光の場合、光の照射と同時にイメージセンサが露光されることで鮮明な画像を撮像できる。一方、励起光の場合、観察部位に励起光を照射し、観察部位が蛍光発光し、その発光量がピークに達するまでには、所定の時間の遅れが生じる。このため、励起光の照射と同時にイメージセンサを露光した場合、蛍光発光の受光量が不十分となり、蛍光発光の画像が不鮮明になる虞がある。
【0011】
以下、蛍光発光の画像の画質の低下を抑制できる内視鏡システム及び光源制御方法について説明する。
【0012】
(第1の実施形態)
[構成等]
図1は第1の実施形態における内視鏡システム5の外観を示す斜視図である。ここで用いられる用語として、水平面に置かれたビデオプロセッサ30の上方向と下方向をそれぞれ「上」、「下」と称する。また、内視鏡10が観察対象を撮像する側を「前(先)」と称し、ビデオプロセッサ30に接続される側を「後」と称する。
【0013】
内視鏡システム5は、内視鏡10と、ビデオプロセッサ30、及びモニタ40を含んで構成される。内視鏡10は、医療用の例えば軟性鏡である。ビデオプロセッサ30は、観察対象(ここでは、人体や人体内部)を撮像することで得られた撮像画像(静止画及び動画を含む)に対し、画像処理する。モニタ40は、ビデオプロセッサ30から出力される表示信号に従って、画像を表示する。画像処理は、例えば、色補正、階調補正、ゲイン調整を含む。
【0014】
内視鏡10は、観察対象(被写体)を撮像する。内視鏡10は、観察対象の内部に挿入されるスコープ13と、スコープ13の後端部が接続されるプラグ部16と、を備える。また、スコープ13は、比較的長い可撓性を有する軟性部11と、軟性部11の先端に設けられた剛性を有する硬性部12と、を含んで構成される。スコープ13の構造については後述する。
【0015】
ビデオプロセッサ30は、筐体30zを有し、撮像画像に対し画像処理し、画像処理後の表示信号を出力する。筐体30zの前面には、プラグ部16の基端部16zが挿入されるソケット部30yが配置される。プラグ部16がソケット部30yに挿入され、内視鏡10とビデオプロセッサ30とが接続されることで、内視鏡10とビデオプロセッサ30との間で電力及び各種信号(例えば映像信号、制御信号)の送受信が可能となる。これらの電力及び各種信号は、スコープ13の内部に挿通された伝送ケーブル(図示せず)を介して、プラグ部16から軟性部11側に導かれる。また、硬性部12の内側に設けられたイメージセンサ22(固体撮像素子)(
図2参照)から出力される画像信号は、伝送ケーブルを介して、プラグ部16からビデオプロセッサ30に伝送される。
【0016】
ビデオプロセッサ30は、伝送ケーブルを介して伝送された画像信号に対し、画像処理を施し、画像処理後の画像データを表示信号に変換して、モニタ40に出力する。
【0017】
モニタ40は、例えば、LCD(Liquid Crystal Display)やCRT(Cathode Ray Tube)等の表示デバイスを有する。モニタ40は、内視鏡10によって撮像された被写体の画像を表示する。
【0018】
図2は、スコープ13の先端に設けられた硬性部12の内部構造を示す模式図である。硬性部12の先端面には、撮像窓12zが配置される。撮像窓12zは、光学ガラスや光学プラスチック等の光学材料を含んで形成され、被写体からの光を入射する。
【0019】
硬性部12の先端面には、IR励起光源33(
図4参照)からのIR(InfraRed)励起光を伝送する光ファイバ27の先端が露出する照射窓27zが配置される。硬性部12の先端面には、可視光源34(
図4参照)からの可視光を伝送する光ファイバ28の先端が露出する照射窓28z,28yが配置される。光ファイバ27,28の数は、上記以外でもよい。
【0020】
硬性部12の内側には、撮像窓12z側からレンズ24、IR励起光カットフィルタ23、イメージセンサ22及び第1駆動回路21(
図4参照)が配置される。レンズ24の数は複数でもよい。撮像窓12zから入射した光(蛍光発光の光、可視光)は、レンズ24によって集光され、IR励起光カットフィルタ23を透過した後、イメージセンサ22の撮像面に結像する。
【0021】
図3は、イメージセンサ22の構造を説明する模式図である。イメージセンサ22は、例えば、イメージセンサ22の前面に、赤外光(IR)、赤色(R)、青色(B)及び緑色(G)の波長の光をそれぞれ透過させる色フィルタ22zがベイヤ配列で配置されている。イメージセンサ22は、例えば、各波長の光を受光するIR用画素、赤色用画素、青色用画素、及び緑色用画素が複数配列した構造を有する撮像素子である。
【0022】
イメージセンサ22は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の固体撮像素子である。イメージセンサ22は、例えば、赤外光、赤色光、青色光及び緑色光を同時に受光可能な単板式カメラとして用いられる。
【0023】
図4は、内視鏡システム5のハードウェア構成を示すブロック図である。内視鏡10は、前述したように、スコープ13の硬性部12の内側に設けられた、レンズ24、IR励起光カットフィルタ23、イメージセンサ22、及び第1駆動回路21を備える。また、内視鏡10は、スコープ13の内側に挿通され、プラグ部16の基端部16zから硬性部12の先端面まで延びた光ファイバ27,28を備える。
【0024】
第1駆動回路21は、駆動部として動作し、イメージセンサ22の電子シャッタをオンオフする。イメージセンサ22は、第1駆動回路21によって電子シャッタがオンにされた場合、撮像面に結像した光学像を光電変換し、画像信号を出力する。光電変換では、光学像の露光及び画像信号の生成や読出しが行われる。
【0025】
IR励起光カットフィルタ23は、イメージセンサ22の前側(受光側)に配置され、レンズ24を通る光のうち、被写体で反射されたIR励起光を遮光し、IR励起光による蛍光発光の光及び可視光を透過させる。IR励起光カットフィルタ23の特性については後述する。
【0026】
ビデオプロセッサ30は、コントローラ31、第2駆動回路32、IR励起光源33、可視光源34、イメージプロセッサ35、及びディスプレイプロセッサ36を備える。
【0027】
コントローラ31は、撮像動作を統括的に制御する。コントローラ31は、第2駆動回路32に対して発光制御し、内視鏡10内の第1駆動回路21に対して駆動制御する。
【0028】
第2駆動回路32は、例えば光源駆動回路であり、IR励起光源33を駆動し、IR励起光を連続発光させる。IR励起光源33は、撮像期間において、継続して点灯(連続点灯)し、IR励起光を被写体に連続して照射する。
【0029】
この撮像期間は、観察部位を内視鏡10で撮像する期間を示す。撮像期間は、例えば、内視鏡システム5が、ビデオプロセッサ30又は内視鏡10に設けられたスイッチをオンにするユーザ操作を受け付けてから、オフにするユーザ操作を受け付けるまでの期間である。
【0030】
また、第2駆動回路32は、IR励起光源33を駆動し、IR励起光をパルス発光させてもよい。この場合、IR励起光源33は、撮像期間において、断続的に点灯(パルス点灯)し、IR励起光を被写体にパルス照射する。
【0031】
第2駆動回路32は、可視光源34を駆動し、可視光(白色光)をパルス発光させる。可視光源34は、撮像期間において、可視光画像を撮像するタイミングで、可視光を被写体にパルス照射する。
【0032】
尚、一般に、蛍光発光の光は微弱な明るさである。一方、可視光は短いパルスでも強い光が得られる。
【0033】
イメージプロセッサ35は、イメージセンサ22から交互に出力される蛍光発光画像と可視光画像とに対して画像処理し、画像処理後の画像データを出力する。
【0034】
例えば、イメージプロセッサ35は、蛍光発光画像の輝度が可視光画像の輝度と比べて低い場合、蛍光発光画像のゲインを上げるように、ゲインコントローラとして、ゲイン調整する。尚、イメージプロセッサ35は、蛍光発光画像のゲインを上げる代わりに、可視光画像のゲインを下げることで、ゲイン調整してもよい。また、イメージプロセッサ35は、蛍光発光画像のゲインを上げ、且つ、可視光画像のゲインを下げることで、ゲイン調整してもよい。また、イメージプロセッサ35は、蛍光発光画像のゲインを可視光画像よりも大きく上げ、且つ、可視光画像のゲインを上げることで、ゲイン調整してもよい。
【0035】
ディスプレイプロセッサ36は、イメージプロセッサ35から出力される画像データを、映像表示に適したNTSC(National Television System Committee)信号等の表示信号に変換し、モニタ40に出力する。
【0036】
モニタ40は、ディスプレイプロセッサ36から出力される表示信号に従い、蛍光発光画像と可視光画像とを、例えば同一の領域に表示する。これにより、ユーザは、モニタ40に表示された蛍光発光画像と可視光画像とを見ながら、観察対象を確認できる。
【0037】
図5は、IR励起光カットフィルタ23の特性を示すグラフである。IR励起光の波長は、例えば780nm程度である。また、観察対象である人体内には、蛍光物質(有機蛍光色素)であるICG(Indocyamine Green)が投与され、被写体である患部にICGが集積している。ICGは、IR励起光で励起すると、より長波長(830nm程度)の光で蛍光発光する。
【0038】
一般に、波長700〜1000nmを有するIR光(近赤外光)は、皮膚を透過し、透過しても人体への影響が少ないので、生体深部構造の可視化に用いられる。例えば、癌から流れ出たリンパ液にICGを注入し、リンパ液の流れを観察することで、癌の転移を発見し易くなる。また、ICGに蛋白質を結合させて、癌を集まりやすくすることで、微小な癌を発見し易くなる。
【0039】
また、ICGは、IR励起光により励起されて蛍光発光するので、蛍光発光の光は、IR励起光より遅れて生じる。この遅れ時間は、例えば、数msecであり、ICGと結合される抗体(蛋白質)の分子量や、蛍光部分がリンパ液中か血管中かによっても異なる。
【0040】
図5のIR励起光カットフィルタ23では、830nm付近の波長を有する蛍光発光の光の透過率が高く、780nm付近の波長を有するIR励起光の透過率がほぼ0%であり、透過率が低い。また、例えば380nm〜730nmの波長を有する可視光の透過率が高い。
【0041】
IR励起光が照射されると、スコープ13の前面に設けられた撮像窓12zを通って、IR光が入射する。IR励起光カットフィルタ23は、入射するIR光のうち、被写体で反射されたIR励起光(780nm付近)を含む周波数帯の光成分が遮断され、IR励起光による蛍光発光の光(830nm付近)を含む周波数帯の光成分が透過する。
【0042】
従って、イメージセンサ22の撮像面には、蛍光発光による光学像が結像する。このように、IR励起光カットフィルタ23は、IR励起光のうち、蛍光発光に寄与しない、被写体で反射されたIR励起光を遮断する。また、可視光を照射し、撮像窓12zを通って入射する、被写体で反射された可視光は、IR励起光カットフィルタ23では遮断されない。そのため、可視光は、イメージセンサ22の撮像面に可視光像として結像する。
【0043】
[動作等]
次に、内視鏡システム5の撮像動作について説明する。
本実施形態では、内視鏡システム5が、IR励起光を連続照射する場合と、IR励起光をパルス照射する場合とを想定する。
【0044】
内視鏡10を使用して体内の部位を撮像する場合、前述したように、蛍光物質であるインドシアニングリーン(ICG)を体内に投与し、過剰に集積した腫瘍等の観察部位(患部)に近赤外光を当てて患部を光らせて患部を撮像する。
【0045】
図6は、IR励起光を連続照射する場合の内視鏡システム5による撮像動作を示すタイミングチャートである。
図7は、IR励起光を連続照射する場合の内視鏡システム5による撮像動作手順を示すフローチャートである。内視鏡システム5は、例えば、ビデオプロセッサ30又は内視鏡10に設けられたスイッチ(図示せず)をオンにする操作を受け付けることで、撮像動作を開始する。
【0046】
コントローラ31は、撮像動作が開始されると、第2駆動回路32を駆動する。第2駆動回路32は、IR励起光源33をオンにし、IR励起光を点灯させる(
図7のS1、
図6のタイミングt1)。
【0047】
IR励起光源33がIR励起光を発光させると、IR励起光は、スコープ13内の光ファイバ27を通って、照射窓27zから被写体に向けて照射され、患部を含む周囲の部位を照明する。患部等の被写体からの光は、撮像窓12zを通ると、レンズ24によって集光される。患部等の被写体からの光のうち、被写体で反射されたIR励起光は、IR励起光カットフィルタ23によって遮断されるが、被写体で蛍光発光した光は、IR励起光カットフィルタ23を透過してイメージセンサ22の撮像面に結像する。
【0048】
図6,
図7では、撮像期間にわたって、IR励起光源33は常にオン(継続してオン)であり、IR励起光が一定光量で被写体に向けて照射される(
図6の波形w1)。
【0049】
IR励起光が照射された被写体(患部)では、IR励起光の照射から所定時間△t(例えば数msec)遅れてピーク光量となるように蛍光発光が生じ、蛍光発光の光が出力される(
図6の波形w2)。被写体から出力される蛍光発光の光がピーク光量に達した後に、蛍光発光による露光が開始されるように、露光開始の所定時間△t以上前に、IR励起光の照射が開始される。
【0050】
コントローラ31は、第1駆動回路21に対し、イメージセンサ22による光電変換を開始させる信号を出力する(イメージセンサON)(
図7のS2)。第1駆動回路21は、この信号を受け取ると、イメージセンサ22にセンサリセット信号を出力して、イメージセンサ22を露光開始前の状態に戻す(センサリセット)(
図7のS3、
図6のタイミングt2)。ここでは、例えばCCDイメージセンサの場合、第1駆動回路21は、露光によって蓄積された電荷をクリアする。
【0051】
センサリセット後、第1駆動回路21は、イメージセンサ22の電子シャッタをオンにして、被写体からの蛍光発光による露光を開始する(
図7のS4、
図6の波形w4)。
【0052】
第1駆動回路21は、露光を開始してから所定時間経過後、イメージセンサ22の電子シャッタをオフにして、被写体からの蛍光発光による露光を終了する(
図7のS5、
図6のタイミングt3)。
【0053】
露光終了と同時に、イメージプロセッサ35は、イメージセンサ22からのIR蛍光信号の読み出しを開始する(
図7のS6、
図6のタイミングt3、波形w6)。IR蛍光信号は、蛍光発光の露光により得られる信号である。IR蛍光信号の読み出しは、画素数に応じた読み出し時間の経過後、終了する(
図6のタイミングt4)。
【0054】
イメージプロセッサ35によるIR蛍光信号の読み出しが終了すると(
図6のタイミングt4)、ディスプレイプロセッサ36は、IR蛍光信号から得られる蛍光発光画像の表示信号を、モニタ40に出力する。モニタ40は、蛍光発光画像を可視光画像に切り替えるまでの期間Ti、蛍光発光画像を表示する(
図6の波形w8)。
【0055】
また、イメージプロセッサ35によるIR蛍光信号の読み出しが終了すると(
図6のタイミングt4)、コントローラ31は、可視光を点灯させるために、第2駆動回路32を駆動する。第2駆動回路32は、可視光源34をオンにし、可視光を点灯させる(
図7のS7、
図6のタイミングt4、波形w3)。
【0056】
可視光源34が点灯し、可視光を発光させると、可視光は、スコープ13内の光ファイバ28を通って、照射窓28z,28yから被写体に向けて照射され、患部を含む周囲の部位を照明する。患部等で反射された可視光は、撮像窓12zを通ると、レンズ24によって集光され、IR励起光カットフィルタ23を透過してイメージセンサ22の撮像面に結像する。
【0057】
また、イメージプロセッサ35によるIR蛍光信号の読み出しが終了すると(
図6のタイミングt4)、第1駆動回路21は、イメージセンサ22にセンサリセット信号を出力して、イメージセンサ22を露光開始前の状態に戻す(
図7のS8)。
【0058】
センサリセット後、第1駆動回路21は、イメージセンサ22の電子シャッタをオンにして、可視光による露光を開始する(
図7のS9)。
【0059】
第1駆動回路21は、露光を開始してから所定時間経過後、イメージセンサ22の電子シャッタをオフにして、可視光の露光を終了する(
図7のS10、
図6のタイミングt5)。
【0060】
可視光の露光終了と同時に、イメージプロセッサ35は、イメージセンサ22からの可視光信号の読み出しを開始する(
図7のS11、
図6の波形w7)。可視光信号は、可視光の露光により得られる信号である。可視光信号の読み出しは、画素数に応じた読み出し時間の経過後、終了する(
図6のタイミングt6)。
【0061】
イメージプロセッサ35による可視光信号の読み出しが終了すると、ディスプレイプロセッサ36は、可視光信号から得られる可視光画像の表示信号を、モニタ40に出力する。モニタ40は、可視光画像を蛍光発光画像に切り替えるまでの期間Tr、可視光画像を表示する(
図6の波形w8)。
【0062】
また、
図6のタイミングt5で可視光の露光を終了すると、第2駆動回路32は、可視光源34をオフにし、可視光を消灯させる(
図7のS12、
図6の波形w3)。
【0063】
この後、コントローラ31は、撮像を終了するか否かを判別する(S13)。撮像の終了は、例えば、ユーザがビデオプロセッサ30又は内視鏡10に設けられたスイッチ(図示せず)をオフに操作し、この操作が内視鏡システム5により受け付けられたか否かにより、判別される。撮像を終了しない場合、
図7のS3に戻る。そして、前述したように、第1駆動回路21は、イメージセンサ22にセンサリセット信号を出力して、イメージセンサ22を露光開始前の状態に戻す(
図7のS3、
図6のタイミングt5)。
【0064】
一方、S13で撮像を終了する場合、コントローラ31は、第1駆動回路21に対し、イメージセンサ22による光電変換を終了させる信号を出力する(
図7のS14)。第2駆動回路32は、IR励起光源33をオフにし、IR励起光を消灯させる(
図7のS15)。そして、
図7に示した、IR励起光を連続照射する場合の撮像動作が終了する。
【0065】
このように、内視鏡システム5は、撮像期間にわたって、撮像動作が行われる。この間、モニタ40の同一の領域には、蛍光発光画像と可視光画像とが表示される。
【0066】
尚、
図6の波形w8で示された蛍光発光画像と可視光画像との表示の切り替えは短期間であるので、蛍光発光画像と可視光画像とは重ねて表示されているとも言える。また、ここではスイッチのオンオフ操作に応じて撮像動作(撮像期間)が開始され、終了されることを例示したが、その他の方法(例えばタイマにより所定時刻を検出)により、撮像動作(撮像期間)が開始され、終了されてもよい。
【0067】
図8は、IR励起光をパルス照射する場合の内視鏡システム5による撮像動作を示すタイミングチャートである。
図9は、IR励起光をパルス照射する場合の内視鏡システム5による撮像動作手順を示すフローチャートである。尚、
図8,
図9において、
図6,
図7と同一の処理については、同一のステップ番号を付し、説明を省略又は簡略化する。
【0068】
図6,
図7の場合と同様、内視鏡システム5は、例えば、ビデオプロセッサ30又は内視鏡10に設けられたスイッチ(図示せず)をオンにする操作を受け付けることで、撮像動作を開始する。
【0069】
コントローラ31は、撮像動作が開始されると、第2駆動回路32を駆動する。第2駆動回路32は、IR励起光源33をオンにし、IR励起光を点灯させる(
図9のS1、
図8のタイミングt11)。
【0070】
IR励起光源33がIR励起光を発光させると、IR励起光は、スコープ13内の光ファイバ27を通って、照射窓27zから被写体に向けて照射され、患部を含む周囲の部位を照明する。患部等の被写体からの光は、撮像窓12zを通ると、レンズ24によって集光される。患部等の被写体からの光のうち、被写体で反射されたIR励起光は、IR励起光カットフィルタ23によって遮断されるが、被写体で蛍光発光した光は、IR励起光カットフィルタ23を透過してイメージセンサ22の撮像面に結像する。
【0071】
図8,
図9では、撮像期間において、IR励起光源33は、オン又はオフにスイッチングされる。そのため、IR励起光は、一定光量のパルス光として照射される(
図8の波形w11)。
【0072】
IR励起光がパルス照射された被写体(患部)は、蛍光発光し、蛍光発光の光が出力される(
図8の波形w12)。この蛍光発光は、IR励起光のパルス照射から所定時間△ta(例えば数msec)遅れてピーク光量となり、暫時、ピーク光量を維持した後、所定時間△tbかけて漸減する。ここでは、被写体から出力される蛍光発光の光が所定量以上(ここではピーク光量)に達した後に、蛍光発光の露光が開始されるように、露光開始の所定時間△ta前に、IR励起光の照射が開始される。
【0073】
コントローラ31は、第1駆動回路21に対し、イメージセンサ22による光電変換を開始させる信号を出力する(イメージセンサON)(
図9のS2)。第1駆動回路21は、この信号を受け取ると、イメージセンサ22にセンサリセット信号を出力して、イメージセンサ22を露光開始前の状態に戻す(
図9のS3、
図8のタイミングt12)。このタイミングt12では、被写体からの蛍光発光の光はピーク光量に達している。
【0074】
センサリセット後、第1駆動回路21は、イメージセンサ22の電子シャッタをオンにして、被写体からの蛍光発光の露光を開始する(
図9のS4、
図8の波形w14)。
【0075】
第2駆動回路32は、IR励起光源33をオンにし、IR励起光を点灯させてからパルス幅に相当する時間経過後、IR励起光源33をオフにし、IR励起光を消灯させる(
図9のS4A、
図8のタイミングt13)。尚、パルス幅に相当する時間経過後は、蛍光発光の露光を開始してから所定時間経過後に相当する。
【0076】
第1駆動回路21は、蛍光発光の露光を開始してから所定時間経過後、イメージセンサ22の電子シャッタをオフにして、被写体からの蛍光発光の露光を終了する(
図9のS5、
図8のタイミングt14)。
【0077】
露光終了と同時に、イメージプロセッサ35は、イメージセンサ22からのIR蛍光信号の読み出しを開始する(
図7のS9、波形w16)。IR蛍光信号の読み出しは、画素数に応じた読み出し時間の経過後、終了する(
図8のタイミングt15)。
【0078】
イメージプロセッサ35によるIR蛍光信号の読み出しが終了すると、ディスプレイプロセッサ36は、IR蛍光信号から得られる蛍光発光画像の表示信号を、モニタ40に出力する。モニタ40は、蛍光発光画像を可視光画像に切り替えるまでの期間Ti、画面に蛍光発光画像を表示する(
図8の波形w18)。
【0079】
また、イメージプロセッサ35によるIR蛍光信号の読み出しが終了すると(
図8のタイミングt15)、コントローラ31は、可視光を点灯させるために、第2駆動回路32を駆動する。第2駆動回路32は、可視光源34をオンにし、可視光を点灯させる(
図9のS7、
図8のタイミングt15、波形w13)。
【0080】
可視光源34が点灯し、可視光を発光させると、可視光は、スコープ13内の光ファイバ28を通って、照射窓28z,28yから被写体に向けて照射され、患部を含む周囲の部位を照明する。患部等で反射された光は、撮像窓12zを通ると、レンズ24によって集光され、IR励起光カットフィルタ23を透過してイメージセンサ22の撮像面に結像する。
【0081】
また、イメージプロセッサ35によるIR蛍光信号の読み出しが終了すると(
図8のタイミングt15)、第1駆動回路21は、イメージセンサ22にセンサリセット信号を出力して、イメージセンサ22を露光開始前の状態に戻す(
図9のS8)。
【0082】
センサリセット後、第1駆動回路21は、イメージセンサ22の電子シャッタをオンにして、可視光による露光を開始する(
図9のS9)。
【0083】
可視光による露光を開始した後、第2駆動回路32は、次のIR励起光による露光開始よりも所定時間△ta前に、IR励起光源33をオンにして、IR励起光を発光させる(
図9のS9A、
図8のタイミングt16)。
【0084】
第1駆動回路21は、可視光による露光を開始してから所定時間経過後、イメージセンサ22の電子シャッタをオフにして、可視光による露光を終了する(
図9のS10、
図8のタイミングt17)。
【0085】
可視光の露光終了と同時に、イメージプロセッサ35は、イメージセンサ22からの可視光信号の読み出しを開始する(
図9のS11、
図8の波形w17)。可視光信号の読み出しは、画素数に応じた読み出し時間の経過後、終了する(
図8のタイミングt18)。
【0086】
イメージプロセッサ35による可視光信号の読み出しが終了すると、ディスプレイプロセッサ36は、可視光信号から得られる可視光画像の表示信号をモニタ40に出力する。モニタ40は、可視光画像を蛍光発光画像に切り替えるまでの期間Tr、画面に可視光画像を表示する(
図8の波形w18)。
【0087】
また、可視光の露光終了と同時に、第2駆動回路32は、可視光源34をオフにし、可視光を消灯させる(
図9のS12、
図8の波形w13)。
【0088】
この後、コントローラ31は、撮像を終了するか否かを判別する(S13)。撮像の終了は、例えば、ユーザがビデオプロセッサ30又は内視鏡10に設けられたスイッチ(図示せず)をオフに操作し、この操作が内視鏡システム5により受け付けられたか否かにより、判別される。撮像を終了しない場合、
図9のS3に戻る。そして、前述したように、第1駆動回路21は、イメージセンサ22にセンサリセット信号を出力して、イメージセンサ22を露光開始前の状態に戻す(
図9のS3、
図8のタイミングt17)。
【0089】
一方、S13で撮像を終了する場合、コントローラ31は、第1駆動回路21に対し、イメージセンサ22による光電変換を終了させる信号を出力する(
図9のS14)。第2駆動回路32は、IR励起光源33をオフにし、IR励起光を消灯させる(
図9のS15)。そして、
図9に示したIR励起光をパルス照射する場合の撮像動作が終了する。
【0090】
このように、撮像期間にわたって、撮像動作が行われる。この間、モニタ40の同一の領域には、蛍光発光画像と可視光画像とが表示される。
【0091】
尚、
図8の波形w18で示された蛍光発光画像と可視光画像との表示の切り替えは短期間であるので、蛍光発光画像と可視光画像とは重ねて表示されているとも言える。また、ここではスイッチのオンオフ操作に応じて撮像動作(撮像期間)が開始され、終了されることを例示したが、その他の方法(例えばタイマにより所定時刻を検出)により、撮像動作(撮像期間)が開始され、終了されてもよい。
【0092】
[効果等]
このように、内視鏡システム5は、可視光源34と、IR励起光源33と、第2駆動回路32と、イメージセンサ22と、を備える。撮像動作において、IR励起光源33は、第2駆動回路32の駆動により、蛍光発光の光電変換の開始の所定時間△t前までに、IR励起光の発光を開始する。イメージセンサ22は、可視光の光電変換により、被写体を含む可視光画像を生成する。イメージセンサ22は、蛍光発光の光電変換により、IR励起光に励起されて蛍光発光する被写体を含む蛍光発光画像を生成する。モニタ40は、可視光画像及び蛍光発光画像を交互に切り替えて出力(表示)する。
【0093】
可視光源34は、第1の光源の一例である。IR励起光源33は、第2の光源の一例である。第2駆動回路32は、駆動回路の一例である。モニタ40は、アウトプットデバイスの一例である。可視光の光電変換は、第1の光電変換の一例である。蛍光発光の光電変換は、第2の光電変換の一例である。IR励起光は、非可視光の一例である。可視光画像は、第1の画像の一例である。蛍光発光画像は、第2の画像の一例である。
【0094】
これにより、内視鏡システム5は、IR励起光による蛍光発光の光電変換の開始より所定時間△t前までに、IR励起光の発光を開始する。そのため、内視鏡システム5は、蛍光発光の遅れに合わせて、蛍光発光を受光でき、その分、蛍光発光の受光量を多くできる。従って、内視鏡システム5は、蛍光発光画像の画質の低下を抑制できる。
【0095】
また、IR励起光源33は、第2駆動回路32の駆動により、可視光画像及び蛍光発光画像を撮像する撮像期間において発光を継続してもよい。
【0096】
これにより、蛍光発光の光が所定量以上(例えばピーク光量)に達した後は、蛍光発光がIR励起光より遅れてピーク光量に達することは無く、常に十分な蛍光発光の光量が得られる。従って、内視鏡システム5は、蛍光発光の光量の増加(立ち上がり)を待たなくてよい。蛍光発光の光量の増加を待たなくてよい分、内視鏡システム5は、蛍光発光画像と可視光画像とを交互に表示する際、フレームレートを高くできる。従って、内視鏡システム5は、フレームレートを高くすると、蛍光発光画像と可視光画像とをモニタ40に重ねて表示する際、ちらつき等を低減でき、画質を向上できる。
【0097】
また、所定時間△tは、IR励起光の発光を開始するタイミングt1と、蛍光発光の光量が所定量以上(ここではピーク光量)となるタイミングt1+△tと、の差分に基づく時間でもよい。タイミングt1は、第1の時点の一例である。タイミングt1+△tは、第2の時点の一例である。
【0098】
これにより、内視鏡システム5は、蛍光発光の光量が所定量以上(例えばピーク光量)になってから、露光を開始でき、蛍光発光の受光量を十分に確保できる。そのため、内視鏡システム5は、蛍光発光画像を鮮明化できる。なお、所定量は、ピーク光量に限らず、ピーク光量の2/3等、任意の値に設定可能である。
【0099】
また、モニタ40は、可視光画像と蛍光発光画像とをモニタ40の同一の領域に表示してもよい。
【0100】
これにより、フレームレート(切り替え速度)が所定値以上である場合、ユーザは、残像効果によりちらつきを感じることが減り、可視光画像と蛍光発光画像とが重なった画像として視認できる。また、観察部位(例えば人体の内臓)は時間経過とともに位置がずれることがあるので、可視光画像と蛍光発光画像とが別々に撮像される場合と比較すると、ユーザは、両画像の位置の対応関係を容易に把握できる。
【0101】
また、IR励起光カットフィルタ23が、被写体で反射されたIR励起光の周波数を含む周波数帯の光成分を遮断し、蛍光発光の光及び可視光の周波数を含む周波数帯の光成分を透過させてもよい。
【0102】
これにより、内視鏡システム5は、IR励起光が遮断された分、蛍光発光画像を鮮明化できる。また、IR励起光カットフィルタ23は可視光を透過させることで、イメージセンサ22は、可視光による光学像を撮像できる。
【0103】
また、イメージプロセッサ35は、蛍光発光画像及び可視光画像の少なくとも一方のゲイン(利得)を制御してもよい。イメージプロセッサ35は、ゲインコントローラの一例である。
【0104】
これにより、蛍光発光画像の輝度と可視光画像の輝度とを同程度に揃えることができる。ゲイン調整により、ユーザは、モニタ40に表示された蛍光発光画像及び可視光画像の輝度の差を感じることを低減できる。
【0105】
また、可視光源34及びIR励起光源33は、第2駆動回路32の駆動により、交互に発光してもよい。第2駆動回路32は、IR励起光と可視光とを交互に発光させる場合、例えば、IR励起光による蛍光発光がピーク光量に達するまでの所定時間△ta早めて、IR励起光を発光させる。
【0106】
これにより、内視鏡システム5は、蛍光発光の遅れに合わせて、蛍光発光を受光でき、その分、蛍光発光の受光量を多くできる。従って、内視鏡システム5は、IR励起光源33をスイッチング動作させ、IR励起光をパルス発光させる場合でも、蛍光発光の受光量が多くなるように維持でき、蛍光発光画像の画質の低下を抑制できる。また、IR励起光を連続発光させた場合と比較すると、内視鏡システム5は、消費電力を低減させ、IR励起光源33の発熱を抑制でき、IR励起光源33の長寿命化に繋がる。
【0107】
また、内視鏡システム5における光源制御方法では、内視鏡システム5は、被写体に対して可視光を発光し、可視光の光電変換により、被写体を含む可視光画像を生成する。また、この方法では、内視鏡システム5は、被写体に対してI励起光を発光し、蛍光発光の光電変換により、蛍光発光する被写体を含む蛍光発光画像を生成する。また、この方法では、内視鏡システム5は、可視光画像及び蛍光発光画像を交互に切り替えて出力し、蛍光発光の光電変換の開始の所定時間△t前までに、IR励起光の発光を開始する。
【0108】
これにより、内視鏡システム5は、IR励起光による蛍光発光の光電変換の開始より所定時間△t前までに、IR励起光の発光を開始する。そのため、内視鏡システム5は、蛍光発光の遅れに合わせて、蛍光発光を受光でき、その分、蛍光発光の受光量を多くできる。
従って、内視鏡システム5は、蛍光発光画像の画質の低下を抑制できる。
【0109】
(他の実施形態)
以上のように、本開示における技術の例示として、第1の実施形態を説明した。しかし、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。
【0110】
第1の実施形態では、可視光源34がパルス発光することを例示したが、可視光源34が撮像期間において連続発光してもよい。可視光源34の駆動は、第2駆動回路32により制御される。
【0111】
第1の実施形態では、可視光とIR励起光との照射タイミングがずれているが、可視光とIR励起光との照射タイミングが一部重複してもよい。
【0112】
第1の実施形態では、IR光とRGB光(可視光)を撮像可能な1つのイメージセンサ(単板式カメラ)を用いることを例示したが、他の方式のカメラを用いてもよい。他の方式のカメラは、例えば、IR用イメージセンサとRGB用イメージセンサとの2つのイメージセンサ(2板式カメラ)を含む。
【0113】
第1の実施形態では、生体内に光造影剤としてICGを投与することを例示したが、ICG以外の光造影剤が投与されてもよい。この場合、光造影剤を励起するための励起光の波長に応じて、非可視光の波長領域における分光特性を定めてもよい。そのため、IR励起光カットフィルタ23が
図5に示した特性以外の特性を有してもよい。
【0114】
第1の実施形態では、赤外光の波長領域において蛍光発光する薬品を用いたが、紫外光の波長領域において蛍光発光する薬品を用いてもよい。紫外光を用いた場合でも、近赤外域で蛍光発光する光造影剤を用いた場合と同様に、内視鏡10は、蛍光発光された患部の画像を撮像できる。
【0115】
第1の実施形態では、アウトプットデバイスとして、蛍光発光画像及び可視光画像を画面に表示可能なモニタ40を示したが、これに限られない。例えば、アウトプットデバイスは、蛍光発光画像及び可視光画像を印刷可能なプリンタ、蛍光発光画像及び可視光画像の各画像信号を出力可能な信号出力デバイスでもよい。また、アウトプットデバイスは、蛍光発光画像及び可視光画像の各画像データを記録媒体に記憶可能な記憶デバイス、蛍光発光画像及び可視光画像の各画像データを通信可能な通信デバイス、等であってもよい。
【0116】
第1の実施形態では、ビデオプロセッサ30、コントローラ31、イメージプロセッサ35、ディスプレイプロセッサ36は、物理的にどのように構成してもよい。ただし、プログラム可能なコントローラ又はプロセッサを用いれば、プログラムの変更により処理内容を変更できるので、設計の自由度を高めることができる。また、コントローラ又はプロセッサは、1つの半導体チップで構成してもよいし、物理的に複数の半導体チップで構成してもよい。複数の半導体チップで構成する場合、第1の実施形態の各制御をそれぞれ別の半導体チップで実現してもよい。この場合、それらの複数の半導体チップで1つのコントローラ又はプロセッサを構成すると考えることができる。また、コントローラ又はプロセッサは、半導体チップと別の機能を有する部材(コンデンサ等)で構成してもよい。また、コントローラ又はプロセッサが有する機能とそれ以外の機能とを実現するように、1つの半導体チップを構成してもよい。
【0117】
第1の実施形態では、
図4において内視鏡システム5のハードウェア構成を示したが、ハードウェア構成の少なくとも一部は、ソフトウェアにより実現されてもよい。
【解決手段】内視鏡システム5は、可視光源34と、IR励起光源33と、第2駆動回路32と、イメージセンサ22と、を備える。撮像動作において、IR励起光源33は、第2駆動回路32の駆動により、蛍光発光の光電変換の開始の所定時間△t前までに、IR励起光の発光を開始する。イメージセンサ22は、可視光の光電変換により、被写体を含む可視光画像を生成する。イメージセンサ22は、蛍光発光の光電変換により、IR励起光に励起されて蛍光発光する被写体を含む蛍光発光画像を生成する。モニタ40は、可視光画像及び蛍光発光画像を交互に切り替えて出力(表示)する。