【実施例】
【0016】
図1は、本発明の実施の形態に係る内視鏡の実施例の全体構成を示す模式図である。実施例の内視鏡は、統括ユニット2によって制御されており、統括ユニット2は、観察画像等を表示するためのモニタ4を有する。操作ユニット6は接続ケーブル8によって統括ユニット2に接続されており、接続ケーブル8には光源光を伝達するための光ファイバーおよび電気信号を伝達するための信号線などが通っている。操作ユニット6はこれを操作する医師の手に握られるもので、胃などに挿入される挿入部10が延びており、その先端は、撮像光学系や照明光学系が配置される先端部12となっている。実施例の内視鏡は、胃などの画像を観察する通常の機能と併せ、胃などにレーザビームを照射してそのラマン散乱を検知することで正常組織と癌組織とを弁別するよう構成されている。
【0017】
図2は、
図1の実施例における内視鏡の全体構成のブロック図であり、
図1と対応する部分には同一の番号を付す。統括ユニット2には内視鏡全体を統括制御する制御部14が設けられている。記憶部16は、制御部14の動作に必要な制御プログラムを記憶するとともに、測定データを蓄積記憶する。また、制御に関連するデータを一時的に記憶する。
【0018】
画像処理部18は、先端部2で撮像された内視鏡画像を処理し、新たなカラー画像が得られると表示メモリ20の表示用画像データを更新する。そしてモニタ4は、表示メモリ20の表示用画像データに基づき画像表示を行う。画像処理部18は、また、ラマン散乱検知のための光源ビーム照射位置を内視鏡画像に重畳表示し、内視鏡画像のどの位置に光源ビームが照射されているかを表示する。後述するように、内視鏡画像の撮像とラマン散乱の検出は時分割で行われるが、表示メモリ20は、ラマン散乱検出のために内視鏡画像の撮像が行われない時間帯においても、最新の内視鏡画像を保持し、モニタ4での表示を継続する。
【0019】
統括ユニット2には、さらに光源部22が設けられており、制御部14は、内視鏡画像撮像時間帯において赤色LED24、緑色LED26および青色LED28を順次発光させるよう制御する。光源部22には、さらに赤外光(例えば1056nm)を発生するラマン散乱用光源レーザ30が設けられており、制御部14は、ラマン散乱検出のため時間帯においてラマン散乱用光源レーザ30を発光させるよう制御する。
【0020】
先端部12には、フォーカス調節およびズーミングが可能な撮像レンズ32が設けられており、CIGSイメージセンサ34は、撮像レンズ32による可視光像を撮像する。CIGSイメージセンサ34は、銅、インジウム、ガリウムおよびセレンよりなる多結晶のCIGS系薄膜を用いた光電センサであって、その組成制御によりバンドギャップを変化させることで吸収波長域を制御し、400nm付近から1300nm付近にわたる広い感度域を持たせたものである。これによって、CIGSイメージセンサ34は赤色LED24、緑色LED26および青色LED28が順次発光しているタイミングの画像出力により可視光像の撮像を行うことができるとともに、後述のように例えば1056nmの光源光に対する1258nmのラマン散乱光を検知するセンサとしても機能する。
【0021】
撮像レンズ32は、オートフォーカス信号に基づいて機能するフォーカス駆動部36により自動的にフォーカス調節されるとともに、手動操作信号に基づいて機能するズーム駆動部38により手動でズーム操作される。赤色LED24、緑色LED26および青色LED28から順次発光される可視照明光は、照明用光ファイバー40内を導かれて照明光学系42から撮像レンズ32の最広角の視野範囲を照明する。また、ラマン散乱用光源レーザ30から射出されたレーザ光は、レーザ用光ファイバー44内を導かれてビーム照射光学系46から撮像レンズ32の光軸48と平行に光源ビームを照射する。
【0022】
照明用光ファイバー40およびレーザ用光ファイバー44が経由している操作ユニット6には、操作部50が設けられており、この操作部を手動操作することによりズーム手動操作信号がズーム操作部38に伝達される。また、操作ユニット6のオートフォーカス処理部52は、緑色LED26が照射された時点のCIGSイメージセンサ34の画像出力に基づいてそのコントラストを検出処理し、制御部14の制御に基づいてコントラストがより大きくなるよう撮像レンズ32を駆動するためのオートフォーカスをフォーカス駆動部36に伝達する。さらに、操作ユニット6のラマン散乱処理部54は、ラマン散乱用光源レーザ30からレーザビームが射出されるタイミングにおけるCIGSイメージセンサ34の出力を処理し、これを制御部14に伝える。なお、赤色LED24、緑色LED26および青色LED28が順次発光しているタイミングにおけるCIGSイメージセンサ34の出力も操作ユニット6を経由して行われる。
【0023】
なお、上述のように、操作ユニット6と統括ユニット2との間の光ファイバー40、44の接続および電気信号を伝達するための信号線の接続は接続ケーブル8を通して行われる。また、操作ユニット6と先端部12との間の光ファイバー40、44の接続および電気信号を伝達するための信号線の接続は挿入部10を通して行われる。また、挿入部10の端部近傍には、挿入部10に対する先端部12の向きを自由に変更させるための屈曲機構56が設けられており、操作ユニット6の操作部50の手動操作に基づく屈曲制御信号が伝達される。
【0024】
図3は、
図2で示した実施例におけるCIGSイメージセンサ34のカラーフィルタ配列図である。CIGSイメージセンサ34においては、赤外域をカットし可視光域を透過させる可視光域フィルタV11、V22、ラマン散乱光を選択的に透過させるために1258nmを中心として±4nmの半値幅を持つ狭帯域の測定用赤外フィルタIR12、およびラマン散乱光がない近接域の赤外光を選択的に透過させるために1271nmを中心として±4nmの半値幅を持つ狭帯域の参照用赤外フィルタRref21が図示のように配列され、これを一つの単位として繰り返す配列となっている。本発明のCIGS撮像センサは、上記のように可視光域から赤外光にわたる広い分光感度域をもつため、このように一つのセンサに可視光および赤外光のカラーフィルタを設け、可視光像の検知とラマン散乱光の測定を行うことができる。
【0025】
上記のようにともに狭帯域の測定用赤外フィルタIR12および参照用赤外フィルタRref21を用いることにより、1056nmのラマン散乱用光源レーザ30の光源光に基づくレイリー散乱光を除去することができる。そして、ラマン散乱光の測定にあたっては、測定用赤外フィルタIR12が設けられている全画素の出力を加算するとともに、参照用赤外フィルタRref21が設けられている全画像の出力が加算し、両加算値の差をとることで、1258nmにおけるラマン散乱光の強度を検出することができる。
【0026】
なお、可視光像の形成にあたっては、測定用赤外フィルタIR12、参照用赤外フィルタRref21が設けられている画像についても、その周囲にある可視光域フィルタが設けられている画素のデータによって補間を行うことにより画素信号を得る。この補間は、赤色LED24、緑色LED26および青色LED28が順次発光している各タイミングにおいてそれぞれ赤色画像、緑色画像および青色画像について行う。
【0027】
図4は、
図2で示した実施例における赤色LED24、緑色LED26および青色LED28の発光、並びにラマン散乱用光源レーザ30から射出されるレーザビームの測定対象への照射タイミングの関係を示すタイミングチャートである。
図4に示すように、t1で開始される緑色LED26の発光に基づく緑色画像、t3で開始される赤色LED24の発光に基づく赤色画像、およびt5で開始される青色LEDの発光に基づく青色画像によって、V1で示す1フレームの可視光カラー画像が作成される。厳密に言えば各色の発光に時間差があるので各色の画像は同一時間のものではないが、時間差は僅少なので高速で動く被写体でない限りこのような時分割による各色画像の取得でも問題はない。同様にして、t9で開始される緑色LED26の発光に基づく緑色画像、t11で開始される赤色LED24の発光に基づく赤色画像、およびt13で開始される青色LEDの発光に基づく青色画像によって、V2で示す1フレームの可視光カラー画像が作成される。以下同様にして1フレームのカラー画像が作成され、個々のカラー動画は静止画としても記録できるとともに、これらを繋げてカラー動画としても記録できる。なお、これらのカラー処理は、
図2に示した画像処理部18で行われる。
【0028】
一方、ラマン散乱の測定については、
図4に示すように、t7で開始されるラマン散乱用光源レーザ30から射出されるレーザビームの測定対象への照射に基づき、測定用赤外フィルタIR12に対応する全画素の出力を加算するとともに、同タイミングにおける参照用赤外フィルタRref21に対応する全画像の出力を加算し、両加算値の差をとることでラマン散乱強度R1が求められる。同様にt15で開始されるレーザビームの照射に基づき、測定用赤外フィルタIR12に対応する全画素の出力を加算するとともに、同タイミングにおける参照用赤外フィルタRref21に対応する全画像の出力を加算し、両加算値の差をとることでラマン散乱強度R2が求められる。以下同様にして可視光像の撮像と並行して時分割でラマン散乱強度を連続して測定することができる。従って、可視光像により対処を測定しながら、可視光像の中に重畳表示されるレーザ照射位置についてラマン散乱強度を測定することができる。そして可視光の観察により測定位置を変えながら測定を続けることができる。
【0029】
図5は、
図2で示した実施例における内視鏡の撮像光学系の断面図およびモニタ表示図であり、モニタ表示におけるビーム位置の表示を説明するためのものである。
図2と対応する部分には同一の番号を付し、必要のない限り説明を省略する。
図5(A)は、ズームのワイド端(最も広角側)における最長撮影距離での内視鏡の撮像光学系の断面を模式的に示したものである。胃壁等の撮像および測定の対象58の像がCIGSイメージセンサ34上に結像しているとともに、照射光学系46から撮像レンズ32の光軸48と平行に光源ビーム60が対象58に照射されている。
【0030】
図5(B)は、
図5(A)の状態においてモニタ4に表示される画面を示しており、
図2で示した実施例における内視鏡の撮像光学系の断面図およびモニタ表示図であり、モニタ4の中に、胃壁等の対象58が表示されている。モニタ4にはさらに、画像の中心を示す十字線62および光源ビーム60の照射位置マーク64が重畳表示されている。これによって、モニタ4に表示されている対象58のどこに光源ビーム60が照射されているかがわかる。このような表示により、対象58を観察しながら所望の位置に光源ビーム60を照射してその位置におけるラマン散乱の測定を行うことができる。
【0031】
図5(C)は、ズームをワイド端のままにして撮像光学系を対象58に近づけた状態の断面を模式的に示している。このように対象に近づくことによって、対象58の一部の像がCIGSイメージセンサ34上に拡大して結像する。なお、撮像レンズ32はオートフォーカス機能によりフォーカス調節されて繰り出されている。この状態においても照射光学系46から照射される光源ビーム60と撮像レンズ32の光軸48の位置関係は変わらないが、撮像範囲が狭まることにより、光源ビーム60は撮像範囲のより外側寄りに照射されることになる。
図5(D)は、
図5(C)の状態においてモニタ4に表示される画面を示しており、対象58が拡大されて表示されるとともに、
図5(B)と比較して光源ビーム60の照射位置マーク64が十字線62から離れ、モニタ4の視野内のより外側寄りに移動して表示される。
【0032】
図5(E)は、撮影距離を
図5(A)の状態のままにして、撮像レンズ32を望遠側にズームアップした状態の断面を模式的に示している。このようにズーミングを行うことによっても対象58の一部の像がCIGSイメージセンサ34上に拡大して結像する。この場合、撮像レンズ32の焦点距離が長くなるようズーム駆動部が撮像レンズ32を駆動する。この状態においても照射光学系46から照射される光源ビーム60と撮像レンズ32の光軸48の位置関係は変わらないが、
図5(C)と同様にして撮像範囲が狭まることにより、光源ビーム60は撮像範囲のより外側寄りに照射されることになる。
図5(F)は、
図5(E)の状態においてモニタ4に表示される画面を示しており、
図5(D)と同様にして対象58が拡大されて表示されるとともに、
図5(B)と比較して光源ビーム60の照射位置マーク64が十字線62から離れ、モニタ4の視野内のより外側寄りに移動して表示される。以上、
図5では、典型的な状態を示したが、撮影距離の変化および撮像レンズ32のズーミングにより所望の倍率での撮像が可能となる。そして、図、
図5(B)、
図5(D)および
図5(E)に示したようなモニタ4の視野内における照射位置マーク64の移動は、ズーミングにおける撮像レンズの焦点距離情報およびフォーカス駆動部における撮像レンズのフォーカス調節状態の情報により行うことができる。
【0033】
図6は、
図5(B)で示したモニタ4の表示範囲を胃壁等の対象58の比較的広範囲とともに示した模式図であり、先端部12を屈曲させることにより対象58の比較的広範囲をスキャンして予備測定する様子を示している。このスキャンによる予備測定は、内視鏡を予備測定モードに設定し、モニタ4に表示される対象58を観察しながら可視画像としては正常に見える部分を、例えば
図6における表示範囲4aから4bに移動させることに相当する。このようなスキャンによる予備測定によって、光源ビームは照射位置マーク64aから64bに軌跡64cを経由して移動する。この間、ラマン散乱処理部54はCIGSイメージセンサ34の出力に元づいてラマン散乱強度を繰り返し実測し、これらを蓄積記憶してその平均値を測定の基準値として設定記憶する。測定の初期においてこのような予備測定に基づいて基準値を求めることにより、この実測による基準値を正常組織のラマン散乱強度とみなして目的部分を本測定した際のラマン散乱強度と比較することができ、本測定における目的部分の組織が正常か否かを判断することができる。
【0034】
図7は、
図2で示した実施例における内視鏡の制御部14の動作の基本フローチャートである。測定開始操作を行うとフローがスタートし、ステップS2で、撮像レンズ32をズームのワイド端に初期設定するとともに、ステップS4でフォーカス初期位置(例えば比較的撮影距離が長く焦点深度も深い位置)の設定を行う。次いでステップS6において、以上のズーム設定およびフォーカス設定に基づき、光源ビーム照射位置マーク64をモニタ4内で重畳表示するためのデータの初期値を設定する。以上の諸初期設定の後、ステップSS8で初期方向(例えば撮影距離を短くする方向)へのフォーカス駆動を開始する。実施例のオートフォーカスはコントラスト方式なので、まず撮像レンズ32を駆動してみてコントラストの変化を見ないと焦点合わせができないからである。
【0035】
そしてステップS10で可視光LED照明下での可視光撮像処理を行う。これにより視野内の可視光像が得られるとともにオートフォーカスのためのコントラスト情報が得られる。ステップS10での可視光撮像処理の詳細は後述する。さらにステップS12でラマン散乱用光源レーザによる光源ビーム照射下でのラマン散乱検出処理を行い、検出値を得る。ステップS12でのラマン散乱検出処理の詳細についても後述する。
【0036】
ステップS10およびステップS12でそれぞれ一回ずつの可視光撮像およびラマン散乱の検出値が得られるとステップS14に進み、ラマン測定の検出値から基準値(実測値がない場合は所定の初期値)を引き、測定値として記録する。次にステップS16では基準値と検出値の差の絶対値が所定値以下であるかどうかがチェックされ、差の絶対値が所定値以下であればステップS18に進んで予備測定モードかどうかチェックする。そして予備測定モードであればステップS20に進んで今回の検出値を加入して平均を取り直す基準値の再演算を行い、ステップS22に移行する。後述のようにステップS10からステップS20の処理は
図6に示したような予備測定において繰り返されるが、この繰り返しの中で実測平均に基づく基準値が設定される。ステップS16で基準値と測定値の絶対値の差が所定値以上であったとき、またはステップS18で予備測定モードでないことが確認されたときは今回の検出値を基準値に反映させることなく直接ステップS22に移行する。
【0037】
ステップS22では、前回の撮像の可視光像に比べ今回撮像の可視光像のコントラストが低下しているか否かチェックする。そしてコントラストの低下がなければステップSステップS24に進み、コントラストの変化があったか否かチェックする。変化があった場合は、フォーカス駆動によりコントラストが高くなったことを意味するのでその方向へのフォーカス駆動を継続してステップS26に進む。一方、ステップS22でコントラストの低下が検知されたときはピントが外れる方向に撮像レンズがフォーカス駆動されていることを意味するので、ステップS28に移行し、フォーカス駆動を逆転させてステップS26に移行する。また、ステップS24でコントラストに変化がないことが確認されたときは、コントラストがピークでありピントが合ったことを意味するのでステップS30に進みフォーカス駆動を停止してステップS26に移行する。ステップS26では、いずれの場合も、新たなフォーカス調節位置に基づき光源ビーム照射位置重畳データを更新してステップS32に移行する。
【0038】
なお、後述のようにステップS22、S24、S28およびS30のオートフォーカス制御は繰り返し行われる。この繰り返しの中で、ステップS30でフォーカス駆動が停止された後にステップS22に至り、ここでコントラストの低下がないことが確認されてステップS24でもコントラスト変化が確認されなかった場合はピントが合った状態が継続していることを意味する。この場合、ステップS30ではフォーカス駆動停止が継続され、ステップS26でのデータ更新でも結果的には同じデータが継続される。また、ステップS30でフォーカス駆動が停止された後にステップS22に至り、ここでコントラストの低下が確認されたときは、ステップS28でフォーカス駆動が再開される。その方向は停止前と逆方向となるが、これが不適当であれば次の繰り返しの中のステップS22でさらにコントラストが低下することが検知されるので再度ステップS28に至り、フォーカス駆動方向が訂正される。
【0039】
ステップS32では、ズーム操作が行われたか否かをチェックする。そしてズーム操作があればステップS34に進み、ズーム操作の結果の新たな焦点距離に基づき光源ビーム照射位置重畳データを更新してステップS36に移行する。一方ステップS32でズーム操作が確認されないときは、直接ステップS36に移行する。
【0040】
ステップS36では、測定停止操作が行われたかい否かチェックし、操作が確認されないときはステップS10に戻る。そしてステップS36で測定停止操作が確認されない限り、ステップS10からステップS36を繰り返し、可視光像の撮像とラマン散乱の測定を継続する。
【0041】
図8は、
図7のステップS10の可視光撮像処理およびステップS12のラマン散乱検出処理の詳細を示すフローチャートである。
図7においてステップS8からステップS10に移行すると、
図8のステップS42となり、緑色LED26を点灯させるとともにステップS44でCIGSイメージセンサ34の可視光域フィルタが設けられた画素の出力を緑色画像として画像処理部18に取り込む。そして、ステップS46では取り込んだ緑色画像のコントラストを検出して記憶する。
【0042】
次いで、ステップS48では、赤色LED24を点灯させるとともにステップS50でCIGSイメージセンサ34の可視光域フィルタが設けられた画素の出力を赤色画像として画像処理部18に取り込む。同様に、ステップS52では、青色LED28を点灯させるとともにステップS54でCIGSイメージセンサ34の可視光域フィルタが設けられた画素の出力を青色画像として画像処理部18に取り込み、ステップS56に移行する。
【0043】
ステップS56では、上記のようにして取り込まれた緑色画像、赤色画像および青色画像のそれぞれについて、測定用赤外フィルタおよび参照用赤外フィルタが設けられた画素についての補間を行うとともに、補間後の緑色画像、赤色画像および青色画像に基づいて可視光画像を得、これを記録する。
【0044】
次いで、ステップS58では、ラマン散乱測定モードか否かチェックし該当すればステップS60で光源ビームの照射位置を可視光画像に重畳表示する処理をしてステップS62に移行する。一方、ステップS58でラマン散乱測定モードでないことが検知されるとステップS64に移行し、光源ビーム照射位置重畳を解除する処理をしてステップS62に移行する。例えば、内視鏡挿入時など、特にラマン散乱を測定する意図がないときは光源ビーム照射位置重畳表示があると煩わしく、また誤解を招くのでこのようにラマン散乱測定モードでないときは光源ビーム照射位置重畳表示を解除する。なお、最初からマン散乱測定モードでないときはステップS64では何もせずステップS62に移行する。
【0045】
ステップS62では、ステップS56で得られた新しい可視光画像に必要に応じ光源ビーム照射位置を重畳した表示データにより、表示メモリ20の表示データを更新する。なお、上記のように表示データの更新がない限り、表示メモリ20には前回の表示データが保存され、これに基づくモニタ4での表示はラマン散乱測定中も継続される。そして表示データの更新があれば、モニタ4での表示も更新される。
【0046】
次いで、ステップS66では、再度ラマン散乱測定モードか否かチェックし該当すればステップS68で光源ビームの照射を行い、ステップS70で測定用赤外フィルタが設けられた全画素の出力を加算するとともに、ステップS72で参照用赤外フィルタが設けられた全画素の出力を加算してステップS74に移行する。ステップS74では、測定用赤外フィルタが設けられた全画素の出力の加算値から参照用赤外フィルタが設けられた全画素の出力の加算値を減算し、結果を検出として記録して
図7のステップS14に移行する。
【0047】
上記本発明の種々の特徴は上記の実施例に限るものではなく、その利点が享受できる限り種々の他の実施例において活用可能である。例えば、実施例における可視光像の測定は、CIGSイメージセンサに設けられた可視光域フィルタと赤色、緑色、青色LEDの時分割発光によっているが、これに限るものではない。例えば、CIGSイメージセンサに赤色フィルタ、緑色フィルタ、青色フィルタ、測定用赤外フィルタおよび参照用赤外フィルタを適切なパターンで配置し、白色光源による時分割なしの照明で可視光像を得るようにしてもよい。
【0048】
また、実施例では、光源部を統括ユニット2に配置しているが、先端部12に配置すれば途中の光ファイバーを省略し、統括ユニットとのやりとりは電気信号のみで行うようにしてもよい。さらに、実施例では、オートフォーカス処理部52、ラマン散乱処理部54を操作ユニット6に配置しているがこれを統括ユニット2に配置してもよい。フォーカス調節についても実施例はオートフォーカスを採用しているがこれを手動フォーカスとしてもよい。この場合も、手動フォーカス調節の結果の情報は光源ビーム照射位置重畳表示の修正に反映される。