(58)【調査した分野】(Int.Cl.,DB名)
前記光源部は、前記第1の光源として、緑色を示す前記第1色成分と、赤色を示す前記第2色成分を含む光を出射する光源、または青色を示す前記第1色成分と、緑色を示す前記第2色成分を含む光を出射する光源を有する請求項1に記載の内視鏡システム。
前記光源部は、前記第1の光源として、緑色を示す前記第1色成分と、赤色を示す前記第2色成分を含む光を出射する光源、および青色を示す前記第1色成分と、緑色を示す前記第2色成分を含む光を出射する光源を有する請求項1または2に記載の内視鏡システム。
【発明を実施するための形態】
【0016】
以下に、添付の図面に示す好適実施形態に基づいて、本発明の内視鏡システムを詳細に説明する。
なお、以下に説明する図は、本発明を説明するための例示的なものであり、以下に示す図に本発明が限定されるものではない。
なお、以下において数値範囲を示す「〜」とは両側に記載された数値を含む。例えば、εが数値α〜数値βとは、εの範囲は数値αと数値βを含む範囲であり、数学記号で示せばα≦ε≦βである。
「平行」等の角度は、特に記載がなければ、該当する技術分野で一般的に許容される誤差範囲を含む。「同一」は、特に記載がなければ、該当する技術分野で一般的に許容される誤差範囲を含む。
【0017】
一般的には、青色の波長は約445nmから約485nm程度であり、例えば、青色と緑色との中間の色は例えば青緑と称して青色とは区別する場合がある。しかし、内視鏡システム10においては、少なくとも光源部の各光源が出射する光について色の種類(色の名称)を過剰に細分化する必要がない。このため、約440nm以上約490nm未満の波長を有する光の色を青色という。また、約490nm以上約600nm未満の波長を有する光の色を緑色といい、かつ約600nm以上約680nm未満の波長を有する光の色を赤色という。そして、上述の青色の波長の下限である「約440nm」未満の波長を有する可視光、例えば、約380nm以上約440nm未満の可視光の色を紫色といい、紫色よりも短波長であるがイメージセンサー48が感度を有する光の色を表す場合に紫外という。また、上述の赤色の波長の上限である「約680nm」以上の波長を有し、かつイメージセンサー48が感度を有する光の色を表す場合に赤外という。また、「広帯域」とは、波長範囲が複数の色の波長範囲に及ぶことをいう。白色とは少なくとも上述の青色または紫色に属する光と、緑色に属する光と、赤色に属する色の光と、を含む光の色をいう。
【0018】
[第1の実施形態]
図1は本発明の第1の実施形態の内視鏡システムの一例を概念的に示す斜視図であり、
図2は本発明の第1の実施形態の内視鏡システムの一例を概念的に示すブロック図である。
図1に示すように、内視鏡システム10は、観察対象である生体内(被検体内)の観察部位を撮像する内視鏡スコープ(以下、単に内視鏡ともいう)12と、撮像により得られた画像信号に基づいて観察部位の表示画像を生成するプロセッサ装置16と、観察部位を照射する照明光を内視鏡12に供給する内視鏡用光源装置(以下、単に光源装置という)14と、表示画像を表示するモニタ18とを備えている。プロセッサ装置16には、キーボードおよびマウス等の操作入力部であるコンソール19が接続されている。
【0019】
内視鏡システム10は、観察部位を観察するための通常観察モードと、観察部位の粘膜内部に存在する血管を強調して観察するための血管強調観察モードとが実行可能である。血管強調観察モードは、血管情報として血管のパターンを可視化して、腫瘍の良悪鑑別等の診断を行うためのモードである。この血管強調観察モードでは、血中ヘモグロビンに対する吸光度が高い特定の波長帯域の光の成分を多く含む照明光を観察部位に照射する。
通常観察モードでは、観察部位の全体の観察に適した通常観察画像が表示画像として生成される。血管強調観察モードでは、血管のパターンの観察に適した血管強調観察画像が表示画像として生成される。
【0020】
内視鏡12は、被検体内に挿入する挿入部12aと、挿入部12aの基端部分に設けた操作部12bと、挿入部12aの先端側に設けた湾曲部12cと、先端部12dとを有する。操作部12bのアングルノブ12eを操作することにより、湾曲部12cが湾曲する。湾曲部12cが湾曲した結果、先端部12dが所望の方向に向く。なお、先端部12dには、観察対象に向けて空気または水等を噴射する噴射口(図示しない)が設けられている。また、操作部12bには、アングルノブ12eの他、処置具を挿入するための鉗子口、送気送水ノズルから送気または送水を行う際に操作される送気送水ボタン、静止画像を撮影するためのフリーズボタン(図示せず)、ズーム操作部13aおよびモード切替スイッチ13bが設けられている。ズーム操作部13aは、観察対象を拡大または縮小する際に使用する。モード切替スイッチ13bは、内視鏡システム10が複数の観察モードを有する場合に、観察モードの切り替えに使用する。
【0021】
また、内視鏡12は、内視鏡12をプロセッサ装置16および光源装置14に接続するためのユニバーサルコード17を備えている。
ユニバーサルコード17には、挿入部12aから延設される通信ケーブルまたはライトガイド41(
図2参照)が挿通されており、プロセッサ装置16および光源装置14側の一端には、コネクタが取り付けられている。コネクタは、通信用コネクタと光源用コネクタからなる複合タイプのコネクタである。通信用コネクタと光源用コネクタはそれぞれ、プロセッサ装置16および光源装置14に着脱自在に接続される。通信用コネクタには通信ケーブルの一端が配設されている。光源用コネクタにはライトガイド41の入射端が配設されている。
【0022】
図2に示すように、光源装置14は、主波長の異なる2以上の光源を有する光源部20と、光源部20の発光タイミング、および発光量等を制御する光源制御部22と、光源制御部22の制御信号に応じて駆動電流を生成し、各光源に駆動電流(駆動信号)を供給して光を出射させる光源駆動部21とを備える。
【0023】
光源装置14において、光源制御部22は、光源部20から照明光Ls(
図5参照)が、観察対象である対象物Ob(
図5参照)に特定の光量で照射されるように、光源駆動部21を制御するものである。例えば、内視鏡の先端部12d(
図5参照)と対象物Ob(
図5参照)との距離Ld(
図5参照)が変わっても、内視鏡画像の明るさが一定になるように照明光Lsの光量を制御する。この場合、例えば、イメージセンサー48のセンサー信号から得られた輝度値を用いて、輝度値が一定になるように、照明光Lsの光量を制御する。
この場合、光源部20には、後述するように光検出器91、92、93(
図5参照)が設けられており、光検出器91、92、93(
図5参照)が検出した各光源の光量の情報が光源制御部22に入力されて、各光源の光量の情報が得られる。各光源の光量の情報と、イメージセンサー48の輝度値とに基づいて光源部20の光源の発光量を自動的に正確に制御する。
【0024】
光源部20から出射された照明光は、ライトガイド41に入射する。ライトガイド41は、内視鏡12およびユニバーサルコード17内に内蔵されており、照明光を内視鏡12の先端部12dまで伝搬する。ユニバーサルコード17は、内視鏡12と光源装置14およびプロセッサ装置16とを接続するコードである。なお、ライトガイド41としては、マルチモードファイバを使用できる。一例として、コア径105μm、クラッド径125μm、外皮となる保護層を含めた径が0.3〜0.5mmの細径なファイバケーブルを使用できる。
【0025】
内視鏡12の先端部12dには、照明光学系30aと撮影光学系30bが設けられている。照明光学系30aは、照明レンズ45を有しており、この照明レンズ45を介して照明光が観察対象に照射される。撮影光学系30bは、対物レンズ46、ズームレンズ47、およびイメージセンサー48を有する。イメージセンサー48は、対物レンズ46およびズームレンズ47を介して、観察対象から戻る照明光の反射光等を用いて観察対象を撮影する。上述の観察対象から戻る照明光の反射光等には、反射光の他、散乱光、観察対象が発する蛍光、または、観察対象に投与等した薬剤に起因した蛍光等が含まれる。
なお、ズームレンズ47は、ズーム操作部13aの操作をすることで移動する。その結果、イメージセンサー48を用いて撮影する観察対象を拡大または縮小して観察する。
【0026】
イメージセンサー48は、例えば、CCD(Charge Coupled Devic)センサー、およびCMOS(Complementary Metal Oxide Semiconductor)センサー等の光電変換素子が用いられる。光電変換素子を用いたイメージセンサー48では、受光した光を光電変換して、画素毎に受光量に応じた信号電荷をセンサー信号として蓄積する。画素毎の信号電荷は、電圧信号に変換されてイメージセンサー48から読み出される。イメージセンサー48から読み出された、画素毎の電圧信号は、画像信号としてDSP(Digital Signal Processor)56に入力される。
イメージセンサー48は、例えば、1フレームの取得期間内で、画素に信号電荷を蓄積する蓄積動作と、蓄積した信号電荷を読み出す読み出し動作を行う。光源装置14は、イメージセンサー48の蓄積動作のタイミングに合わせて照明光を生成し、ライトガイド41に入射させる。
【0027】
イメージセンサー48は、
図3に示すように、光電変換機能を有する画素部49と、特定波長域に対する分光感度を有するフィルター部50とを有し、画素部49とフィルター部50とにより第1の素子部48a、第2の素子部48bおよび第3の素子部48cが構成されている。光電変換機能を有する画素部49に、センサー信号として上述のように信号電荷が蓄積される。
イメージセンサー48では、第1の素子部48aは、光電変換機能を有する第1画素49aと、第1色成分に対する分光感度を有する第1フィルター50aとを有する。イメージセンサー48に入射された光に応じて第1の素子部48aでは第1色成分の第1の信号値が得られる。
第2の素子部48bは、光電変換機能を有する第2画素49bと、第2色成分に対する分光感度を有する第2フィルター50bとを有する。イメージセンサー48に入射された光に応じて第2の素子部48bでは第2色成分の第2の信号値が得られる。
第3の素子部48cは、光電変換機能を有する第3画素49cと、第3色成分に対する分光感度を有する第3フィルター50cとを有する。第3色成分は、第1色成分および第2色成分以外の色のことである。イメージセンサー48に入射された光に応じて第3の素子部48cでは第3色成分の第3の信号値が得られる。
【0028】
イメージセンサー48は、例えば、各画素にカラーフィルタを有するものであり、原色系のカラーセンサーである。第1フィルター50a、第2フィルター50bおよび第3フィルター50cは、例えば、カラーフィルタで構成される。この場合、イメージセンサー48の第1フィルター50a、第2フィルター50bおよび第3フィルター50cは、例えば、Rカラーフィルタ(赤色カラーフィルタ)、Gカラーフィルタ(緑色カラーフィルタ)、およびBカラーフィルタ(青色カラーフィルタ)のうちのいずれかである。第1の素子部48aは、第2の素子部48bおよび第3の素子部48cは、上述の第1色成分、第2色成分および第3色成分に応じて適宜決定される。
第1画素49a、第2画素49bおよび第3画素49cの各画素のうち、Rカラーフィルタを有する画素がR画素であり、Gカラーフィルタを有する画素がG画素であり、かつ、Bカラーフィルタを有する画素がB画素である。イメージセンサー48のセンサー信号として、R画素からR信号が得られ、G画素からG信号が得られ、およびB画素からB信号が得られる。R信号、G信号およびB信号が画像信号としてDSP56に入力される。
このように、イメージセンサー48は、例えば、R画素、G画素、およびB画素の3色の画素を有するので、照明光に白色光を使用して観察対象を撮影すると、R画素で観察対象を撮影して得るR画像、G画素で観察対象を撮影して得るG画像、およびB画素で観察対象を撮影して得るB画像が同時に得られる。
【0029】
Rカラーフィルタ50R(
図4参照)、Gカラーフィルタ50G(
図4参照)およびBカラーフィルタ50B(
図4参照)の配置は、特に限定されるものではないが、例えば、
図4に示すように、視感度を考慮して、R:G:B=1:2:1の比で配置される。
なお、例えば、上述のR信号の信号値が第2の信号値に相当し、G信号の信号値が第1の信号値に相当し、B信号の信号値が第3の信号値に相当する。
【0030】
なお、イメージセンサー48について、原色系のカラーセンサーを例示したが、これに限定されるものではなく、補色系のカラーセンサーを用いることもできる。補色系のカラーセンサーは、例えば、シアンカラーフィルタが設けられたシアン画素、マゼンダカラーフィルタが設けられたマゼンタ画素、黄色カラーフィルタが設けられた黄色画素、および、緑色カラーフィルタが設けられた緑色画素を有する。補色系カラーセンサーを用いる場合に上述の各色の画素から得る画像は、補色原色色変換をすれば、B画像、G画像、およびR画像に変換できる。また、カラーセンサーの代わりに、カラーフィルタを設けていないモノクロセンサーをイメージセンサー48として使用できる。この場合、BGR等各色の照明光を用いて観察対象を順次撮影することにより、上述の各色の画像を得ることができる。
【0031】
また、
図1に示す挿入部12aには、イメージセンサー48を駆動する駆動信号およびイメージセンサー48が出力する画像信号を通信する通信ケーブル、光源装置14から供給される照明光を照明窓に導光するライトガイド41が挿通されている。
【0032】
図2に示すようにプロセッサ装置16は、画像取得部54と、補正量算出部60と、画像処理部61と、表示制御部66と、制御部69とを有する。プロセッサ装置16が、本発明のプロセッサに相当する。
画像取得部54は、イメージセンサー48の各画素から画像信号を得て、イメージセンサー48を用いて観察対象を撮影して得る複数色の撮影画像を取得する。具体的には、画像取得部54は、撮影フレーム毎に、B画像、G画像、およびR画像の組を取得する。また、画像取得部54は、DSP56と、ノイズ低減部58と、変換部59とを有し、これらを用いて、取得した撮影画像に各種処理を施す。イメージセンサー48の各画素から、センサー信号として得られた、例えば、R信号、G信号およびB信号が補正量算出部60および制御部69に出力される。
【0033】
DSP56は、取得した撮影画像に対し、必要に応じて欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、デモザイク処理、およびYC変換処理等の各種処理を施す。また、DSP56では、画像信号として入力されたイメージセンサー48のセンサー信号から輝度値を得る。なお、輝度値として、例えば、G信号を用いてもよい。
【0034】
欠陥補正処理は、イメージセンサー48の欠陥画素に対応する画素の画素値を補正する処理である。
オフセット処理は、欠陥補正処理を施した画像から暗電流成分を低減し、正確な零レベルを設定する処理である。
ゲイン補正処理は、オフセット処理をした画像にゲインを乗じることにより各画像の信号レベルを整える処理である。
リニアマトリクス処理は、オフセット処理をした画像の色再現性を高める処理であり、ガンマ変換処理は、リニアマトリクス処理後の画像の明るさまたは彩度を整える処理である。
デモザイク処理(等方化処理または同時化処理とも言う)は、欠落した画素の画素値を補間する処理であり、ガンマ変換処理後の画像に対して施す。欠落した画素とは、カラーフィルタの配列のため、イメージセンサー48において他の色の画素を配置しているために、画素値がない画素である。例えば、B画像はB画素において観察対象を撮影して得る画像なので、イメージセンサー48のG画素およびR画素に対応する位置の画素には画素値がない。デモザイク処理は、B画像を補間して、イメージセンサー48のG画素およびR画素の位置にある画素の画素値を生成する。
YC変換処理は、デモザイク処理後の画像を、輝度チャンネルYと色差チャンネルCbおよび色差チャンネルCrに変換する処理である。
【0035】
ノイズ低減部58は、輝度チャンネルY、色差チャンネルCbおよび色差チャンネルCrに対して、例えば、移動平均法またはメディアンフィルタ法等を用いてノイズ低減処理を施す。
変換部59は、ノイズ低減処理後の輝度チャンネルY、色差チャンネルCbおよび色差チャンネルCrを再びBGRの各色の画像に再変換する。
補正量算出部60は、内視鏡画像の色味を維持するための補正するものであり、後述の補正係数を算出したり、補正係数を記憶したりする。
【0036】
画像処理部61は、上述の各種処理を施した1撮影フレーム分のB画像、G画像、およびR画像に対して、色変換処理、色彩強調処理、および構造強調処理を施し、観察画像を生成する。色変換処理は、BGR各色の画像に対して3×3のマトリクス処理、階調変換処理、または3次元LUT(ルックアップテーブル)処理等を行う。色彩強調処理は、画像の色彩を強調する処理であり、構造強調処理は、例えば、血管およびピットパターン等の観察対象の組織または構造を強調する処理である。
【0037】
表示制御部66は、画像処理部61から観察画像を順次取得し、取得した観察画像を表示に適した形式に変換してモニタ18に順次出力表示する。これにより、医師等は観察画像の静止画または動画を用いて観察対象を観察できる。
【0038】
制御部69は、例えば、CPU(Central Processing Unit)を有しており、照明光の出射タイミングと撮影フレームの同期制御等の内視鏡システム10の統括的制御を行う。また、内視鏡システム10が複数の観察モードを有する場合、制御部69は、モード切替スイッチ13bからの操作入力を受けることにより、光源制御部22を介して照明光を切り替える。これにより、観察モードが切り替わる。
【0039】
プロセッサ装置16は、モニタ18およびコンソール19と電気的に接続する。モニタ18は、観察画像と、付帯する画像情報等を必要に応じて出力表示する。コンソール19は、機能設定等の入力操作を受け付けるユーザインタフェースとして機能する。なお、プロセッサ装置16には、画像および画像情報等を記録する外付けの記録部(図示せず)を接続してもよい。
【0040】
以下、より詳細に光源装置14の構成および作用を説明する。
図5は本発明の第1の実施形態の内視鏡システムの光源部の一例を示す模式図である。
図5に示すように、光源装置14の光源部20は、第1の光源71と、第2の光源72と、追加光源74を有する。第1の光源71、第2の光源72、および追加光源74は各々独立に制御可能である。また、光源部20には、第1の光源71、第2の光源72、および追加光源74の各光源の発光素子を冷却する、ヒートシンク等の冷却部材を備える。
光源装置14では、光源部20から出射された光はライトガイド41を通過して照明光Lsとして対象物Obに照射される。対象物Obに照射された照明光Lsの反射光Lrが対物レンズ46を介してイメージセンサー48に入射される。
【0041】
第1の光源71が出射した第1の光は、第1の光を通過する合波部材77およびレンズ78を介してライトガイド41に入射する。
第1の光源71と合波部材77との間にビームスプリッタ94が設けられている。ビームスプリッタ94により第1の光源71が出射した第1の光の一部を所定割合で反射する。ビームスプリッタ94が反射した反射した光は、光検出器91で受光される。光源制御部22は、光検出器91が検出した光量を用いて第1の光源71の第1の光の発光量を自動的に正確に制御する。
【0042】
第2の光源72が出射した第2の光は、第2の光を透過する合波部材76および合波部材77、およびレンズ78を介してライトガイド41に入射する。
第2の光源72と合波部材76との間にビームスプリッタ95が設けられている。ビームスプリッタ95により第2の光源72が出射した第2の光の一部を所定割合で反射する。ビームスプリッタ95が反射した反射した光は、光検出器92で受光される。光源制御部22は、光検出器92が検出した光量を用いて第2の光源72の第2の光の発光量を自動的に正確に制御する。
【0043】
追加光源74が出射した光は、追加光源74が出射した光を透過する合波部材76および合波部材77、およびレンズ78を介してライトガイド41に入射する。
追加光源74と合波部材76との間にビームスプリッタ96が設けられている。ビームスプリッタ96により追加光源74が出射した光の一部を所定割合で反射する。ビームスプリッタ96が反射した反射した光は、光検出器93で受光される。光源制御部22は、光検出器93が検出した光量を用いて追加光源74の光の発光量を自動的に正確に制御する。
【0044】
合波部材76および合波部材77は、例えば、ダイクロイックミラーまたはダイクロイックプリズム等である。レンズ78は、ライトガイド41に光源部20からの光を絞って入射させるためのものである。
光検出器91、92、93は、例えば、光電効果を利用した光電子増倍管、光照射による電気抵抗変化を利用したCdS、PbS等の光電導素子、または半導体のpn接合を利用した光起電力型のフォトダイオード等である。
【0045】
第1の光源71は、互いに波長の異なる2つの色成分を含む光を出射する第1の光を出射する発光素子81と、発光素子81が出射した第1の光を平行光等に整えるレンズ82とを備える。発光素子81は、例えば、互いに波長の異なる2つの色成分のうち、第1色成分と第2色成分とを含む発光スペクトルを備えるLED(発光ダイオード)またはLD等の半導体素子である。
第1の光源71は、例えば、第1色成分が緑、第2色成分が赤の、互いに波長の異なる2つの色成分を含む緑色成分からなる光(以下、緑色光という)を出射するものである。1つの色の光を、2つの色の光として利用している。緑色光のことを、緑色を示す光ともいう。
【0046】
第2の光源72は、上述の互いに波長の異なる2つの色成分以外の色の光として第2の光を出射する発光素子83と、発光素子83が出射した第2の光を平行光等に整えるレンズ84とを備える。発光素子83は、例えば、LEDまたはLD等の半導体素子である。
第1の光源71において、互いに波長の異なる2つの色成分のうち、例えば、第1色成分が緑であり、第2色成分が赤である場合、第2の光源72は、青色成分からなる光(以下、青色光という)を出射するものである。青色光のことを、青色を示す光ともいう。
第1の光源71は、第1色成分が青であり、第2色成分が緑の青色光でもよい。この場合、第2の光源72は赤色成分からなる光(以下、赤色光という)を出射するものが用いられる。赤色光のことを、赤色を示す光ともいう。
【0047】
互いに波長の異なる2つの色成分とは、色成分として分離できるものが、2つあることをいう。ここで、上述のように青色光は約440nm以上約490nm未満の波長を有する光のことである。緑色光は約490nm以上約600nm未満の波長を有する光のことである。赤色光は約600nm以上約680nm未満の波長を有する光のことである。例えば、波長域が490nm〜700nmの光であれば、上述の緑色光と赤色光を含む。また、波長域が440nm〜600nmであれば、上述の青色光と緑色光を含む。
また、主波長の異なる2以上の光源において、主波長が異なるとは、各光源が出射する光のピーク波長、ピーク波長がなければ中心波長が同一波長ではないことをいう。ピーク波長または中心波長の同一の範囲は、内視鏡システム10の仕様等に応じて適宜決定されるものである。
【0048】
追加光源74は、例えば、紫色成分からなる光(以下、紫色光という)を出射する。追加光源74は、発光素子86と、発光素子86が出射した紫色光を平行光等に整えるレンズ87とを備える。発光素子86は、例えば、LEDまたはLD等の半導体素子である。追加光源74が出射した紫色光は、紫色光を反射する合波部材76および紫色光を透過する合波部材77を介してライトガイド41に入射する。紫色光の紫色成分はイメージセンサー48においてはB画素で受光する。このため、紫色光の反射光は青色光の反射光等とともにB画像に寄与する。
【0049】
通常観察モード時には、光源制御部22は、第1の光源71と第2の光源72とを点灯させ、追加光源74は非点灯とする。一方、血管強調観察モード時には、光源制御部22は、第1の光源71と、第2の光源72と、追加光源74とを全て点灯させる。
第1の光源71が、第1色成分が緑、第2色成分が赤の緑色光を出射し、第2の光源72が青色光を出射する場合、通常観察モード時には、第1の光源71が出射した緑色光と赤色光を含む光と、第2の光源72が出射した青色光とを合波して、広帯域の白色光を生成する。一方、血管強調観察モード時には、白色光に、血中ヘモグロビンに対する吸光度が高い紫色光を混合した混合光を生成する。なお、光源制御部22は、血管強調観察モード時では青色光より紫色光のほうが支配的となるように、青色光の光量の割合を下げる。
【0050】
上述の構成の光源装置14は、光源装置14の光源部20から出射される光、すなわち、内視鏡12のライトガイド41を通過して、内視鏡の先端部12dから出射される照明光Ls(
図5参照)は、例えば、
図6に示す発光スペクトルLEを有する。
ここで、
図6は本発明の第1の実施形態の内視鏡システムの光源部の発光スペクトルおよびイメージセンサーの分光感度の一例を示すグラフであり、
図7は本発明の第1の実施形態の内視鏡システムの光源部の発光スペクトルの光量変化による波長シフトを示すグラフである。
図7は
図6の発光スペクトルLEのうち、波長450nm〜700nmの色成分として緑の色成分Gcと赤の色成分Rcとを含む範囲を拡大して示すグラフである。
なお、
図6に示す発光スペクトルLEにおいて、符号Vは紫色光を示し、符号Bは青色光を示し、符号Bは緑色光を示し、符号Rは赤色光を示す。また、
図6に示す発光スペクトルLEにおいて、実線で示すものは相対的に光量が低いものであり、破線で示すものは相対的に光量が高いものである。
【0051】
図6に示す発光スペクトルLEでは、波長400nm付近にピーク波長を有し、波長450nm付近にピーク波長を有する。波長400nm付近のピーク波長は追加光源74により出射された紫色光によるものであり、波長450nm付近のピーク波長は第2の光源72により出射された青色光によるものである。
波長470nm〜700nmの光は、第1の光源71により出射された緑色光によるものであり、色成分として緑と赤とを含む。
【0052】
図6に示す発光スペクトルLEは、ほぼ白色の光を示す。内視鏡システム10では、青色光、緑色光および赤色光を含む発光スペクトルLEを有する照明光Lsの反射光Lrを、
図6に示す分光感度特性を有するイメージセンサー48を用いて観察対象を撮影する。
図6に示す符号Bfは青色を示す光に対する分光感度を示す。符号Gfは緑色を示す光に対する分光感度を示す。符号Rfは赤色を示す光に対する分光感度を示す。分光感度Bfと分光感度Gfとは重なる波長の範囲があり、分光感度Gfと分光感度Rfとは重なる波長の範囲がある。分光感度については、これらに限定されるものではない。
【0053】
イメージセンサー48は、上述のように第1の素子部48a、第2の素子部48bおよび第3の素子部48cを有する。例えば、第1の素子部48aは緑色を示す光に対する分光感度Gfを有する。第2の素子部48bは赤色を示す光に対する分光感度Rfを有する。第3の素子部48cは青色を示す光に対する分光感度Bfを有する。
また、第1の光源71は、第1の素子部48aの分光感度のピーク波長と第2の素子部48bの分光感度のピーク波長との間に発光ピークがある発光ダイオードを有する構成でもよい。この場合、第1の素子部48aが分光感度Gfであり、第2の素子部48bが分光感度Rfであれば、波長550〜600nmに発光ピークがある発光ダイオードが用いられる。第1の素子部48aが分光感度Bfであり、第2の素子部48bが分光感度Gfであれば、波長450〜550nmに発光ピークがある発光ダイオードが用いられる。
【0054】
ここで、光量が変化すると、
図6および
図7に示すように発光スペクトルLEが波長シフトする。
図6に示す発光スペクトルLEでは、1つの第1の光源71から緑と赤の色成分を含む緑色光を出射しているため、光量変化による発光スペクトルLEの波長シフトにより、
図7に示すように緑の色成分Gcと赤の色成分Rcとの光量比が変化した場合、緑の色成分Gcと赤の色成分Rcとの光量比が一定ではなくなる。その結果、イメージセンサー48において、
図8に示すように光量変化によって、特に赤色光の信号値と緑色光の信号値との信号比D
1が一定ではなく、ずれてしまうことがある。
このことにより、光量変化によって。イメージセンサー48を介して得られる観察対象の内視鏡画像の色味がずれる。すなわち、内視鏡画像のホワイトバランスが崩れる。光量変化により生じる色味のずれを抑制し、光量によらず色味を一定にするために、以下のような処理をプロセッサ装置16で実施する。
なお、緑色光と青色光とについては発光スペクトルの波長シフトが生じていないか、または波長シフトが小さく、
図8に示すように青色光の信号値と緑色光の信号値との信号比D
2が光量によらず一定である。
【0055】
光源部20の少なくとも1つの第1の光源71から出射された光を用いて観察対象を撮像し、プロセッサ装置16では、イメージセンサー48の第1の素子部48aで得られた第1色成分の第1の信号値と、第2の素子部48bで得られた第2色成分の第2の信号値を得る。プロセッサ装置16は、第1の信号値と第2の信号値との信号比を求め、第1の信号値および第2の信号値のうち、少なくとも1つの信号値を変えることによって、信号比を予め定められた設定値に設定する。
【0056】
イメージセンサー48では、第1の素子部48aで第1色成分の第1の信号値が得られ、第2の素子部48bで第2色成分の第2の信号値が得られ、第3の素子部48cで2つの色成分以外の色の光の第3の信号値が得られる。
そして、第1の信号値と第2の信号値とを、DSP56から補正量算出部60に出力する。補正量算出部60にて、第1の信号値と第2の信号値との信号比を求め、第1の信号値および第2の信号値のうち、少なくとも1つの信号値を変えることによって、信号比を予め定められた設定値に設定する。
また、光量に応じて、第1の信号値、第2の信号値および第3の信号値のうち、少なくとも1つの信号値を変えることによって、信号比を予め定められた設定値に設定するようにしてもよい。この場合、光量に応じて変える第1の信号値、第2の信号値または第3の信号値を決定し、かつ変える値を補正係数として求め、補正係数を補正量算出部60に記憶させる。
【0057】
補正量算出部60において、例えば、信号比を予め設定された設定値を1として、
図8に示すように赤色光の信号値と緑色光の信号値との信号比D
1に対して、上述の信号比が1になる赤色光の信号値の補正係数、または緑色光の信号値の補正係数を求め、補正係数を補正量算出部60に記憶させる。そして、画像処理部61では、補正量算出部60から補正係数を呼び出し、補正係数を用いて1撮影フレーム分のG画像またはR画像に補正処理を施す。この場合、赤色光の信号値または緑色光の信号値を変えることにより、上述のように、信号比を予め設定された設定値、例えば、信号比を1にすることができる。
【0058】
また、第1の信号値および第2の信号値のうち少なくとも1つを用いて輝度値を算出し、輝度値に基づき、第1の光源71の光量を特定する。そして、第1の信号値および第2の信号値のうち、少なくとも1つの信号値を、光量に応じて変えることによって、信号比を予め定められた設定値に設定してもよい。この場合、補正量算出部60において、光量に応じて変える第1の信号値、または第2の信号値を決定し、かつ変える値を補正係数として求め、補正係数を補正量算出部60に記憶させる。
【0059】
また、第1の信号値、第2の信号値および第3の信号値のうち、少なくとも1つを用いて輝度値を算出し、輝度値に基づき、第1の光源71の光量を特定する。そして、第1の信号値、第2の信号値および第3の信号値のうち、1つの信号値を基準値として、光量に応じて、第1の信号値、第2の信号値および第3の信号値のうち、少なくとも1つの信号値を変えることによって、信号比を予め定められた設定値に設定してもよい。このような設定値に設定することをホワイトバランス処理ともいう。
この場合、補正量算出部60において、基準値となる第1の信号値、第2の信号値または第3の信号値を決定し、光量に応じて変える第1の信号値、第2の信号値または第3の信号値を決定し、かつ変える値を補正係数として求め、補正係数を補正量算出部60に記憶させる。
なお、上述では1つの信号値を基準値としたが、これに限定されるものではない。基準値を設定することなく、光量に応じて、第1の信号値、第2の信号値および第3の信号値のうち、少なくとも1つの信号値を変えることによって、信号比を予め定められた設定値に設定してもよい。
【0060】
ホワイトバランス処理により、内視鏡画像の色味を光量によらず一定にすることができる。以下、ホワイトバランス処理について説明する。この場合、イメージセンサー48により、内視鏡画像のB信号、G信号およびR信号が得られることを例にして説明する。また、G信号をホワイトバランス処理の基準にする。
【0061】
まず、内視鏡システムの製造時に、基準光量点P
0にて、実際に白色板撮影を行い、基準光量点P
0における信号比、B(P
0)/G(P
0)、R(P
0)/G(P
0)を求める。この場合、信号比は実測値である。
基準光量点P
0におけるホワイトバランスゲインは、G(P
0)/B(P
0)、G(P
0)/R(P
0)と、基準光量点P
0における信号比の逆数となる。
【0062】
さらに、内視鏡システムの製造時に、光量変化によるスコープ出射の発光スペクトルの波長シフトによる信号比の変動率Δ(B/G)(P)、Δ(R/G)(P)を求める。
下記式で表される信号比の変動率Δ(B/G)(P)、Δ(R/G)(P)を求める方法は以下のとおりである。
まず、任意の光量Pにおいて、直接白色板を用いて、実測した信号比を用いてもよいし、光源部20から出射された照明光Lsの発光スペクトルの波長シフトまでは分光測定器で実測しておき、既知のイメージセンサーの分光感度を用いて計算した信号比を用いてもよい。なお、センサー信号は、イメージセンサーの分光感度と、発光スペクトルとの積分により求めることができる。
【0064】
ただし、Δ(B/G)(P
0)=1であり、Δ(R/G)(P
0)=1である。
任意の光量Pにおける信号比は、以下のようになる。
【0066】
下記式に示すように、上述の任意の光量Pにおける信号比の逆数が光量依存のホワイトバランスゲインとなる。
【0068】
ここで、上述の式のG(P
0)/B(P
0)、G(P
0)/R(P
0)の部分は基準光量点P
0のホワイトバランスゲインであることから、センサー信号の信号比変動率の逆数Iv、すなわち、Iv=1/(Δ(B/G)(P))、Iv=1/(Δ(R/G)(P))が光量依存ゲイン補正係数となる。
【0069】
内視鏡システムの実際の使用時には、基準光量点P
0のホワイトバランスゲイン、および光量依存ゲイン補正係数を、内視鏡システム10の補正量算出部60に記憶させておく。観察対象を撮影して得られたB信号およびR信号に光量依存ゲイン補正係数を掛けることにより、ホワイトバランス処理が実行される。
白色板撮影時には、任意の光量Pにおける全ての信号がG(P)に調整されることになる。
【0071】
光量によらずに、内視鏡画像の色味を一定にするためのホワイトバランス処理の具体例について説明する。この場合、イメージセンサー48により、内視鏡画像のB信号、G信号およびR信号が得られることを例にして説明する。
図9は本発明の第1の実施形態の内視鏡システムの光源部の発光スペクトルの光量変化による波長シフトおよびイメージセンサーの分光感度の一例を示すグラフであり、
図10は本発明の第1の実施形態の内視鏡システムの信号補正係数の一例を示すグラフである。
【0072】
まず、白色板に対して、光源部20から照明光Lsを、光量1、光量0.5および光量0.01の各光量で照射した時の信号値が、下記表1の通りになっているものとする。ただし、現時点では、ホワイトバランス処理する調整作業者にとってこの信号値は不明の状態である。
【0074】
ホワイトバランス処理を行うためには、調整作業者は、表1の光量0.5を基準光量点として、白色板でその信号値のみを実測すればよい。光量1、および光量0.01の信号値は、調整作業者にとって不明のままである。次に、表1の光量0.5の各信号から信号比を計算し、その逆数をとって下記表2に示すゲインを求める。当然、この段階では光量1、および光量0.01のゲインは不明である。
【0076】
次に、
図9に示す発光スペクトルLEを実測する。また、
図9に示すイメージセンサー48の分光感度を用いて、各光量における信号比を求める。下記表3の「B/G」はB信号とG信号との信号比を示し、「R/G」はR信号とG信号との信号比を示す。調整作業者にとって光量1、および光量0.01の信号値は不明であるが、本測定によって光量1、および光量0.01の信号比は明らかとなる。白色板を用いた測定よりも、発光スペクトルの測定の方が、照明光のみを用いた(撮像を含まない)簡便な方法であり、光量1、および光量0.01については後者のみを実施すればよい。
【0078】
次に、信号比変動率Δ(B/G)、Δ(R/G)を計算により求める。信号比変動率は、例えば、光量0.5の基準光量点P
0で規格化する。
【0080】
次に、光量依存ゲイン補正係数1/(Δ(B/G))、1/(Δ(R/G))を計算により求める。光量依存ゲイン補正係数は、信号比変動率の逆数Ivである。これにより、例えば、
図10に示すように光量依存ゲイン補正係数を求めることができる。
図10の符号G
1が光量依存ゲイン補正係数1/(Δ(B/G))を示し、符号G
2が光量依存ゲイン補正係数1/(Δ(R/G))を示す。
【0082】
次に、光量依存ホワイトバランスゲインを計算により求める。光量依存ホワイトバランスゲインは、上述の光量依存ゲイン補正係数と基準光量点におけるゲインとの積の値である。
【0084】
実際の内視鏡システムの使用時には、調整で取得した表6の光量依存ホワイトバランスゲインと、内視鏡システムが実使用時に取得することになる表1の各光量におけるセンサー信号とを掛けることにより、イメージセンサー48で得られたB信号、G信号およびR信号について、ホワイトバランスを取ることができる。調整作業者にとって、表1と表7の光量1、および光量0.01の信号値は明らかとはなっていなかったが、実際の内視鏡システムの使用時には、確かに信号値のホワイトバランスが取られることになる。これにより、内視鏡画像に対してホワイトバランス処理を実施することができ、光量によらず色味が一定の内視鏡画像を得ることができ、より正確な診断が可能となる。
【0086】
上述の
図6に示すように分光感度Bfと分光感度Gfとは重なる波長の範囲があり、分光感度Gfと分光感度Rfとは重なる波長の範囲があるが、イメージセンサー48の分光感度の波長の範囲が狭く、重なる波長の範囲が狭い程、混色のない純度が高い内視鏡画像を得ることができる。重なる波長の範囲が狭いと、発光スペクトルの波長シフトにより、上述の信号比がずれやすくなり、色味の変化が生じやすくなる。しかしながら、重なる波長の範囲が狭くても、上述のホワイトバランス処理により内視鏡画像を、光量によらず色味が一定にすることができる。このようにイメージセンサー48の分光感度の波長の範囲が狭い場合でも上述のホワイトバランス処理は有効である。
【0087】
なお、光源部20の構成は上述の
図5に示す構成に限定されるものではない。
図11は本発明の第1の実施形態の内視鏡システムの光源部の一例の変形例を示す模式図である。
図11に示す光源部20は、
図5に示す光源部20に比して第1の光源71の構成が異なり、それ以外の構成は、
図5に示す光源部20と同じであるため、その詳細な説明は省略する。
図11に示す第1の光源71は、励起光を発光する発光素子81aと、発光素子81aが発光した励起光が入射することによって、互いに波長の異なる2つの色成分を含む光を発光する蛍光体81bとを有する。
第1の光源71においては、例えば、発光素子81aが発光する励起光は、約445nmにピークを有する青色光であり、蛍光体81bが発光する光が緑色成分の他に赤色成分を含む広帯域な緑色光である。これ以外にも、発光素子81aが発光する励起光の波長と、蛍光体81bとを変えて、第1の光源71は青色成分の他に緑色成分を含む広帯域な青色光を発光するものでもよい。
【0088】
[第2の実施形態]
次に、第2の実施形態について説明する。
図12は本発明の第2の実施形態の内視鏡システムの光源部の一例を示す模式図である。
第2の実施形態は、光源部の構成が異なるものである。
図12に示す光源部20は、
図5に示す光源部20に比して、光源の構成が異なる以外の構成は、
図5に示す光源部20と同じであるため、その詳細な説明は省略する。
【0089】
図12に示す光源部20は第3の光源75を有する。
図5に示す光源部20では第1の光源71から互いに波長の異なる2つの色成分を含む光を出射させていたが、
図12に示す光源部20では、第1の光源71から第1色成分の光を出射させ、第3の光源75から、第3の光として、第2色成分の光を出射させる。
第1の光源71と合波部材77との間に、合波部材79が設けられている。合波部材79は、第1の光源71が出射した光を透過する。合波部材79は、第1の光源71で出射した第1色成分の光と、第3の光源75で出射した第2色成分の光とを合波し、かつ合波部材77に案内するものである。
第1の光源71、第2の光源72、第3の光源75および追加光源74は各々独立に制御可能である。
【0090】
第3の光源75は、第3の光として、第2色成分の光を出射する発光素子88と、発光素子88が出射した光を平行光等に整えるレンズ89とを備える。発光素子88は、例えば、LEDまたはLD等の半導体素子である。第3の光源75が出射した第3の光を透過する合波部材79および合波部材77を介してライトガイド41に入射する。
第3の光源75と合波部材79との間にビームスプリッタ98が設けられている。ビームスプリッタ98により第3の光源75が出射した第3の光の一部を所定割合で反射する。ビームスプリッタ98が反射した反射した光は、光検出器97で受光される。光源制御部22は、光検出器97が検出した光量を用いて第3の光源75の第3の光の発光量を自動的に正確に制御する。
合波部材79は、合波部材76および合波部材77と同じ構成のものであり、例えば、ダイクロイックミラーまたはダイクロイックプリズム等である。
光検出器97は、上述の光検出器91、92、93と同じ構成である。
【0091】
第1の光源71の発光素子81cは、例えば、第1色成分の光として、緑色光を出射する。第3の光源75の発光素子88は、例えば、第2色成分の光として、赤色光を出射する。
また、第1の光源71の発光素子81cは、例えば、第1色成分の光として、青色光を出射し、第3の光源75の発光素子88は、例えば、第2色成分の光として、緑色光を出射し、第2の光源72は、赤色光を出射する構成としてもよい。
【0092】
図13は本発明の第2の実施形態の内視鏡システムの光源部の発光スペクトルおよびイメージセンサーの分光感度の一例を示すグラフであり、
図14は本発明の第2の実施形態の内視鏡システムのイメージセンサーにおける信号比の変動の一例を示すグラフである。
図13に示す発光スペクトルLEにおいて、実線で示すものは相対的に光量が低いものであり。破線で示すものは相対的に光量が高いものである。
図13に示す発光スペクトルLEおよびイメージセンサー48の分光感度において、
図6に示す発光スペクトルLEおよびイメージセンサー48の分光感度と同一構成には同一符号を付して、その詳細な説明を省略する。
【0093】
図13に示すイメージセンサー48の分光感度は、
図6に示すイメージセンサー48の分光感度と同じである。
図13に示す発光スペクトルLEは、
図6に示す発光スペクトルLEに比して、波長630nm付近にピーク波長を有する点、および波長500〜600nmの光がある点が異なり、それ以外は
図6に示す発光スペクトルLEと同じである。
波長630nm付近にピーク波長は第3の光源75により出射された赤色光によるものである。波長500〜600nmの光は第1の光源71により出射された緑色光によるものである。
【0094】
図13に示す光源部20でも、発光スペクトルLEの波長シフトがある。このため、
図14に示すように特に赤色光の信号値と緑色光の信号値との信号比D
1が一定ではなく、ずれが生じる。なお、青色光の信号値と緑色光の信号値との信号比D
2が光量によらず一定である。
このような場合でも、上述のように、補正係数を求めることにより、信号比を予め定められた設定値に設定することができ、光量によらず、内視鏡画像の色味を一定にすることができる。このように、発光スペクトルLEの波長シフトが生じる場合には、光源部20の構成に制限されることなく内視鏡画像の色味を一定にすることができる。
【0095】
本発明は、基本的に以上のように構成されるものである。以上、本発明の内視鏡システムについて詳細に説明したが、本発明は上述の実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良または変更をしてもよいのはもちろんである。