(58)【調査した分野】(Int.Cl.,DB名)
前記演算装置は、前記複数の第1の画素で生成された前記第1の画素信号に基づく画像において前記血液量が前記第1の閾値よりも小さく、かつ第2の閾値以上である領域のみが強調表示されるように前記第1の画素信号を処理し、前記第2の閾値は前記第1の閾値よりも小さい
請求項6に記載の内視鏡システム。
前記演算装置は、前記複数の第1の画素で生成された前記第1の画素信号に基づく画像において前記酸素飽和度が所定の閾値よりも小さい領域が強調表示されるように前記第1の画素信号を処理する
請求項1に記載の内視鏡システム。
【背景技術】
【0002】
可視光を用いた通常観察に加えて、生体機能情報の取得が可能な内視鏡システムが注目されている。例えば、生体機能情報として血液内のヘモグロビンの酸素飽和度を検出できる内視鏡システムが特許文献1に開示されている。特許文献1に開示された内視鏡システムにおいて、可視光と酸素飽和度測定のための光とが観察対象に順次照射される。可視光と酸素飽和度測定のための光との各々の反射光がイメージセンサにより撮像され、かつ画素信号が生成される。画素信号に基づいて、観察領域における酸素飽和度が算出される。
【0003】
図14は、特許文献1に開示された構成と同様の内視鏡システム1001のハードウェア構成を示している。
図14に示すように、内視鏡システム1001は、光源部1010と、内視鏡スコープ部1020と、演算装置1030と、モニタ1040とを有する。
【0004】
光源部1010は、第1の光源1100と、第2の光源1101と、光源制御部1102とを有する。第1の光源1100は、可視光を発生する。第2の光源1101は、酸素飽和度測定のための光を発生する。光源制御部1102は、第1の光源1100および第2の光源1101が順次点灯するように第1の光源1100および第2の光源1101を制御する。
【0005】
図15は、第2の光源1101が発生する光の波長特性を示している。
図15において、グラフの横軸は光の波長(nm)を示し、かつグラフの縦軸は光量を示している。第2の光源1101が発生する光は、波長が473nmである光を含む。
【0006】
内視鏡スコープ部1020は、ライトガイド1200と、照明レンズ1201と、対物レンズ1202と、イメージャ1203とを有する。光源部1010からの光は、ライトガイド1200に入射する。ライトガイド1200は、光源部1010からの光を内視鏡スコープ部1020の先端部に伝送する。ライトガイド1200によって伝送された光は、照明レンズ1201により被写体1050に照射される。可視光観察において、第1の光源1100からの可視光が被写体1050に照射される。酸素飽和度測定において、第2の光源1101からの光が被写体1050に照射される。
【0007】
内視鏡スコープ部1020の先端部において、照明レンズ1201に隣接して対物レンズ1202が設けられている。被写体1050によって反射された光が対物レンズ1202に入射する。対物レンズ1202は、被写体1050からの光を結像する。対物レンズ1202の結像位置にイメージャ1203が配置されている。対物レンズ1202を通過した光は、イメージャ1203に入射する。イメージャ1203は、イメージャ1203に入射した光を撮像することにより、画素信号を生成する。イメージャ1203によって生成された画素信号は演算装置1030に出力される。
【0008】
図16は、イメージャ1203の画素配列を示している。イメージャ1203は、行列状に配置された複数の画素1203Pを有する。画素1203Pは、画素1203Pに入射した光に基づく画素信号を生成する。各画素の表面にカラーフィルタが配置される。複数の画素1203Pは、R画素Pr2と、G画素Pg2と、B画素Pb2とを含む。
図16において、“R”と記載された画素1203PがR画素Pr2である。
図16において、“G”と記載された画素1203PがG画素Pg2である。
図16において、“B”と記載された画素1203PがB画素Pb2である。
【0009】
R画素Pr2は、赤に対応する。赤色光を透過させる赤フィルタがR画素Pr2の表面に配置される。R画素Pr2は、赤色光に基づく画素信号を生成する。以下の説明において、R画素Pr2によって生成される画素信号をR信号と呼ぶ。G画素Pg2は、緑に対応する。緑色光を透過させる緑フィルタがG画素Pg2の表面に配置される。G画素Pg2は、緑色光に基づく画素信号を生成する。以下の説明において、G画素Pg2によって生成される画素信号をG信号と呼ぶ。B画素Pb2は、青に対応する。青色光を透過させる青フィルタがB画素Pb2の表面に配置される。B画素Pb2は、青色光に基づく画素信号を生成する。以下の説明において、B画素Pb2によって生成される画素信号をB信号と呼ぶ。
図16に示す画素配列は、ベイヤー配列である。ベイヤー配列において、基本配列が行方向かつ列方向に規則的かつ周期的に配置される。基本配列は、1個のR画素Pr2と2個のG画素Pg2と1個のB画素Pb2とを含む。
【0010】
演算装置1030は、可視光観察時にイメージャ1203によって生成された画素信号に基づいて可視光画像信号を生成する。演算装置1030は、酸素飽和度測定時にイメージャ1203によって生成された画素信号に基づいて酸素飽和度を算出し、かつ酸素飽和度画像信号を生成する。演算装置1030によって生成された可視光画像信号および酸素飽和度画像信号はモニタ1040に出力される。モニタ1040は、可視光画像信号に基づく可視光画像と、酸素飽和度画像信号に基づく酸素飽和度画像とを表示する。例えば、モニタ1040は、可視光画像と酸素飽和度画像とを並べて表示する。あるいは、モニタ1040は、可視光画像と酸素飽和度画像とを重ねて表示する。モニタ1040が、観察領域における酸素飽和度の分布を画像としてリアルタイムに表示することにより、医師は、低酸素状態である癌領域を発見することができる。
【0011】
図17は、酸化ヘモグロビンおよび還元ヘモグロビンの吸光係数を示している。
図17において、グラフの横軸は光の波長(nm)を示し、かつグラフの縦軸は吸光係数を示している。線L10は酸化ヘモグロビンの吸光係数を示し、かつ線L11は還元ヘモグロビンの吸光係数を示している。
図15に示すように、第2の光源1101からの光の波長分布は、473nmの波長においてピークを有する。
図17に示すように、473nmの波長において酸化ヘモグロビンおよび還元ヘモグロビンの吸光係数の差が大きい。吸光係数の差が大きい波長の光に基づく画素信号から酸素飽和度の情報が取得されやすい。
【発明を実施するための形態】
【0027】
図面を参照し、本発明の実施形態を説明する。
【0028】
(第1の実施形態)
図1は、本発明の第1の実施形態の内視鏡システム1のハードウェア構成を示している。
図1に示すように、内視鏡システム1は、光源部10と、内視鏡スコープ部20と、演算装置30と、モニタ40とを有する。
【0029】
光源部10は、光源100と、光学フィルタ101とを有する。光源100は、可視光を含む照明光を発生する。可視光の波長帯域は、赤波長帯域と、緑波長帯域と、青波長帯域とを含む。赤波長帯域は、緑波長帯域よりも波長が長い帯域である。緑波長帯域は、青波長帯域よりも波長が長い帯域である。光源100が発生する照明光は、可視光よりも波長が長い光すなわち赤外光を含んでもよい。
【0030】
光学フィルタ101は、光源100の照明光路中に設けられている。
図2は、光学フィルタ101の透過特性を示している。
図2において、グラフの横軸は波長を示し、かつグラフの縦軸は透過率を示している。
図2に示すように、光学フィルタ101は、波長が400nmから700nmである波長帯域の光のみを透過させる。つまり、光学フィルタ101は、光源100からの光のうち可視光のみを透過させる。
【0031】
内視鏡スコープ部20は、ライトガイド200と、照明レンズ201と、対物レンズ202と、イメージャ203(イメージセンサ)とを有する。光源100からの光は、光学フィルタ101を介して、ライトガイド200に入射する。ライトガイド200は、光源100からの光を内視鏡スコープ部20の先端部に伝送する。ライトガイド200によって伝送された光は、照明レンズ201により被写体50に照射される。光学フィルタ101の透過特性により、波長が400nmから700nmである波長帯域の光が被写体50に照射される。
【0032】
内視鏡スコープ部20の先端部において、照明レンズ201に隣接して対物レンズ202が設けられている。被写体50によって反射された光が対物レンズ202に入射する。対物レンズ202は、被写体50からの光を結像する。対物レンズ202の結像位置にイメージャ203が配置されている。対物レンズ202を通過した光は、イメージャ203に入射する。光学フィルタ101の透過特性により、波長が400nmから700nmである波長帯域の光がイメージャ203に入射する。イメージャ203は、イメージャ203に入射した光を撮像することにより、画素信号を生成する。イメージャ203によって生成された画素信号は演算装置30に出力される。
【0033】
演算装置30は、可視光画像生成部300と、酸素飽和度画像生成部301と、メモリ302とを有する。例えば、演算装置30は、1つまたは複数のプロセッサを含む。例えば、プロセッサは、CPU(Central Processing Unit)、特定用途向け集積回路(ASIC)、およびFPGA(Field−Programmable Gate Array)等の少なくとも1つを含む。例えば、可視光画像生成部300および酸素飽和度画像生成部301は、それぞれ異なるプロセッサで構成される。可視光画像生成部300および酸素飽和度画像生成部301は、同一のプロセッサで構成されてもよい。
【0034】
可視光画像生成部300は、イメージャ203によって生成された画素信号に基づいて可視光画像信号を生成する。可視光画像信号は、可視光画像を表示するための信号である。酸素飽和度画像生成部301は、イメージャ203によって生成された画素信号に基づいて酸素飽和度を算出し、かつ酸素飽和度画像信号を生成する。酸素飽和度画像信号は、酸素飽和度画像を表示するための信号である。酸素飽和度画像は、酸素飽和度の情報が重畳されたカラー画像である。演算装置30によって生成された可視光画像信号および酸素飽和度画像信号はモニタ40に出力される。メモリ302は、酸素飽和度の算出に必要な情報を記憶する。
【0035】
モニタ40は、可視光画像信号に基づく可視光画像と、酸素飽和度画像信号に基づく酸素飽和度画像とを表示する。例えば、モニタ40は、可視光画像と酸素飽和度画像とを並べて表示する。あるいは、モニタ40は、可視光画像と酸素飽和度画像とを重ねて表示する。モニタ40が、観察領域における酸素飽和度の分布を画像としてリアルタイムに表示することにより、医師は、低酸素状態である癌領域を発見することができる。
【0036】
図3は、イメージャ203の構成を示している。
図3において、イメージャ203の断面が示されている。
図3に示すように、イメージャ203は、第1の基板2030と、第2の基板2031と、カラーフィルタ2032と、光学フィルタ2033(層間フィルタ)とを有する。これらは、第1の基板2030の厚さ方向に積層されている。
【0037】
第1の基板2030および第2の基板2031は、半導体基板である。例えば、第1の基板2030および第2の基板2031は、シリコン(Si)で構成されている。第1の基板2030は、面2030aと面2030bとを有する。面2030aおよび面2030bは、第1の基板2030の主面である。主面は、基板の表面を構成する複数の面のうち相対的に広い面である。面2030aおよび面2030bは、互いに反対方向を向く。第2の基板2031は、面2031aと面2031bとを有する。面2031aおよび面2031bは、第2の基板2031の主面である。面2031aおよび面2031bは、互いに反対方向を向く。第1の基板2030の面2030bおよび第2の基板2031の面2031aは、対向する。
図1に示すように、演算装置30は、イメージャ203の外部に配置されている。第1の基板2030および第2の基板2031の少なくとも1つは、演算装置30の少なくとも一部を有してもよい。
【0038】
カラーフィルタ2032は、第1の基板2030の面2030aに積層されている。カラーフィルタ2032は、赤フィルタと、緑フィルタと、青フィルタとを有する。イメージャ203がカラーフィルタ2032を有していなくてもよい。カラーフィルタ2032は、被写体50から第1の基板2030までの光路上のいずれかの位置に配置されていればよい。
【0039】
図4は、カラーフィルタ2032の透過特性を示している。
図4において、グラフの横軸は波長を示し、かつグラフの縦軸は透過率を示している。線Lb1は、青フィルタの透過特性を示している。線Lb1が示すように、青フィルタは、波長が約400nmから約500nmである波長帯域の光と、波長が約700nm以上である波長帯域の光とを透過させる。つまり、青フィルタは、青色光および赤外光を透過させる。線Lg1は、緑フィルタの透過特性を示している。線Lg1が示すように、緑フィルタは、波長が約500nmから約600nmである波長帯域の光と、波長が約700nm以上である波長帯域の光とを透過させる。つまり、緑フィルタは、緑色光および赤外光を透過させる。線Lr1は、赤フィルタの透過特性を示している。線Lr1が示すように、赤フィルタは、波長が約600nm以上である波長帯域の光を透過させる。つまり、赤フィルタは、赤色光および赤外光を透過させる。対物レンズ202を通過した可視光のみがカラーフィルタ2032に入射する。青フィルタは、カラーフィルタ2032に入射した可視光のうち青色光のみを透過させる。緑フィルタは、カラーフィルタ2032に入射した可視光のうち緑色光のみを透過させる。赤フィルタは、カラーフィルタ2032に入射した可視光のうち赤色光のみを透過させる。
【0040】
光学フィルタ2033は、第1の基板2030と第2の基板2031との間に配置されている。
図5は、光学フィルタ2033の透過特性を示している。
図5において、グラフの横軸は波長を示し、かつグラフの縦軸は透過率を示している。
図5に示すように、光学フィルタ2033は、波長が650nmから700nmである波長帯域の光のみを透過させる。つまり、光学フィルタ2033は、赤色光のみを透過させる。
【0041】
第1の基板2030および第2の基板2031は、複数の画素を有する。複数の画素の各々は、光電変換素子(フォトダイオード)と信号読み出し回路とを有する。光電変換素子は、画素に入射した光を信号に変換する。信号読み出し回路は、光電変換素子から信号を読み出し、かつ読み出された信号を画素信号として出力する。第1の基板2030の画素は、第1の画素信号を生成する。第2の基板2031の画素は、第2の画素信号を生成する。第1の画素信号および第2の画素信号は、演算装置30に出力される。
【0042】
カラーフィルタ2032を透過した光は、第1の基板2030の面2030aに入射する。第1の基板2030は、裏面照射型の撮像基板である。例えば、第1の基板2030の厚さは数μmである。つまり、第1の基板2030は薄い。光の波長に応じて、シリコンの光吸収率は異なる。波長が短い光に対するシリコンの光吸収率は高い。波長が長い光に対するシリコンの光吸収率は低い。このため、波長がより短い光は、シリコンにおいて浅い位置で吸収されやすい。波長がより長い光は、シリコンにおいて深い位置で吸収されやすい。例えば、第1の基板2030の厚さが3μmである場合、波長が500nm以上である光の一部は第1の基板2030で吸収されず、かつ第1の基板2030を透過する。つまり、緑波長帯域のうち高波長側の帯域の光と赤色光とは、第1の基板2030を透過する。
【0043】
第1の基板2030を透過した光は、光学フィルタ2033に入射する。波長が500nm以上である光が光学フィルタ2033に入射する。光学フィルタ2033を透過した光の波長は650nmから700nmである。光学フィルタ2033を透過した光は、第2の基板2031の面2031aに入射する。
【0044】
図6は、イメージャ203の画素配列を示している。イメージャ203の第1の基板2030は、行列状に配置された複数の第1の画素2030Pを有する。被写体50からの光のうちカラーフィルタ2032を透過した光が複数の第1の画素2030Pに入射する。第1の画素2030Pは、第1の画素2030Pに入射した光に基づく第1の画素信号を生成する。複数の第1の画素2030Pは、R画素Pr1と、G画素Pg1と、B画素Pb1とを含む。
図6において、“R”と記載された第1の画素2030PがR画素Pr1である。
図6において、“G”と記載された第1の画素2030PがG画素Pg1である。
図6において、“B”と記載された第1の画素2030PがB画素Pb1である。
【0045】
R画素Pr1は、赤に対応する。赤フィルタがR画素Pr1の表面に配置される。R画素Pr1は、赤色光に基づく第1の画素信号を生成する。以下の説明において、R画素Pr1によって生成される第1の画素信号をR信号と呼ぶ。G画素Pg1は、緑に対応する。緑フィルタがG画素Pg1の表面に配置される。G画素Pg1は、緑色光に基づく第1の画素信号を生成する。以下の説明において、G画素Pg1によって生成される第1の画素信号をG信号と呼ぶ。B画素Pb1は、青に対応する。青フィルタがB画素Pb1の表面に配置される。B画素Pb1は、青色光に基づく第1の画素信号を生成する。以下の説明において、B画素Pb1によって生成される第1の画素信号をB信号と呼ぶ。
図6に示す複数の第1の画素2030Pの画素配列は、ベイヤー配列である。ベイヤー配列において、基本配列が行方向かつ列方向に規則的かつ周期的に配置される。基本配列は、1個のR画素Pr1と2個のG画素Pg1と1個のB画素Pb1とを含む。
【0046】
イメージャ203の第2の基板2031は、行列状に配置された複数の第2の画素2031Pを有する。1つの第2の画素2031Pは、4つの第1の画素2030Pに対応する領域に配置されている。1つの第2の画素2031Pに対応する4つの第1の画素2030Pは、ベイヤー配列の基本配列を構成する。4つの第1の画素2030Pの各々を透過し、かつ光学フィルタ2033を透過した光が1つの第2の画素2031Pに入射する。第2の画素2031Pは、第2の画素2031Pに入射した光に基づく第2の画素信号を生成する。以下の説明において、第2の画素2031Pによって生成される第2の画素信号をRa信号と呼ぶ。
【0047】
第1の基板2030および第2の基板2031が積層されているため、第1の画素2030Pおよび第2の画素2031Pは、同時に光を検出することができる。このため、第1の画素信号および第2の画素信号は、被写体50または内視鏡スコープ部20の動きの影響を受けにくい。したがって、可視光観察と酸素飽和度測定とが順次行われる場合と比較して、酸素飽和度の算出精度が向上する。
【0048】
演算装置30(可視光画像生成部300)は、第1の画素2030Pで生成された第1の画素信号(R信号、G信号、およびB信号)に基づいて可視光画像信号を生成する。演算装置30(酸素飽和度画像生成部301)は、第1の画素2030Pで生成された第1の画素信号(R信号およびG信号)と、第2の画素2031Pで生成された第2の画素信号(Ra信号)とに基づいて酸素飽和度画像信号を生成する。
【0049】
酸素飽和度の算出方法を説明する。演算装置30(酸素飽和度画像生成部301)は、複数の第1の画素2030Pの各々に対応する第1の強度比および第2の強度比を算出する。第1の強度比は、Ra信号とG信号との強度比(Ra/G)である。第2の強度比は、R信号とG信号との強度比(R/G)である。1つの第2の画素2031Pで生成されたRa信号は、その第2の画素2031Pに対応する4つの第1の画素2030Pの第1の強度比の算出に使用される。
【0050】
メモリ302は、第1の強度比と第2の強度比と酸素飽和度との相関関係を示す情報を記憶する。
図7は、メモリ302に記憶される情報を示している。
図7に示すグラフの横軸および縦軸は対数スケールで示されている。
図7において、グラフの横軸はlog(R/G)であり、かつグラフの縦軸はlog(Ra/G)である。
図7に示す5本の曲線L20,L21,L22,L23,L24は、互いに異なる酸素飽和度に対応する第1の強度比と第2の強度比との相関関係を示している。曲線L20は、酸素飽和度が100%であるときの第1の強度比と第2の強度比との相関関係を示している。曲線L21は、酸素飽和度が75%であるときの第1の強度比と第2の強度比との相関関係を示している。曲線L22は、酸素飽和度が50%であるときの第1の強度比と第2の強度比との相関関係を示している。曲線L23は、酸素飽和度が25%であるときの第1の強度比と第2の強度比との相関関係を示している。曲線L24は、酸素飽和度が0%であるときの第1の強度比と第2の強度比との相関関係を示している。
図7に示す曲線L20,L21,L22,L23,L24は、光散乱シミュレーションに基づいて取得される。この光散乱シミュレーションにおいて、酸化ヘモグロビンおよび還元ヘモグロビンの吸光係数および生体内の光散乱係数などが考慮される。
【0051】
演算装置30(酸素飽和度画像生成部301)は、メモリ302から
図7に示すグラフの情報を読み出す。演算装置30(酸素飽和度画像生成部301)は、算出された第1の強度比および第2の強度比と、メモリ302から読み出された情報とを照合する。第1の画素2030Pにおける第1の強度比および第2の強度比に対応する点と、曲線L20,L21,L22,L23,L24との位置関係に基づいて酸素飽和度が決定される。
図7において、ある第1の画素2030Pにおける第1の強度比および第2の強度比に対応する点P10は、曲線L21上の点と一致する。曲線L21は、75%の酸素飽和度に対応する。このため、ある第1の画素2030Pに対応する酸素飽和度は75%に決定される。酸素飽和度の算出は、複数の第1の画素2030Pの各々に対して行われる。酸素飽和度の算出は、画角内の血管領域に対応する第1の画素2030Pのみに対して行われてもよい。血管領域は、R信号、およびR信号とB信号との比率などにより特定することができる。
【0052】
第1の強度比と第2の強度比と酸素飽和度との相関関係は、ヘモグロビンの吸光特性と密接に関連している。
図8は、酸化ヘモグロビンおよび還元ヘモグロビンの吸光係数を示している。
図8において、グラフの横軸は光の波長(nm)を示し、かつグラフの縦軸は吸光係数を示している。線L10は酸化ヘモグロビンの吸光係数を示し、かつ線L11は還元ヘモグロビンの吸光係数を示している。波長帯域B10は、光学フィルタ2033を透過する光の波長帯域(650nmから700nm)である。光学フィルタ2033が透過する光の波長帯域B10の全ての波長において、酸化ヘモグロビンの吸光係数は還元ヘモグロビンの吸光係数よりも小さい。このため、
図17における波長帯域B100の光に基づく画素信号を使用して酸素飽和度を算出する場合と比較して、酸素飽和度の算出精度が向上する。
【0053】
光学フィルタ2033が透過する光の波長帯域B10において酸化ヘモグロビンおよび還元ヘモグロビンの吸光係数の差が大きいため、画素信号から酸素飽和度の情報が取得されやすい。しかし、波長帯域B10の光に対応するRa信号は、酸素飽和度および血液量に応じて変動する。R信号は、主に血液量に応じて変動する。G信号は、Ra信号およびR信号のリファレンス信号(規格化用信号)となる。演算装置30(酸素飽和度画像生成部301)は、Ra信号とR信号とG信号とから得られる第1の強度比(Ra/G)および第2の強度比(R/G)を用いることにより、血液量に関係なく酸素飽和度を算出することができる。
【0054】
演算装置30(酸素飽和度画像生成部301)は、R信号と、G信号と、B信号と、酸素飽和度とに基づいて酸素飽和度画像信号を生成する。例えば、演算装置30(酸素飽和度画像生成部301)は、酸素飽和度が基準値γよりも小さい第1の画素2030Pにおいて、1よりも大きなゲインをB信号のみに乗算する。基準値γは、酸素飽和度が小さい領域を判断するための閾値である。例えば、基準値γは60%である。基準値γは、ユーザが指定できる値であってもよい。B信号のみにゲインが乗算される代わりに、R信号とG信号とB信号とにゲインが乗算され、かつB信号に乗算されるゲインがR信号およびG信号に乗算されるゲインよりも大きくてもよい。酸素飽和度画像信号は、第1の画素2030P毎のR信号とG信号とB信号とを含む。
【0055】
酸素飽和度が基準値γよりも小さい領域においてB信号に乗算されるゲインが大きいため、酸素飽和度画像においてその領域は青みを帯びた色になる。一般的に、生体内部の色は赤成分が多く、かつ青成分は少ない。このため、酸素飽和度画像において青みを帯びた領域は目立ちやすい。これによって、医師は、低酸素状態である癌領域を容易に発見することができる。一方、酸素飽和度が基準値γ以上である第1の画素2030Pにおいて、B信号、G信号、およびR信号にゲインは乗算されない。酸素飽和度画像において、酸素飽和度が基準値γ以上である領域の色味は変化しない。
【0056】
図5に示すように、光学フィルタ2033は、波長が650nmから700nmである波長帯域の光のみを透過させる。光学フィルタ2033を透過する光の波長帯域は、
図5に示す例に限らない。光学フィルタ2033を透過する光の波長帯域は、酸化ヘモグロビンおよび還元ヘモグロビンの吸光係数の大きさの関係が一定である波長帯域であればよい。
【0057】
上記のように、内視鏡システム1は、光源100と、イメージャ203(撮像装置)と、演算装置30とを有する。光源100は、可視光を含む照明光を発生する。イメージャ203は、光源100から被写体50に照射された照明光の反射光を撮像する。イメージャ203は、第1の基板2030と、第2の基板2031と、光学フィルタ2033とを有する。第1の基板2030は、複数の第1の画素2030Pを有する。第2の基板2031は、第1の基板2030に積層され、かつ複数の第2の画素2031Pを有する。光学フィルタ2033は、第1の基板2030と第2の基板2031との間に配置され、かつ第1の基板2030を透過した光のうち酸素飽和度算出のための所定の波長帯域の光のみを透過させる。所定の波長帯域に含まれる全ての波長において、酸化ヘモグロビンの吸光係数は還元ヘモグロビンの吸光係数よりも大きい。または所定の波長帯域に含まれる全ての波長において、酸化ヘモグロビンの吸光係数は還元ヘモグロビンの吸光係数よりも小さい。照明光の反射光は複数の第1の画素2030Pに入射する。第1の基板2030および光学フィルタ2033を透過した光は複数の第2の画素2031Pに入射する。第1の画素2030Pは、第1の画素2030Pに入射した光に基づく第1の画素信号を生成する。第2の画素2031Pは、第2の画素2031Pに入射した光に基づく第2の画素信号を生成する。演算装置30は、第1の画素信号および第2の画素信号に基づいて酸素飽和度を算出する。
【0058】
本発明の各態様の内視鏡システムは、光源100、イメージャ203、および演算装置30に対応する構成以外の構成を有していなくてもよい。例えば、可視光画像の生成は必須ではないため、本発明の各態様の内視鏡システムは、可視光画像生成部300に対応する構成を有していなくてもよい。モニタ40は、内視鏡システム1に付属する装置でなくてもよいため、本発明の各態様の内視鏡システムは、モニタ40に対応する構成を有していなくてもよい。
【0059】
第1の基板2030と第2の基板2031とが積層されているため、複数の第1の画素2030Pおよび複数の第2の画素2031Pは、同時に光を検出することができる。所定の波長帯域に含まれる全ての波長において、酸化ヘモグロビンの吸光係数は還元ヘモグロビンの吸光係数よりも大きい。または所定の波長帯域に含まれる全ての波長において、酸化ヘモグロビンの吸光係数は還元ヘモグロビンの吸光係数よりも小さい。このため、第2の画素2031Pは、酸化ヘモグロビンおよび還元ヘモグロビンの吸光係数の大きさの関係が一定である波長帯域の光に基づいて第2の画素信号を生成することができる。したがって、内視鏡システム1は、酸素飽和度をより高精度に算出することができる。
【0060】
所定の波長帯域は、波長が500nm以上である波長帯域であってもよい。波長が500nm以上である波長帯域の光は、第1の基板2030を透過しやすい。
【0061】
所定の波長帯域は、波長が600nmから750nmである波長帯域に含まれ、かつ所定の波長帯域の幅は100nm以下であってもよい。
図8に示すように、波長が600nmから750nmである波長帯域において酸化ヘモグロビンおよび還元ヘモグロビンの吸光係数の差が大きいため、画素信号から酸素飽和度の情報が取得されやすい。所定の波長帯域の幅が狭いことにより、波長に応じた酸化ヘモグロビンおよび還元ヘモグロビンの吸光係数の比の変動が小さい。このため、内視鏡システム1は、酸素飽和度を高精度に算出することができる。波長が600nmから750nmである波長帯域において赤外光は含まれない。このため、内視鏡システム1は、第1の画素2030Pで生成された第1の画素信号に基づいて可視光画像信号を生成することができる。
【0062】
演算装置30(酸素飽和度画像生成部301)は、複数の第1の画素2030Pで生成された第1の画素信号に基づく画像において酸素飽和度が所定の閾値(基準値γ)よりも小さい領域が強調表示されるように第1の画素信号を処理してもよい。例えば、演算装置30(酸素飽和度画像生成部301)は、第1の画素2030Pで生成された第1の画素信号のうち酸素飽和度が基準値γよりも小さい領域に含まれる第1の画素2030Pで生成されたB信号のゲインをより大きくする。これによって、第1の画素信号に基づく画像において、酸素飽和度が閾値よりも小さい領域が目立ちやすい。
【0063】
(第2の実施形態)
図1に示す内視鏡システム1を使用して本発明の第2の実施形態を説明する。以下では、第1の実施形態における説明と異なる点を中心に説明する。第1の実施形態の光学フィルタ101は、可視光のみを透過させる。一方、第2の実施形態の光学フィルタ101は、可視光と赤外光とを透過させる。第1の実施形態の光学フィルタ2033は、赤色光のみを透過させる。一方、第2の実施形態の光学フィルタ2033は、赤外光のみを透過させる。光学フィルタ101および光学フィルタ2033の透過特性が変更されることにより、可視光画像生成部300および酸素飽和度画像生成部301による信号処理が変更される。
【0064】
図9は、光学フィルタ101の透過特性を示している。
図9において、グラフの横軸は波長を示し、かつグラフの縦軸は透過率を示している。
図9に示すように、光学フィルタ101は、波長が400nmから700nmである波長帯域の光と、波長が850nmから900nmである波長帯域の光とを透過させる。つまり、光学フィルタ101は、光源100からの光のうち可視光および赤外光のみを透過させる。光学フィルタ101の透過特性により、波長が400nmから700nmである波長帯域の光と、波長が850nmから900nmである波長帯域の光とがイメージャ203に入射する。
【0065】
カラーフィルタ2032の透過特性は、
図4に示す透過特性と同一である。青フィルタは、カラーフィルタ2032に入射した光のうち青色光および赤外光のみを透過させる。緑フィルタは、カラーフィルタ2032に入射した可視光のうち緑色光および赤外光のみを透過させる。赤フィルタは、カラーフィルタ2032に入射した可視光のうち赤色光および赤外光のみを透過させる。
【0066】
図10は、光学フィルタ2033の透過特性を示している。
図10において、グラフの横軸は波長を示し、かつグラフの縦軸は透過率を示している。
図10に示すように、光学フィルタ2033は、波長が850nmから900nmである波長帯域の光のみを透過させる。つまり、光学フィルタ2033は、赤外光のみを透過させる。
【0067】
波長が850nmから900nmである波長帯域に含まれる全ての波長において、酸化ヘモグロビンの吸光係数は還元ヘモグロビンの吸光係数よりも大きく、かつ酸化ヘモグロビンおよび還元ヘモグロビンの吸光係数の差は大きい。このため、演算装置30(酸素飽和度画像生成部301)は、酸素飽和度を高精度に算出することができる。
【0068】
図11は、イメージャ203の画素配列を示している。
図11において、
図6と異なる点を説明する。被写体50からの光のうちカラーフィルタ2032を透過した光が複数の第1の画素2030Pに入射する。可視光および赤外光が第1の画素2030Pに入射する。第1の画素2030Pが生成する第1の画素信号は、第1の実施形態における第1の画素信号と異なる。第1の画素信号は、可視光に基づく成分に加えて赤外光に基づく成分を含む。第1の基板2030に入射した赤外光の一部が第1の基板2030で吸収される。第1の基板2030に入射した赤外光のうち、第1の基板2030で吸収された光以外の光が第1の基板2030を透過する。第1の基板2030を透過した赤外光が第2の画素2031Pに入射する。第2の画素2031Pが生成する第2の画素信号は、第1の実施形態における第2の画素信号と異なる。第2の画素信号は、赤外光のみに基づく成分を含む。
【0069】
以下の説明において、αは第1の基板2030が赤外光を吸収する割合を示し、かつβは第2の基板2031が赤外光を吸収する割合を示ししている。αとβとは、赤外光に対する第1の基板2030および第2の基板2031の分光感度から算出することができる。αおよびβは、イメージャ203の製造条件に基づくパラメータである。例えば、製造条件は、第1の基板2030および第2の基板2031の各々の光軸方向の厚さである。あるいは、製造条件は、カラーフィルタ2032および光学フィルタ2033の透過特性である。αおよびβは、0以上かつ1以下の実数である。
【0070】
R画素Pr1は、赤色光および赤外光に基づく第1の画素信号すなわちR信号を生成する。以下の説明において、R画素Pr1によって生成されるR信号の信号値は(R+αIR)である。G画素Pg1は、緑色光および赤外光に基づく第1の画素信号すなわちG信号を生成する。以下の説明において、G画素Pg1によって生成されるG信号の信号値は(G+αIR)である。B画素Pb1は、青色光および赤外光に基づく第1の画素信号すなわちB信号を生成する。以下の説明において、B画素Pb1によって生成されるB信号の信号値は(B+αIR)である。Rは赤色光に基づく信号値である。Gは緑色光に基づく信号値である。Bは青色光に基づく信号値である。αIRは赤外光に基づく信号値である。
【0071】
第2の画素2031Pは、赤外光に基づく第2の画素信号を生成する。以下の説明において、第2の画素2031Pによって生成される第2の画素信号をIR信号と呼ぶ。以下の説明において、第2の画素2031Pによって生成されるIR信号の信号値はβIRである。βIRは赤外光に基づく信号値である。
【0072】
演算装置30(可視光画像生成部300)は、第1の画素2030Pで生成された第1の画素信号(R信号、G信号、およびB信号)と、第2の画素2031Pで生成された第2の画素信号(IR信号)とに基づいて可視光画像信号を生成する。演算装置30(酸素飽和度画像生成部301)は、第1の画素2030Pで生成された第1の画素信号(R信号およびG信号)と、第2の画素2031Pで生成された第2の画素信号(IR信号)とに基づいて酸素飽和度画像信号を生成する。
【0073】
演算装置30(可視光画像生成部300)は、第2の画素2031Pによって生成されたIR信号の値すなわちβIRに、αとβとの比すなわち(α/β)を乗じる。(α/β)は、第1の基板2030が赤外光を吸収する割合と、第2の基板2031が赤外光を吸収する割合との比に基づく係数である。これによって、演算装置30(可視光画像生成部300)は、第1の画素2030Pによって検出された赤外光に基づく信号値αIRを算出することができる。演算装置30(可視光画像生成部300)は、R画素Pr1によって生成されたR信号の値(R+αIR)から、上記の方法で算出された信号値αIRを減算する。これによって、演算装置30(可視光画像生成部300)は、赤色光のみに基づくR信号を生成する。減算後のR信号の信号値は、Rである。同様に、演算装置30(可視光画像生成部300)は、G画素Pg1によって生成されたG信号の値(G+αIR)から、上記の方法で算出された信号値αIRを減算する。これによって、演算装置30(可視光画像生成部300)は、緑色光のみに基づくG信号を生成する。減算後のG信号の信号値は、Gである。同様に、演算装置30(可視光画像生成部300)は、B画素Pb1によって生成されたB信号の値(B+αIR)から、上記の方法で算出された信号値αIRを減算する。これによって、演算装置30(可視光画像生成部300)は、青色光のみに基づくB信号を生成する。減算後のB信号の信号値は、Bである。演算装置30(可視光画像生成部300)は、可視光の成分のみに基づくR信号とG信号とB信号とに基づいて可視光画像信号を生成する。
【0074】
演算装置30(酸素飽和度画像生成部301)は、上記の方法により可視光の成分のみに基づくR信号およびG信号を生成する。可視光画像生成部300による上記の演算の結果が酸素飽和度画像生成部301に出力され、かつ酸素飽和度画像生成部301がその演算結果を利用してもよい。あるいは、酸素飽和度画像生成部301による上記の演算の結果が可視光画像生成部300に出力され、かつ可視光画像生成部300がその演算結果を利用してもよい。演算装置30(酸素飽和度画像生成部301)は、複数の第1の画素2030Pの各々に対応する第1の強度比および第2の強度比を算出する。第1の強度比は、IR信号とG信号との強度比(βIR/G)である。第2の強度比は、R信号とG信号との強度比(R/G)である。1つの第2の画素2031Pで生成されたIR信号は、その第2の画素2031Pに対応する4つの第1の画素2030Pの第1の強度比の算出に使用される。
【0075】
メモリ302は、第1の強度比と第2の強度比と酸素飽和度との相関関係を示す情報を記憶する。
図12は、メモリ302に記憶される情報を示している。
図12に示すグラフの横軸および縦軸は対数スケールで示されている。
図12において、グラフの横軸はlog(R/G)であり、かつグラフの縦軸はlog(βIR/G)である。
図12に示す5本の曲線L30,L31,L32,L33,L34は、互いに異なる酸素飽和度に対応する第1の強度比と第2の強度比との相関関係を示している。曲線L30は、酸素飽和度が100%であるときの第1の強度比と第2の強度比との相関関係を示している。曲線L31は、酸素飽和度が75%であるときの第1の強度比と第2の強度比との相関関係を示している。曲線L32は、酸素飽和度が50%であるときの第1の強度比と第2の強度比との相関関係を示している。曲線L33は、酸素飽和度が25%であるときの第1の強度比と第2の強度比との相関関係を示している。曲線L34は、酸素飽和度が0%であるときの第1の強度比と第2の強度比との相関関係を示している。
図12に示す曲線L30,L31,L32,L33,L34は、光散乱シミュレーションに基づいて取得される。この光散乱シミュレーションにおいて、酸化ヘモグロビンおよび還元ヘモグロビンの吸光係数および生体内の光散乱係数などが考慮される。
【0076】
演算装置30(酸素飽和度画像生成部301)は、メモリ302から
図12に示すグラフの情報を読み出す。演算装置30(酸素飽和度画像生成部301)は、算出された第1の強度比および第2の強度比と、メモリ302から読み出された情報とを照合する。第1の画素2030Pにおける第1の強度比および第2の強度比に対応する点と、曲線L30,L31,L32,L33,L34との位置関係に基づいて酸素飽和度が決定される。
図12において、ある第1の画素2030Pにおける第1の強度比および第2の強度比に対応する点P20は、曲線L31上の点と一致する。曲線L31は、75%の酸素飽和度に対応する。このため、ある第1の画素2030Pに対応する酸素飽和度は75%に決定される。酸素飽和度の算出は、複数の第1の画素2030Pの各々に対して行われる。酸素飽和度の算出は、画角内の血管領域に対応する第1の画素2030Pのみに対して行われてもよい。
【0077】
第2の実施形態の光源100は、可視光に加えて、酸素飽和度算出のための所定の波長帯域の光を含む照明光を発生する。所定の波長帯域は、波長が800nmから900nmである波長帯域に含まれ、かつ所定の波長帯域の幅は100nm以下であってもよい。
【0078】
図9および
図10に示すように、波長が800nm以上である波長帯域うち光学フィルタ101を透過する光の第1の波長帯域は、光学フィルタ2033を透過する光の第2の波長帯域と同一である。つまり、波長が800nm以上である波長帯域のうちイメージャ203に入射する光の第1の波長帯域は、光学フィルタ2033を透過する光の第2の波長帯域と同一である。波長が800nm以上である波長帯域において、第1の波長帯域は第2の波長帯域よりも広くてもよい。第1の波長帯域が第2の波長帯域よりも広い場合、第1の画素信号において赤外光に基づく成分は、第2の画素2031Pに入射する赤外光の波長と異なる波長の赤外光に基づく成分を含む。このため、R信号の値(R+αIR)からIR信号に基づいて算出された信号値αIRを減算する処理によって生成されたR信号は、第2の画素2031Pによって検出することができない赤外光に基づく成分を含む。第1の波長帯域が第2の波長帯域と同一である場合、演算装置30(酸素飽和度画像生成部301)は、R信号から赤外光に基づく成分を高精度に除去することができる。G信号およびB信号についても同様である。
【0079】
上記のように、演算装置30(酸素飽和度画像生成部301)は、第1の画素信号(例えば、R+αIR)から第2の画素信号(βIR)に基づく信号(αIR)を減算することにより補正画素信号を生成する。例えば、補正画素信号は、信号値がRであるR信号である。演算装置30(酸素飽和度画像生成部301)は、補正画素信号および第2の画素信号に基づいて酸素飽和度を算出する。
【0080】
第2の実施形態の内視鏡システム1において、可視光と、可視光以外の光すなわち赤外光とが利用できる。第2の実施形態の内視鏡システム1は、可視光および赤外光に基づく第1の画素信号と、赤外光に基づく第2の画素信号とに基づいて酸素飽和度画像信号および可視光画像信号を生成することができる。
【0081】
(第3の実施形態)
図13は、本発明の第3の実施形態の内視鏡システム2のハードウェア構成を示している。
図13に示す構成について、
図1に示す構成と異なる点を説明する。
【0082】
内視鏡システム2において、
図1に示す内視鏡システム1における演算装置30が演算装置31に変更される。演算装置31は、演算装置30が有する構成に加えて、血液量画像生成部303を有する。例えば、可視光画像生成部300と酸素飽和度画像生成部301と血液量画像生成部303とは、それぞれ異なるプロセッサで構成される。可視光画像生成部300と酸素飽和度画像生成部301と血液量画像生成部303との少なくとも2つが同一のプロセッサで構成されてもよい。血液量画像生成部303は、第1の画素2030Pで生成された第1の画素信号(G信号)と、第2の画素2031Pで生成された第2の画素信号(Ra信号)とに基づいて血液量を算出し、かつ血液量画像信号を生成する。血液量画像信号は、血液量画像を表示するための信号である。血液量画像は、血液量の情報が重畳されたカラー画像である。メモリ302は、酸素飽和度の算出に必要な情報に加えて、血液量の算出に必要な情報を記憶する。
【0083】
演算装置31によって生成された可視光画像信号と酸素飽和度画像信号と血液量画像信号とはモニタ40に出力される。モニタ40は、可視光画像信号に基づく可視光画像と、酸素飽和度画像信号に基づく酸素飽和度画像と、血液量画像信号に基づく血液量画像とを表示する。例えば、モニタ40は、可視光画像と酸素飽和度画像と血液量画像とを並べて表示する。あるいは、モニタ40は、これらの画像のうちユーザによって選択された画像を表示する。上記以外の点については、
図13に示す構成は、
図1に示す構成と同様である。
【0084】
血液量の算出方法を説明する。演算装置31(血液量画像生成部303)は、複数の第1の画素2030Pの各々に対応する第1の強度比を算出する。第1の強度比は、Ra信号とG信号との強度比(Ra/G)である。1つの第2の画素2031Pで生成されたRa信号は、その第2の画素2031Pに対応する4つの第1の画素2030Pの第1の強度比の算出に使用される。
【0085】
メモリ302は、第1の強度比と血液量との相関関係を示す情報を記憶する。この相関関係において、第1の強度比の増加に応じて血液量は増加する。演算装置31(血液量画像生成部303)は、メモリ302から血液量に関する情報を読み出す。演算装置31(血液量画像生成部303)は、算出された第1の強度比と、メモリ302から読み出された情報とを照合する。これによって、第1の画素2030Pにおける第1の強度比に対応する血液量が決定される。血液量の算出は、複数の第1の画素2030Pの各々に対して行われる。血液量の算出は、画角内の血管領域に対応する第1の画素2030Pのみに対して行われてもよい。
【0086】
光学フィルタ2033が透過する光の波長帯域B10において酸化ヘモグロビンの吸光係数は小さい。このため、血液量の変動に応じたRa信号の変動は小さい。しかし、光学条件に応じてRa信号は変動する。例えば、光学条件は、イメージャ203と被写体50との距離、および光源100が発する光の強度などである。一方、波長帯域B10において還元ヘモグロビンの吸光係数は大きい。このため、血液量の変動に応じたG信号の変動は大きく、かつ光学条件に応じてG信号は変動する。演算装置31(酸素飽和度画像生成部301)は、R信号とG信号との強度比(R/G)を算出することにより、光学条件の影響が除外された血液量を算出することができる。
【0087】
演算装置31(血液量画像生成部303)は、R信号と、G信号と、B信号と、血液量とに基づいて血液量画像信号を生成する。例えば、演算装置31(血液量画像生成部303)は、血液量が基準値δよりも小さい第1の画素2030Pにおいて、1よりも大きなゲインをB信号のみに乗算する。演算装置31(血液量画像生成部303)は、血液量が基準値δよりも小さく、かつ基準値ε以上である第1の画素2030Pにおいて、1よりも大きなゲインをB信号のみに乗算してもよい。基準値εは、基準値δよりも小さい。基準値δは、血液量が小さい領域を判断するための閾値である。基準値εは、血液が存在しない領域を判断するための閾値である。基準値δおよび基準値εは、ユーザが指定できる値であってもよい。B信号のみにゲインが乗算される代わりに、R信号とG信号とB信号とにゲインが乗算され、かつB信号に乗算されるゲインがR信号およびG信号に乗算されるゲインよりも大きくてもよい。血液量画像信号は、第1の画素2030P毎のR信号とG信号とB信号とを含む。
【0088】
血液量が基準値δよりも小さく、かつ基準値ε以上である領域においてB信号に乗算されるゲインが大きいため、血液量画像においてその領域は青みを帯びた色になる。一般的に、生体内部の色は赤成分が多く、かつ青成分は少ない。このため、血液量画像において青みを帯びた領域は目立ちやすい。これによって、癌領域が切除された後に医師は、生体の組織に流れる血液量を判断することができる。例えば、生体の組織は、胃および大腸などである。血液量が少ない場合、組織が壊死する可能性がある。癌領域が切除された後、医師は、血液量に基づいて、切断された血管を縫合するか否かを判断することができる。一方、血液量が基準値δ以上または基準値εよりも小さい第1の画素2030Pにおいて、B信号、G信号、およびR信号にゲインは乗算されない。血液量画像において、血液量が基準値γ以上である領域の色味は変化しない。
【0089】
上記のように、複数の第1の画素2030Pは、緑色光に基づく第1の画素信号を生成するG画素Pg1を含む。演算装置31(血液量画像生成部303)は、G画素Pg1で生成された第1の画素信号(G信号)と、第2の画素信号(Ra信号)とに基づいて血液量を算出する。演算装置31(血液量画像生成部303)は、複数の第1の画素2030Pで生成された第1の画素信号に基づく画像において血液量が第1の閾値(基準値δ)よりも少ない領域が強調表示されるように第1の画素信号を処理する。これによって、第1の画素信号に基づく画像において、血液量が第1の閾値よりも小さい領域が目立ちやすい。
【0090】
演算装置31(血液量画像生成部303)は、複数の第1の画素2030Pで生成された第1の画素信号(R信号、G信号、およびB信号)に基づく画像において血液量が第1の閾値(基準値δ)よりも小さく、かつ第2の閾値(基準値ε)以上である領域のみが強調表示されるように第1の画素信号(B信号)を処理する。第2の閾値は第1の閾値よりも小さい。これによって、第1の画素信号に基づく画像において、血液量が第1の閾値よりも小さく、かつ第2の閾値以上である領域が目立ちやすい。
【0091】
以上、本発明の好ましい実施形態を説明したが、本発明はこれら実施形態およびその変形例に限定されることはない。本発明の趣旨を逸脱しない範囲で、構成の付加、省略、置換、およびその他の変更が可能である。また、本発明は前述した説明によって限定されることはなく、添付のクレームの範囲によってのみ限定される。