IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ HOYA株式会社の特許一覧

特許7287969内視鏡システム、および内視鏡システム作動方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-05-29
(45)【発行日】2023-06-06
(54)【発明の名称】内視鏡システム、および内視鏡システム作動方法
(51)【国際特許分類】
   A61B 1/00 20060101AFI20230530BHJP
   A61B 1/045 20060101ALI20230530BHJP
   G02B 23/26 20060101ALI20230530BHJP
   G02B 23/24 20060101ALI20230530BHJP
【FI】
A61B1/00 513
A61B1/045 618
A61B1/045 622
A61B1/045 632
A61B1/00 731
G02B23/26 B
G02B23/24 B
【請求項の数】 14
(21)【出願番号】P 2020539619
(86)(22)【出願日】2019-08-30
(86)【国際出願番号】 JP2019034087
(87)【国際公開番号】W WO2020045619
(87)【国際公開日】2020-03-05
【審査請求日】2020-09-11
(31)【優先権主張番号】P 2018163667
(32)【優先日】2018-08-31
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000113263
【氏名又は名称】HOYA株式会社
(74)【代理人】
【識別番号】110002572
【氏名又は名称】弁理士法人平木国際特許事務所
(72)【発明者】
【氏名】千葉 亨
【審査官】佐藤 秀樹
(56)【参考文献】
【文献】特開2018-000616(JP,A)
【文献】国際公開第2017/051455(WO,A1)
【文献】特開2017-148392(JP,A)
【文献】特表2005-507731(JP,A)
【文献】特開2012-016545(JP,A)
【文献】国際公開第2018/083888(WO,A1)
【文献】特開2013-078460(JP,A)
【文献】特表2017-508579(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 1/00-1/32
(57)【特許請求の範囲】
【請求項1】
白色光を生体組織に照射して画像を取得する通常観察モード、および特定波長帯の光を生体組織に照射して画像を取得する特殊観察モードでの動作が可能な内視鏡システムであって、
第1波長帯域のR、第2波長帯域のG、第3波長帯域のB、第4波長帯域のR、第5波長帯域のG、および第6波長帯域のBの光を少なくとも含む照明光を生体組織に照射する照明部と、
前記照明光を前記生体組織に照射することによって生じる前記生体組織からの反射光に基づいて画像データを生成する撮像部と、
前記撮像部から前記画像データを取得し、所定の画像処理を行う画像処理部と、
前記画像処理部による前記所定の画像処理によって生成された画像を画面上に表示する表示部と、を備え、
少なくとも前記第2波長帯域、前記第3波長帯域、前記第5波長帯域、および前記第6波長帯域は、酸素飽和度によらずに透過率が一定となる等吸収点の波長によって帯域の境界が規定されており、
前記第2波長帯域は、帯域の境界となる等吸収点以外の等吸収点をその帯域内に含み、 前記第6波長帯域は前記第3波長帯域よりも短波長帯域であり、前記第5波長帯域は前記第2波長帯域よりも短波長帯域であり、前記第4波長帯域は前記第1波長帯域よりも短波長帯域であり、
前記画像データは、前記第1波長帯域のRの光に対応するR1画像データと、前記第2波長帯域のGの光に対応するG1画像データと、前記第3波長帯域のBの光に対応するB1画像データと、前記第4波長帯域のRの光に対応するR2画像データと、前記第5波長帯域のGの光に対応するG2画像データと、前記第6波長帯域のBの光に対応するB2画像データと、を含み、
前記画像処理部は、前記G1画像データと、当該G1画像データ以外の前記R1画像データ、前記B1画像データ、前記R2画像データ、前記G2画像データ、および前記B2画像データのうち少なくとも1つの画像データと、を用いて画像処理を行うことにより特殊光画像を生成し、
前記画像処理部は、さらに、前記R1画像データをRed波長領域に割り当て、前記R2画像データと前記G1画像データに所定の減算パラメータを乗算したものとの線形結合をGreen波長領域に割り当て、前記G2画像データをBlue波長領域に割り当てることにより、前記生体組織の表面に付着する血液に由来する画像データのレベルを低くして前記血液を透明化した血液透明化画像を生成し、
前記表示部は、前記血液透明化画像を画面上に表示し、
前記第1波長帯域は、630±3nmから700±3nmであり、
前記第2波長帯域は、524±3nmから582±3nmであり、
前記第3波長帯域は、452±3nmから502±3nmであり、
前記第4波長帯域は、582±3nmから630±3nmであり、
前記第5波長帯域は、502±3nmから524±3nmであり、
前記第6波長帯域は、420±3nmから452±3nmであり、
452±3nm、502±3nm、524±3nm、および582±3nmは、前記等吸収点の波長である、内視鏡システム。
【請求項2】
請求項1において、
前記画像処理部は、
前記B2画像データを用いて、前記生体組織の表面から第1深さの位置の第1血管画像を生成する処理と、
前記G1画像データを用いて、前記第1深さよりも深い第2深さの位置の第2血管画像を生成する処理と、
前記R1画像データを用いて、前記第2深さよりも深い第3深さの位置の第3血管画像を生成する処理と、
を実行する、内視鏡システム。
【請求項3】
請求項1または2において、
前記画像処理部は、前記G1画像データを少なくとも前記R1画像データで除算することにより血液濃度を示すヘモグロビン濃度を算出し、当該ヘモグロビン濃度の値と前記B1画像データ/前記G1画像データの値とに基づいて、前記生体組織の酸素飽和度を求める、内視鏡システム。
【請求項4】
請求項3において、
前記画像処理部は、前記生体組織において、前記ヘモグロビン濃度が第1閾値以上で、かつ前記酸素飽和度が第2閾値未満である特徴条件を満たす箇所を特定し、当該特徴条件を満たす箇所をそれ以外の箇所と区別した表示形態を採る特徴画像を生成し、
前記表示部は、前記特徴画像を画面上に表示する、内視鏡システム。
【請求項5】
請求項3または4において、
前記画像処理部は、前記G1画像データを、前記B1画像データと前記G1画像データと前記R1画像データとの線形結合によって除算することにより、散乱光の影響を除去した相対的ヘモグロビン濃度を算出し、当該相対的ヘモグロビン濃度を用いて前記酸素飽和度を求める、内視鏡システム。
【請求項6】
請求項1において、
前記画像処理部は、前記Blue波長領域に割り当てられる前記G2画像データと、前記Green波長領域に割り当てられる前記R2画像データと、前記減算パラメータを乗算した前記G1画像データと、を線形結合して前記血液透明化画像を生成する、内視鏡システム。
【請求項7】
請求項1から6の何れか1項において、
前記撮像部は、前記R1画像データ、前記G1画像データ、および前記B1画像データを生成する第1撮像素子と、前記R2画像データ、前記G2画像データ、および前記B2画像データを生成する第2撮像素子と、を含む、内視鏡システム。
【請求項8】
特定波長帯の光を生体組織に対して出射して画像を取得する特殊観察モードで内視鏡システムを作動させる、内視鏡システム作動方法であって、
照明部が、第1波長帯域のR、第2波長帯域のG、第3波長帯域のB、第4波長帯域のR、第5波長帯域のG、および第6波長帯域のBの光を少なくとも含む照明光を生体組織に対して出射することと、
撮像部が、前記照明光を前記生体組織に対して出射することによって生じる前記生体組織からの反射光に基づいて画像データを生成することと、
画像処理部が、前記撮像部から前記画像データを取得し、所定の画像処理を行うことと、
表示部が、前記画像処理部による前記所定の画像処理によって生成された画像を画面上に表示することと、を含み、
少なくとも前記第2波長帯域、前記第3波長帯域、前記第5波長帯域、および前記第6波長帯域は、酸素飽和度によらずに透過率が一定となる等吸収点の波長によって帯域の境界が規定されており、
前記第2波長帯域は、帯域の境界となる等吸収点以外の等吸収点をその帯域内に含み、 前記第6波長帯域は前記第3波長帯域よりも短波長帯域であり、前記第5波長帯域は前記第2波長帯域よりも短波長帯域であり、前記第4波長帯域は前記第1波長帯域よりも短波長帯域であり、
前記画像データは、前記第1波長帯域のRの光に対応するR1画像データと、前記第2波長帯域のGの光に対応するG1画像データと、前記第3波長帯域のBの光に対応するB1画像データと、前記第4波長帯域のRの光に対応するR2画像データと、前記第5波長帯域のGの光に対応するG2画像データと、前記第6波長帯域のBの光に対応するB2画像データと、を含み、
前記画像データを生成する際に、前記画像処理部は、前記G1画像データと、当該G1画像データ以外の前記R1画像データ、前記B1画像データ、前記R2画像データ、前記G2画像データ、および前記B2画像データのうち少なくとも1つの画像データと、を用いて画像処理を行うことにより特殊光画像を生成し、
前記画像処理部が前記所定の画像処理をすることは、前記画像処理部が、前記R1画像データをRed波長領域に割り当て、前記R2画像データと前記G1画像データに所定の減算パラメータを乗算したものとの線形結合をGreen波長領域に割り当て、前記G2画像データをBlue波長領域に割り当てることにより、前記生体組織の表面に付着する血液に由来する画像データのレベルを低くして前記血液を透明化した血液透明化画像を生成することを含み、
前記表示部は、前記血液透明化画像を画面上に表示し、
前記第1波長帯域は、630±3nmから700±3nmであり、
前記第2波長帯域は、524±3nmから582±3nmであり、
前記第3波長帯域は、452±3nmから502±3nmであり、
前記第4波長帯域は、582±3nmから630±3nmであり、
前記第5波長帯域は、502±3nmから524±3nmであり、
前記第6波長帯域は、420nmから450nmであり、
452±3nm、502±3nm、524±3nm、および582±3nmは、前記等吸収点の波長である、内視鏡システム作動方法。
【請求項9】
請求項8において、
前記画像処理部が前記所定の画像処理をすることは、
前記画像処理部が、前記B2画像データを用いて、前記生体組織の表面から第1深さの位置の第1血管画像を生成することと、
前記画像処理部が、前記G1画像データを用いて、前記第1深さよりも深い第2深さの位置の第2血管画像を生成することと、
前記画像処理部が、前記R1画像データを用いて、前記第2深さよりも深い第3深さの位置の第3血管画像を生成することと、
を含む、内視鏡システム作動方法。
【請求項10】
請求項8または9において、
前記画像処理部が前記所定の画像処理をすることは、
前記画像処理部が、前記G1画像データを少なくとも前記R1画像データで除算することにより血液濃度を示すヘモグロビン濃度を算出することと、
前記画像処理部が、前記ヘモグロビン濃度の値と前記B1画像データ/前記G1画像データの値とに基づいて、前記生体組織の酸素飽和度を求めることと、
を含む、内視鏡システム作動方法。
【請求項11】
請求項10において、
前記画像処理部が前記所定の画像処理をすることは、
前記画像処理部が、前記生体組織において、前記ヘモグロビン濃度が第1閾値以上で、かつ前記酸素飽和度が第2閾値未満である特徴条件を満たす箇所を特定することと、
前記画像処理部が、前記特徴条件を満たす箇所をそれ以外の箇所と区別した表示形態を採る特徴画像を生成することと、を含み、
前記表示部は、前記特徴画像を画面上に表示する、内視鏡システム作動方法。
【請求項12】
請求項10または11において、
前記画像処理部は、前記G1画像データを、前記B1画像データと前記G1画像データと前記R1画像データとの線形結合によって除算することにより、散乱光の影響を除去した相対的ヘモグロビン濃度を算出し、当該相対的ヘモグロビン濃度を用いて前記酸素飽和度を求める、内視鏡システム作動方法。
【請求項13】
請求項8において、
前記画像処理部が前記所定の画像処理をすることは、
前記画像処理部が、前記Blue波長領域に割り当てられる前記G2画像データと、前記Green波長領域に割り当てられる前記R2画像データと、前記減算パラメータを乗算した前記G1画像データと、を線形結合して前記血液透明化画像を生成する、内視鏡システム作動方法。
【請求項14】
請求項8から13の何れか1項において、
前記撮像部は、第1撮像素子と、第2撮像素子とを含み、
前記第1撮像素子が、前記R1画像データ、前記G1画像データ、および前記B1画像データを生成し、前記第2撮像素子が、前記R2画像データ、前記G2画像データ、および前記B2画像データを生成する、内視鏡システム作動方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、内視鏡システム、および内視鏡システムを動作させる方法に関する。
【背景技術】
【0002】
分光画像撮影機能を備えた内視鏡装置(分光内視鏡装置)を用いると、消化器の粘膜等の生体組織の分光特性に関する情報(例えば反射スペクトル)を得ることができる。この生体組織の反射スペクトルは、測定対象となる生体組織の表層近傍に含まれる物質の種類や濃度の情報を反映していることが知られている。具体的には、生体組織の反射スペクトルより算出される吸収は、その生体組織を構成する複数の物質の吸収を線形的に重畳したものとなることが知られている。
【0003】
また、病変部の生体組織は、その組成、成分量において健常部の生体組織とは異なることが知られている。特に、癌などに代表される病変部の異常は、血液の状態、とりわけ全血液量や酸素飽和度の状態と深く関わることが多くの先行研究で報告されている。ここで、注目する2つの生体組織を、それらが有する可視域の分光学的特徴量を利用して、定性、定量することは、分光分析化学の分野では良く利用されている手法である。よって、病変部を含む生体組織の血液の分光特性と、健常部のみの生体組織のそれとを比較して、生体組織に何らかの病変部が含まれるかどうかを推定することができる。
【0004】
以上のような分光内視鏡装置に関し、例えば、特許文献1には、「簡易な構成で複数種の特殊光観察を実施することを目的とし、R,G,Bそれぞれの領域の光を含む照明光を生体組織に照射する照明部(3,7)と、照明光の生体組織(X)における反射光から画像信号を取得する撮像部(8)と、照明部(3,7)または撮像部(8)に配置され、照明光の波長帯域において、照明光を構成するR、G、Bの少なくとも1つの波長帯域のうち、該波長帯域の中心波長を挟んだ両側の2つの狭帯域の光を生成する狭帯域光生成部(F1,F2)と、2以上の狭帯域の反射光が撮像部(8)により取得された2以上の画像信号に基づいて画像を生成する画像生成部(18)と、を備える生体観察装置(1)」(要約)が開示されている。
【先行技術文献】
【特許文献】
【0005】
【文献】WO2016/151672号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
近年、分光内視鏡装置においては、様々な使用態様に対応するため、より多種類の特殊光画像を生成して観察可能になることが望まれている。
【0007】
しかしながら、特許文献1の分光内視鏡装置によれば、通常画像の他、特殊光画像は3種類生成しているだけであり、より多種類の特殊光画像を観察したいという最近のニーズに応えることができていない。また、さらに高画質の特殊光画像の生成も望まれている。
【0008】
本開示はこのような状況に鑑みてなされたものであり、より高画質で、より多くの種類の特殊光画像を生成し、提示することを可能にする技術を提供する。
【課題を解決するための手段】
【0009】
上記課題を解決するために、本実施形態は、白色光を生体組織に照射して画像を取得する通常観察モード、および特定波長帯の光を生体組織に照射して画像を取得する特殊観察モードでの動作が可能な内視鏡システムであって、
第1波長帯域のR、第2波長帯域のG、第3波長帯域のB、第4波長帯域のR、第5波長帯域のG、および第6波長帯域のBの光を少なくとも含む照明光を生体組織に照射する照明部と、
前記照明光を前記生体組織に照射することによって生じる前記生体組織からの反射光に基づいて画像データを生成する撮像部と、
前記撮像部から前記画像データを取得し、所定の画像処理を行う画像処理部と、
前記画像処理部による前記所定の画像処理によって生成された画像を画面上に表示する表示部と、を備え、
少なくとも前記第2波長帯域、前記第3波長帯域、前記第5波長帯域、および前記第6波長帯域は、酸素飽和度によらずに透過率が一定となる等吸収点の波長によって帯域の境界が規定されており、
前記第2波長帯域は、帯域の境界となる等吸収点以外の等吸収点をその帯域内に含み、 前記第6波長帯域は前記第3波長帯域よりも短波長帯域であり、前記第5波長帯域は前記第2波長帯域よりも短波長帯域であり、前記第4波長帯域は前記第1波長帯域よりも短波長帯域であり、
前記画像データは、前記第1波長帯域のRの光に対応するR1画像データと、前記第2波長帯域のGの光に対応するG1画像データと、前記第3波長帯域のBの光に対応するB1画像データと、前記第4波長帯域のRの光に対応するR2画像データと、前記第5波長帯域のGの光に対応するG2画像データと、前記第6波長帯域のBの光に対応するB2画像データと、を含み、
前記画像処理部は、前記G1画像データと、当該G1画像データ以外の前記R1画像データ、前記B1画像データ、前記R2画像データ、前記G2画像データ、および前記B2画像データのうち少なくとも1つの画像データと、を用いて画像処理を行うことにより特殊光画像を生成する、内視鏡システムを提供する。
【0010】
本開示に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、本開示は、要素及び多様な要素の組み合わせ及び以降の詳細な記述と添付される請求の範囲の様態により達成され実現される。
本明細書の記述は典型的な例示に過ぎず、請求の範囲又は適用例を如何なる意味に於いても限定するものではないことを理解する必要がある。
【発明の効果】
【0011】
本開示によれば、より高画質で、より多くの種類の特殊光画像を生成し、提示することが可能となる。
【図面の簡単な説明】
【0012】
図1】本実施形態による内視鏡システム1の概略構成例を示す図である。
図2】上記分光特性と広帯域画像(G1画像)を取得する際に用いる第1光学フィルタの波長帯域とを示す図である。
図3】上記分光特性とB2画像、G2画像、およびR2画像を取得する際に用いる第2光学フィルタの波長帯域とを示す図である。
図4】上記分光特性と狭帯域画像(G3画像)を取得する際に用いる第3光学フィルタの波長帯域とを示す図である。
図5】波長域W2における血液の透過光量(縦軸)と酸素飽和度(横軸)との関係をプロットしたグラフである。
図6】波長域W4からW6における血液の透過光量(縦軸)と酸素飽和度(横軸)との関係をプロットしたグラフである。
図7】本実施形態による分析処理部230の内部構成例を示す図である。
図8】深度別の血管走行画像(血管構造主体:Depth Profile)を生成する処理を説明するためのフローチャートである。
図9】On chipフィルタのRGB値(図9上段:(Rs,Gs,Bs))に行列変換演算を実行し、補正RGB値(RGB_related_values)を生成する処理の過程を示す図である。
図10】血管走行画像生成処理(図8)によって生成された、観察部位の血管走行画像の例を示す図である。図10Aは、観察部位の可視光画像例を示す。図10Bは、B2画像(波長帯域420±3nmから452±3nmの光を照射して得られた画像)であり、観察部位から浅い箇所にある血管の様子の画像例を示す。図10Cは、G1画像(波長帯域524±3nmから582±3nmの光を照射して得られた画像)であり、観察部位から中程度の深さの箇所にある血管の様子の画像例を示す。図10Dは、R1画像(波長帯域630±3nmから700±3nmの光を照射して得られた画像)であり、観察部位からさらに深い箇所にある血管の様子の画像例を示す。
図11】本実施形態による特徴領域特定処理の詳細を説明するためのフローチャートである。
図12】散乱光の影響を取り除いたヘモグロビン濃度(血液濃度)を求める原理を説明するための図である。
図13】従来の酸素飽和度算出テーブル例(図13A)と本実施形態による酸素飽和度算出テーブル例(図13B)を示す図である。
図14】特徴領域特定処理(図11)によって生成された、観察部位の各特徴領域画像の例を示す図である。図14Aは、観察部位の可視光画像例を示す。図14Bは、観察部位において、血液濃度(Hb濃度)が所定Hb値以上の箇所(血流が多い箇所)の画像例を示す。図14Cは、観察部位において、酸素飽和度が所定%以下の箇所(酸素消費量が多い箇所)の画像例を示す。図14Dは、観察部位において、血液濃度(Hb濃度)が所定Hb値以上、かつ酸素飽和度が所定%以下の箇所(血流が多いが、酸素量が少ない箇所)の画像例を示す。
図15】本実施形態による血液透明化処理の詳細を説明するためのフローチャートである。
図16】血液透明化処理のよって得られた血液透明化画像の例を示す図である。図16Aは、観察部位の通常のRGB出力画像例を示す。図16Bは、G1画像の減算パラメータを設定した場合の血液透明化画像の例(例えば、減算パラメータを-0.2に設定することができる)を示す。図16Cは、G1画像の減算パラメータを0に設定した場合の血液透明化画像の例を示す。図16Dは、G1画像の減算パラメータをさらに大きく設定した場合の血液透明化画像の例(例えば、減算パラメータを-0.5に設定することができる)を示す。
図17】第1および第2フィルタを第1および第2撮像素子(第1および第2固体撮像素子:例えば、CMOSセンサなど)を配置する例を示す図である。
図18】第3フィルタとそれを通過した光を撮像する第3撮像素子(第3固体撮像素子:例えば、CMOSセンサ)を配置する例を示す図である。
図19】ビームスプリッタの代わりに3板式プリズムを用いた例を示す図である。
図20】狭帯域(narrow)画像(波長546±3から570±3nmの光によって形成される画像)を取得するための第3光学フィルタ(図20A図4に示される光学フィルタに相当)と、広帯域(wide)画像(波長524±3から582±3nmの光によって形成される画像)を取得するための第1光学フィルタ(図20B図2に示される光学フィルタに相当)を示す図である。
図21】光源から出射される光がビームスプリッタによって分光された場合、各撮像素子に入射される段階で光量が25%程度に減少することを説明するための図である。
図22】変形例5の原理を説明するための図である。
図23】変形例5による光学素子の構成例を示す図である。
【発明を実施するための形態】
【0013】
<内視鏡システムの構成>
図1は、本実施形態による内視鏡システム1の概略構成例を示す図である。図1に示されるように、内視鏡システム1は、電子スコープ(内視鏡装置)100と、プロセッサ200と、モニタ300と、を備えている。
【0014】
プロセッサ200は、システムコントローラ202、タイミングコントローラ204、画像処理部220、ランプ208及び光学フィルタ装置260を備えている。システムコントローラ202は、メモリ212に記憶された各種プログラムを実行し、内視鏡システム1全体を統合的に制御する。また、システムコントローラ202は、操作パネル214に接続されている。システムコントローラ202は、操作パネル214より入力されるユーザからの指示に応じて、内視鏡システム1の各動作及び各動作のためのパラメータを変更する。タイミングコントローラ204は、各部の動作のタイミングを調整するクロックパルスを内視鏡システム1内の各処理部に出力する。
【0015】
ランプ208は、ランプ電源イグナイタ206による始動後、照射光Lを射出する。ランプ208は、例えば、キセノンランプ、ハロゲンランプ、水銀ランプ、メタルハライドランプ等の高輝度ランプやLED(Light Emitting Diode)である。照射光Lは、主に可視光領域から不可視である赤外光領域に広がるスペクトルを持つ光(又は少なくとも可視光領域を含む白色光)である。
【0016】
ランプ208と集光レンズ210との間には、光学フィルタ装置260が配置されている。光学フィルタ装置260は、フィルタ駆動部264と、フィルタ駆動部264に装着された光学フィルタ262を備えている。フィルタ駆動部264は、光学フィルタ262を、照射光Lの光路上の位置(実線)と光路から退避した位置(破線)との間で、光路と直交する方向にスライド可能に構成されている。なお、フィルタ駆動部264の構成は、上述のものに限定されず、例えば回転フィルタ装置のように、光学フィルタ262の重心から外れた回動軸の周りに光学フィルタ262を回動させることにより、照射光Lの光路上に光学フィルタ262を挿抜する構成としてもよい。光学フィルタ262の詳細については後述する。
【0017】
本実施形態の内視鏡システム1は、ランプ208から放射された白色光をそのまま(或いは、赤外成分及び/又は紫外成分を除去して)照明光(通常光Ln)として使用して内視鏡観察を行う通常観察モードと、白色光を光学フィルタ262に通して(或いは、更に赤外成分及び/又は紫外成分を除去して)得たフィルタ光Lfを照明光として使用して内視鏡観察を行う特殊観察モードと、特殊観察モードで使用される補正値を取得するためのベースライン測定モードの3つの動作モードで動作可能に構成されている。光学フィルタ262は、通常観察モードでは光路から退避した位置に配置され、特殊観察モードでは光路上に配置される。
【0018】
光学フィルタ装置260を通過した照射光L(フィルタ光Lf又は通常光Ln)は、集光レンズ210によってLCB(Light Carrying Bundle)102の入射端面に集光されて、LCB102内に導入される。
【0019】
LCB102内に導入された照射光Lは、LCB102内を伝播して電子スコープ100の先端に配置されたLCB102の射出端面より射出され、配光レンズ104を介して被写体に照射される。照射光Lにより照射された被写体からの戻り光は、対物レンズ106を介して固体撮像素子108の受光面上で光学像を結ぶ。
【0020】
固体撮像素子108は、例えば、ベイヤ型画素配置を有する単板式カラーCCD(Charge Coupled Device)イメージセンサである。固体撮像素子108は、受光面上の各画素で結像した光学像を光量に応じた電荷として蓄積して画像信号(画像データ)を生成して出力する。固体撮像素子108は、赤色の光を透過させるRフィルタと、緑色の光を透過させるGフィルタと、青色の光を透過させるBフィルタとが固体撮像素子108の各受光素子上に直接形成された、いわゆるオンチップカラーフィルタを備えている。固体撮像素子108が生成する画像信号には、Rフィルタが装着された受光素子によって撮像された画像信号R、Gフィルタが装着された受光素子によって撮像された画像信号G及びBフィルタが装着された受光素子によって撮像された画像信号Bが含まれている。
【0021】
なお、固体撮像素子108は、CCDイメージセンサに限らず、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサやその他の種類の撮像装置に置き換えてもよい。
【0022】
図1に示されるように、電子スコープ100は、プロセッサ200との接続部内に、ドライバ信号処理部110を備えている。ドライバ信号処理部110には、画像信号がフィールド周期で固体撮像素子108より入力される。ドライバ信号処理部110は、固体撮像素子108より入力される画像信号に対して所定の処理を施した後、プロセッサ200の画像処理部220へ出力する。
【0023】
ドライバ信号処理部110はまた、メモリ112にアクセスして電子スコープ100の固有情報を読み出す。メモリ112に記録される電子スコープ100の固有情報には、例えば、固体撮像素子108の画素数や感度、動作可能なフィールドレート、型番等が含まれる。ドライバ信号処理部110は、メモリ112より読み出された固有情報をシステムコントローラ202に出力する。
【0024】
システムコントローラ202は、電子スコープ100の固有情報に基づいて各種演算を行い、制御信号を生成する。システムコントローラ202は、生成された制御信号を用いて、プロセッサ200に接続されている電子スコープに適した処理がなされるようにプロセッサ200内の各種処理部の動作やタイミングを制御する。
【0025】
タイミングコントローラ204は、システムコントローラ202によるタイミング制御に従って、ドライバ信号処理部110にクロックパルスを供給する。ドライバ信号処理部110は、タイミングコントローラ204から供給されるクロックパルスに従って、固体撮像素子108をプロセッサ200側で処理される映像のフィールドレートに同期したタイミングで駆動制御する。
【0026】
画像処理部220は、ドライバ信号処理部110より1フィールド周期で入力される画像信号に対して色補完、マトリクス演算、Y/C分離等の所定の信号処理を施した後、モニタ表示用の画面データを生成し、生成されたモニタ表示用の画面データを所定のビデオフォーマット信号に変換する。変換されたビデオフォーマット信号は、モニタ300に出力される。これにより、被写体の画像がモニタ300の表示画面に表示される。
【0027】
また、画像処理部220は、分析処理部230を備えている。分析処理部230は、例えば、特殊観察モードにおいて、取得した画像信号R(Red)、G(Green)、B(Blue)に基づいて分光学的な分析処理を行い、被写体である生体組織における酸素飽和度との相関を有する指標の値を計算し、計算結果を視覚的に表示するための画像データを生成する。なお、分析処理部230の内部構成例については後述する(図7参照)。
【0028】
上述のように、本実施形態の内視鏡システム1は、光学フィルタ262を使用せず、ランプ208から放射された白色光(通常光Ln)を照明光として使用してする通常観察モードと、白色光を光学フィルタ262に通して得られるフィルタ光Lfを照明光として使用して分光学的な分析を行う特殊観察モードと、特殊観察用の補正値を取得するためのベースライン測定モードの3つのモードで動作するように構成されている。各モードの切り替えは、電子スコープ100の操作部又はプロセッサ200の操作パネル214に対するユーザ操作によって行われる。
【0029】
通常観察モードでは、システムコントローラ202は、光学フィルタ装置260を制御して光学フィルタ262を光路上から退避させ、被写体に通常光Lnを照射して撮像を行う。そして、撮像素子108によって撮像された画像データを、必要に応じて画像処理を施した後に、ビデオ信号に変換して、モニタ300に表示させる。
【0030】
特殊観察モード及びベースライン測定モードでは、システムコントローラ202は、光学フィルタ装置260を制御して光学フィルタ262を光路上に配置し、被写体にフィルタ光Lfを照射して撮像を行う。そして、特殊観察モードでは、撮像素子108によって撮像された画像データに基づいて、後述する分析処理(深さ別血管走行画像生成処理、特徴領域特定処理、血液透明化処理など)を行う。
【0031】
ベースライン測定モードは、実際の内視鏡観察を行う前に、無彩色の拡散板や標準反射板等の色基準板を被写体として、フィルタ光Lfによる照明下で撮像を行い、特殊観察モードの規格化処理に使用するデータを取得するモードである。
【0032】
ベースライン測定モードにおいてフィルタ光Lfを用いて撮像した3原色の画像データR(x,y)、G(x,y)、B(x,y)は、それぞれベースライン画像データBLR(x,y)、BLG(x,y)、BLB(x,y)として、分析処理部230の内部メモリに記憶される。なお、R(x,y)、G(x,y)、B(x,y)及びBLR(x,y)、BLG(x,y)、BLB(x,y)は、それぞれ画素(x,y)の画像データ及びベースライン画像データの値である。また、画素(x,y)は、水平方向の座標x及び垂直方向の座標yにより特定される。
【0033】
<光学フィルタの構成(帯域)>
図2から4は、生体組織の分光特性と、本実施形態による特殊観察モードで使用する光学フィルタの帯域との関係を示す図である。図2は、上記分光特性と広帯域画像(G1画像)を取得する際に用いる第1光学フィルタの波長帯域とを示す図である。図3は、上記分光特性とB2画像、G2画像、およびR2画像を取得する際に用いる第2光学フィルタの波長帯域とを示す図である。図4は、上記分光特性と狭帯域画像(G3画像)を取得する際に用いる第3光学フィルタの波長帯域とを示す図である。なお、以下に示す各波長域の値を“中心波長±3”と幅を持たせて表現しているのは、光学フィルタの製造時に生じる誤差を考慮したものである。従って、この製造時誤差(±3)の値は一例であり、当該誤差が大きくなれば当該「幅」の値はより大きくなることに留意すべきである。また、以下において、各等吸収点における波長値が±3(一例)の幅を持つ理由は、酸素化ヘモグロビンと還元ヘモグロビンの各スペクトルの交差が緩やかになっているためである。
【0034】
(i)第1光学フィルタ(図2
第1光学フィルタは、波長が452±3から502±3nmの光(青色光)を透過させる第1領域と、波長が524±3から582±3nmの光(緑色光)を透過させる第2領域と、波長が630±3から700±3nmの光(赤色光)を透過させる第3領域と、を備える光学フィルタである。
【0035】
第1領域は、ヘモグロビンの透過スペクトル等吸収点(ヘモグロビンの透過スペクトルは、酸素化ヘモグロビンと還元ヘモグロビンの濃度の和が一定となる2成分系の分光スペクトルであるため、各成分の濃度比(酸素飽和度)によらず吸収(透過率)が一定となるポイントをいう)E2(452±3nm)と等吸収点E3(502±3nm)の間の波長帯域に相当し、酸素飽和度情報を生成するための青色光データを提供する。
【0036】
第2領域は、等吸収点E4(524±3nm)と等吸収点E7(582±3nm)の間の波長帯域に相当する。第2領域は、等吸収点E4と等吸収点E7との間に、さらに等吸収点E5(546±3nm)と等吸収点E6(570±3nm)を含んでおり、等吸収点E5とE6の間の画像データからは酸素飽和度の情報を多く得ることができる。等吸収点E5とE6の間の画像データを取得するには第3光学フィルタ(図5)を用いることとなる。
第3領域は、等吸収点を含んでおらず、ほとんど光の吸収がなく(光透過率が高く)、酸素飽和度情報を生成するための赤色光データを提供する。
【0037】
(ii)第2光学フィルタ(図3
第2光学フィルタは、波長が420±3から452±3nmの光(青色光)を透過させる第4領域と、波長が502±3から524±3nmの光(緑色光)を透過させる第5領域と、波長が582±3から615±3nmの光(赤色光)を透過させる第6領域と、を備える光学フィルタである。
【0038】
第4領域は、等吸収点E1(420±3nm)と等吸収点E2(452±3nm)の間の波長帯域に相当し、酸素飽和度情報を生成するための青色光データを提供する。第5領域は、等吸収点E3(502±3nm)と等吸収点E4(524±3nm)の間の波長帯域に相当する。第6領域は、等吸収点E7(582±3nm)から波長630±3nmの間の波長帯域に相当する。
【0039】
(iii)第3光学フィルタ(図4
第3光学フィルタは、波長が380±3から420±3nmの光(青色光)を透過させる第7領域と、波長が546±3から570±3nmの光(緑色光)を透過させる第8領域と、波長が720±3から800±3nmの光(赤色光)を透過させる第9領域と、を備える光学フィルタである。
【0040】
第7領域は、波長380±3nmと等吸収点E1(420±3nm)の間の波長領域に相当し、酸素飽和度情報を生成するための青色光データを提供する。第8領域は、等吸収点E5(546±3nm)と等吸収点E6(570±3nm)の間の波長帯域に相当する。第9領域は、等吸収点を含んでおらず、ほとんど光の吸収がなく(光透過率が高く)、深層部情報を取得するための赤色光データを提供する。
【0041】
第3光学フィルタを用いると、等吸収点E5およびE6間の画像データを取得することが可能となる。この波長帯域は光源の光のレベルが強い帯域であるため、酸素飽和度(StO)に関する情報を多く得ることができる。しかし、この波長帯域の画像データを用いると、後述の酸素飽和度指標値のダイナミックレンジが狭いため、分解能が低く、正確に酸素飽和度を求めることが困難な場合がある。本実施形態では、酸素飽和度指標値のダイナミックレンジを広げて分解能を向上させ、精度良く酸素飽和度を求めることを提案している(後述)。
【0042】
(iv)等吸収点における特徴について
隣接する等吸収点間では、酸素飽和度の増加に応じて吸収が単調に増加又は減少する。また、隣接する等吸収点間では、ヘモグロビンの吸収Aは、酸素飽和度に対してほぼ線形的に変化する。図5は、波長域W2における血液の透過光量(縦軸)と酸素飽和度(横軸)との関係をプロットしたグラフである。なお、縦軸の透過光量は、波長域W2の全域で積分した値である。図5のグラフより、波長域W2において、ヘモグロビンの吸収が酸素飽和度に対してほぼ線形的に減少することがわかる。なお、隣接する波長域W1においては、ヘモグロビンの吸収が酸素飽和度に対して線形的に増加する。具体的には、光透過率に関しては、正確にはランバート・ベールの法則(Beer-Lambert Law)に従う変化量であるが、20nm~80nm程度のある程度の狭い波長領域においてはほぼ線形の変化と見なすことができる。
【0043】
また、等吸収点E4からE7までの波長領域(すなわち、波長域W4~W6の連続した波長領域)に着目すると、波長域W4及びW6においては、酸素飽和度の増加に応じて血液の吸収が単調に増加するが、波長域W5においては、逆に酸素飽和度の増加に応じて血液の吸収が単調に減少する。しかしながら、本発明者は、波長域W5における血液の吸収の減少量が、波長域W4及びW6における血液の吸収の増加量の和と略等しく、波長域W7全体としては血液の吸収が酸素飽和度に依らず略一定となることを見出した。
【0044】
図6は、波長域W4からW6における血液の透過光量(縦軸)と酸素飽和度(横軸)との関係をプロットしたグラフである。なお、縦軸の透過光量は、波長域W4からW6の全域で積分した値である。透過光量の平均値は0.267(任意単位)、標準偏差は1.86×10-5であった。図6のグラフより、波長域W4からW6全体では、血液の透過光量が酸素飽和度に依らず略一定となることがわかる。
【0045】
また、図2から4に示されるように、概ね630±3nm以上(特に、650nm以上)の波長領域においては、ヘモグロビンの吸収が少なく、酸素飽和度が変化しても光透過率は殆ど変化しない。また、白色光源にキセノンランプを使用する場合、波長750±3nm以下(特に、720nm以下)の波長領域においては、白色光源の十分に大きな光量が得られる。従って、例えば650±3~720±3nmの波長領域を、ヘモグロビンの吸収が無い透明領域として、透過光量の基準の波長領域として使用することができる。本明細書では、波長650±3nmから波長720±3nmまでの波長領域を波長域WRと定義することができる。
【0046】
上述したように、波長域W2におけるヘモグロビンの吸収AW2は酸素飽和度の増加に対して線形的に減少することが知られている。波長域W4からW6におけるヘモグロビンの吸収AW4-6は酸素飽和度に依らず一定値とみなせることから、吸収AW4-6を基準とした吸収AW2の値は酸素飽和度を反映した指標を与えることになる。具体的には次の式(1)によって定義される指標Xにより酸素飽和度を表すことができる。
X=AW2-AW4-6 ・・・ (1)
【0047】
従って、予め実験的に又は計算により酸素飽和度と指標Xとの定量的な関係を取得すれば、指標Xの値から酸素飽和度(StO)を推定することができる。なお、上述したように、本実施形態では、酸素飽和度指標値のダイナミックレンジを広げて分解能を向上させ、精度良く酸素飽和度を求めるための工夫がなされている。
【0048】
<分析処理部の内部構成例>
図7は、本実施形態による分析処理部230の内部構成例を示す図である。分析処理部230は、電子スコープ100が撮像した画像を取得する画像取得部2301と、画像取得部2301が取得した画像のRGB値を補正する補正演算部2302と、補正演算部2302によって補正された各波長帯域の画像を用いて血管走行画像を生成する血管走行画像生成部2303と、相対的ヘモグロビン濃度と酸素飽和度を算出し、血液濃度が高く酸素飽和度が低い特徴領域を特定する特徴領域特定処理部2304と、血液を透明化した画像(血液透明化画像)を生成する透明化処理部2305と、生成した各画像や関連情報をモニタ300の画面上に表示するための表示データを生成する表示処理部2306と、パラメータや各種データを格納したり、電子スコープ100から受信したデータなどを一時的に格納したりする内部メモリ2307と、を備えている。画像取得部2301から表示処理部2306までの各処理部は、例えば、プログラムによって構成することができる。この場合、プロセッサとしての画像処理部220あるいは分析処理部230がメモリ212や他のストレージデバイス(図1において図示せず)から各処理部を実現するためのプログラムを読み込み、内部メモリ2307に展開することにより、各処理部を実現することができる。各処理部は、モジュールとして構成するようにしてもよい。
【0049】
本実施形態による電子スコープ100は、例えば、2つ以上の固体撮像素子(CMOSイメージセンサ)108を備えている。第1光学フィルタを用いてそれに対応する波長領域の画像を撮像する場合には、1の固体撮像素子が用いられ、第2光学フィルタを用いてそれに対応する波長領域の画像を撮像する場合には、もう1つの固体撮像素子が用いられる。画像取得部2301は、それぞれの固体撮像素子で撮像され、ドライバ信号処理部110を介して送信されてきた画像を取得する。つまり、画像取得部2301は、第1光学フィルタによって、波長帯域が452±3nmから502±3nmのB1画像と、波長帯域が524±3nmから582±3nmのG1画像と、波長帯域が630±3nmから700±3nmのR1画像と、を取得する。また、画像取得部2301は、第2光学フィルタによって、波長領域が420±3nmから452±3nmのB2画像と、波長帯域が502±3nmから524±3nmのG2画像と、波長帯域が582±3nmから630±3nmのR2画像と、を取得する。さらに、画像取得部2301は、RGB値を補正する際に基準として用いる補正用画像(白画像)を取得する。
【0050】
補正演算部2302は、例えば、CMOSイメージセンサにおけるOn Chipフィルタによって取得されたRGB値を、画像取得部2301が取得した補正用画像を用いて、フィルタ出力と相関が高い数値に丸めるマトリクス演算処理(例えば、色補正のためのカラーマトリクスであって、酸素飽和度の波長と相関が高い係数を有するカラーマトリクスを用いる)を行う。
【0051】
血管走行画像生成部2303は、補正演算部2302によって得られる補正された各波長帯域の画像から、B2画像(波長帯域が420±3nmから452±3nmの画像)を表面から浅い部分の血管を表す画像とし、G1画像(波長帯域が524±3nmから582±3nmの画像:広帯域画像)を表面から中間の深さ部分の血管を表す画像とし、R1画像(波長帯域が630±3nmから700±3nmの画像)を表面から深い部分の血管を表す画像とすることにより、各深度における血管走行画像を生成する。
【0052】
特徴領域特定処理部2304は、B1画像とG1画像の比率と、血液濃度を示すHb(ヘモグロビン)濃度を算出し、それらを予め用意されている酸素飽和度指標テーブル(図13B参照)に適用することにより、酸素飽和度を算出する。
【0053】
透明化処理部2305は、検査(診断)および手術部位が血液によって確認できなくなるという状況を改善するために、血液の吸収のない波長範囲の情報を用いて画像を生成する。これにより、出血が伴う箇所の組織の視認性を確保する。具体的に、透明化処理部2305は、各画素について、G1画像(波長帯域が524±3nmから582±3nmの画像)と、G2画像(波長帯域が502±3nmから524±3nmの画像)と、R1画像(波長帯域が582±3nmから630±3nmの画像)とを線形結合(a1×G1画像の画素値+a2×G2画像の画素値+a3×R1画像の画素値)することにより、血液透明化画像を生成する。
【0054】
表示処理部2306は、各血管走行画像、特徴領域を特定した画像、および血液透明化画像をモニタ300のフォーマットに合った形式に変換して表示用データを生成し、モニタ300に送信する。
【0055】
<血管走行画像生成処理>
図8は、深度別の血管走行画像(血管構造主体:Depth Profile)を生成する処理を説明するためのフローチャートである。ここでは、各ステップの動作主体を、画像取得部2301、補正演算部2302、血管走行画像生成部2303、および表示処理部2306としているが、これらがプログラムによって実現される場合には、動作主体を分析処理部230や画像処理部220(以下、プロセッサと言うこともできる)と読み替えてもよい。また、ここでは、固体撮像素子108として、On Chipフィルタを備えたCMOSイメージセンサを2つ用いるものとする。
【0056】
(i)ステップ101
画像取得部2301は、電子スコープ100で撮像された画像である、第1RGB画像および第2RGB画像、さらには補正用画像を取得する。第1RGB画像は、波長帯域が452±3nmから502±3nmのB1画像と、波長帯域が524±3nmから582±3nmのG1画像と、波長帯域が630±3nmから700±3nmのR1画像と、を含む。また、第2RGB画像は、波長領域が420±3nmから452±3nmのB2画像と、波長帯域が502±3nmから524±3nmのG2画像と、波長帯域が582±3nmから630±3nmのR2画像と、を含む。さらに、補正用画像は、第1RGB画像および第2RGB画像のRGB値それぞれを補正する際に基準として用いる補正用画像(白画像)である。
【0057】
(ii)ステップ102
補正演算部2302は、例えば、CMOSイメージセンサにおけるOn Chipフィルタによって取得された、第1および第2RGB画像のそれぞれのRGB値を、画像取得部2301が取得した補正用画像を用いて、フィルタ出力と相関が高い数値に丸めるマトリクス演算処理(例えば、色補正のためのカラーマトリクスであって、酸素飽和度の波長と相関が高い係数を有するカラーマトリクスを用いる)を行う。On Chipフィルタは、波長帯域が重複している箇所があるため、適切なRGB値を出力することができない可能性がある。そこで、On Chipフィルタで取得したRGB値を酸素飽和度の波長と相関の高い係数で補正し(例えば、3×3の行列演算)、適切な帯域分離を実現する。
【0058】
具体的には、図9に示されるように、On chipフィルタのRGB値(図9上段:(Rs,Gs,Bs))に行列変換演算を実行し、補正RGB値(RGB_related_values)を生成する。以後の処理では、RGB値として、補正RGB値が用いられる。
【0059】
(iii)ステップ801
血管走行画像生成部2303は、内視鏡による観察部位の浅い箇所の血管と、深い箇所の血管と、それらの中間の箇所の血管の画像(血管走行画像:Depth Profileとも言う)を生成する。これは、観察波長によって深さ方向の可視情報が異なることを利用して画像を生成する処理である。短波長画像は、観察部位の表面近傍の血管や組織の情報を得るのに用いられ、長波長になればなるほど観察部位の表面から深い箇所にある血管や組織の情報を得るのに用いられる。ステップ801では、これらの情報を可視化し、血管の相対的深さの情報が生成される。
【0060】
短波長の光で組織を観察すると、観察部位表面から浅い箇所で光が飽和してしまう。このため、深い箇所の情報(例えば、血管のデータ)は欠落し、浅い箇所の情報(血管情報)が選択的に観察されることになる。従って、波長帯域420±3nmから452±3nmの光を照射することによって得られるB2画像を表示することにより、観察部位の浅い箇所の血管の様子(走行状態)を確認することができる。なお、B1画像を用いても観察部位表面から浅い箇所の血管画像を生成することはできる。
【0061】
中波長の光で組織を観察すると、観察部位表面から中程度の深さの箇所で光が飽和してしまう。このため、深い箇所の情報(例えば、血管のデータ)は欠落し、中程度の深さの箇所の情報(血管情報)が選択的に観察されることになる。従って、波長帯域524±3nmから582±3nmの光を照射することによって得られるG1画像を表示することにより、観察部位の中程度の深さの箇所の血管の様子(走行状態)を確認することができる。
【0062】
長波長の光で組織を観察すると、観察部位表面からさらに深い箇所まで光が到達する。このため、観察部位表面から深い箇所の情報(血管情報)を選択的に観察することが可能となる。従って、波長帯域630±3nmから700±3nmの光を照射することによって得られるR1画像を表示することにより、観察部位からさらに深い箇所の血管の様子(走行状態)を確認することができる。
【0063】
(iv)ステップ802
表示処理部2306は、B2画像、G1画像、およびR1画像のそれぞれを、モニタ300に画像を表示する際に用いられるフォーマットに変換し、変換したデータをモニタ300に送信する。モニタ300は、分析処理部230の表示処理部2306からB2画像、G1画像、およびR1画像に対応するデータを受信し、それぞれの画像を画面上に表示する。
【0064】
<血管走行画像の例>
図10は、血管走行画像生成処理(図8)によって生成された、観察部位の血管走行画像の例を示す図である。図10Aは、観察部位の可視光画像例を示す。図10Bは、B2画像(波長帯域420±3nmから452±3nmの光を照射して得られた画像)であり、観察部位表面から浅い箇所にある血管の様子の画像例を示す。図10Cは、G1画像(波長帯域524±3nmから582±3nmの光を照射して得られた画像)であり、観察部位表面から中程度の深さの箇所にある血管の様子の画像例を示す。図10Dは、R1画像(波長帯域630±3nmから700±3nmの光を照射して得られた画像)であり、観察部位表面からさらに深い箇所にある血管の様子の画像例を示す。
【0065】
以上のように、B2画像、G1画像、およびR1画像を生成することにより、観察部位における各深さのプロファイルを取得することができ、被検者を有効に、かつ効率的に検査・診断することが可能となる。
【0066】
<特徴領域特定処理>
図11は、本実施形態による特徴領域特定処理の詳細を説明するためのフローチャートである。ここでは、各ステップの動作主体は、画像取得部2301、補正演算部2302、特徴領域特定処理部2304、および表示処理部2306としているが、これらがプログラムによって実現される場合には、動作主体を分析処理部230や画像処理部220(以下、プロセッサと言うこともできる)と読み替えてもよい。また、ここでは、固体撮像素子108として、On Chipフィルタを備えたCMOSイメージセンサを2つ用いるものとする。なお、ステップ101および102は、図8と同様であるため、説明は省略する。
【0067】
(i)ステップ1101
特徴領域特定処理部2304は、観察部位における相対的ヘモグロビン濃度を算出する。ヘモグロビン濃度(血液濃度)は、粘膜の分光情報が含む要素を酸素化ヘモグロビン、還元ヘモグロビン、散乱光として各要素の比率を計算することによって得られる。散乱光が無い場合、図12Aに示されるように、ベースラインはほぼ水平になるため、相対的ヘモグロビン濃度(血液濃度)は、ベースラインからG1(wide)までの変位Hb=G1/R1によって表すことができる(R1がベースラインを表す)。しかし、実際には散乱光の要素が入ってきてしまうので、図12Bに示すように、ベースラインが水平とならず傾きを持ってしまう(ベースラインが鈍る)。散乱の分光特性は、図12Cに示すように、通常のRGBの各分光特性の組み合わせで表すことができる。このため、分光特性をRGBの線形結合で再現してベースラインとすることにより、散乱光を考慮した相対的ヘモグロビン濃度を算出することができる。式(2)は、散乱光を考慮した相対的ヘモグロビン濃度を算出する際に用いる式であり、式(2)において、最適な(分光特性を再現できる)係数α、β、およびγを決定すればよいことが分かる。図12Bの分光特性における傾きを持ったベースラインはG1とR1のみから再現できるため、図12B図12C)の例では、α=0、β=γ=1とすることができる。
【数1】
【0068】
以上のような演算を行うことにより、特徴領域特定処理部2304は、観察部位の各箇所における相対的ヘモグロビン濃度を算出することができる。
【0069】
(ii)ステップ1102
特徴領域特定処理部2304は、酸素飽和度を算出する。酸素飽和度を求める際、特徴領域特定処理部2304は、B1/G1を算出し、ステップ901で算出した相対的Hb濃度の値とB1/G1の値を、予め用意されている酸素飽和度算出テーブル(図13B)に当てはめ、Hb濃度とB1/G1のペアで表されるポイントが何%の酸素飽和度に該当するかをチェックする。これにより、酸素飽和度を求めることができる。
【0070】
従来は、Hb濃度とG1/G3のペアで表されるポイントによって酸素飽和度を求めていたが、図13Aに示されるように、Hb濃度が低いときには酸素飽和度0%から100%までの特性の分解能が良くない。このため、従来のようなG1/G3を用いた場合、酸素飽和度を精度良く算出することができなかった。一方、本実施形態では、B1/G1を用いているため、図13Bに示すように、酸素飽和度0%から100%までの特性の分解能が改善されている。従って、B1/G1を用いれば、精度良く酸素飽和度を求めることが可能となる。
【0071】
(iii)ステップ1103
特徴領域特定処理部2304は、観察部位において、相対的ヘモグロビン濃度(血液濃度)が所定Hb値以上で、かつ酸素飽和度が所定%以下の箇所を、ステップ1101および1102で求めた相対的ヘモグロビン濃度値および酸素飽和度に基づいて、特定する。
【0072】
相対的ヘモグロビン濃度(血液濃度)が所定Hb値以上で、かつ酸素飽和度が所定%以下の箇所を特定することは、例えば、癌に罹患している箇所を特定することを意味する。癌の箇所では、新生血管が多く作り出されており、その血管が癌細胞に栄養と酸素を運んでいくため、癌細胞がどんどん成長することになる。従って、癌の箇所では、血流が多く(血液濃度が高く)、酸素消費量が多いため酸素飽和度が低い。そこで、高血流でありながら低酸素の箇所を特定することにより、癌に罹患している可能性がある箇所を特定し、癌診断(癌発見)の効率性を向上させることができる。
【0073】
そして、特徴領域特定処理部2304は、高血液濃度(高Hb濃度)の箇所を赤色および黄色(赤色の箇所の方がより高濃度)で示す観察部位画像を生成し、低酸素飽和度の箇所を水色で示す観察部位画像を生成し、高血液濃度(高Hb濃度)かつ低酸素飽和度の箇所を黄緑色で示す観察部位画像を生成する。
【0074】
(iv)ステップ1104
表示処理部2306は、ステップ1103で生成した観察部位の特徴領域画像のそれぞれを、モニタ300に画像を表示する際に用いられるフォーマットに変換し、変換したデータをモニタ300に送信する。モニタ300は、分析処理部230の表示処理部2306から各特徴領域画像に対応するデータを受信し、それぞれの特徴領域画像を画面上に表示する。
【0075】
<特徴領域画像の例>
図14は、特徴領域特定処理(図11)によって生成された、観察部位の各特徴領域画像の例を示す図である。図14Aは、観察部位の可視光画像例を示す。図14Bは、観察部位において、血液濃度(Hb濃度)が所定Hb値以上の箇所(血流が多い箇所)の画像例を示す。図14Cは、観察部位において、酸素飽和度が所定%以下の箇所(酸素消費量が多い箇所)の画像例を示す。図14Dは、観察部位において、血液濃度(Hb濃度)が所定Hb値以上、かつ酸素飽和度が所定%以下の箇所(血流が多いが、酸素量が少ない箇所)の画像例を示す。
【0076】
以上のように、本実施形態による特徴領域特定処理によって、観察部位における各特徴領域(例えば3種類:血流が多い箇所、酸素消費量が多い箇所、および血流が多いが、酸素量が少ない箇所)を、精度良く特定し、当該各領域を表示画面上に表示することができるため、医師などの内視鏡オペレータは効率的に診断・診察をすることが可能となる。B2画像、G1画像、およびR1画像を生成することにより、観察部位における各深さのプロファイルを取得することができ、被検者を有効に、かつ効率的に検査・診断することが可能となる。
【0077】
<透明化処理>
図15は、本実施形態による血液透明化処理の詳細を説明するためのフローチャートである。ここでは、各ステップの動作主体は、画像取得部2301、補正演算部2302、透明化処理部2305、および表示処理部2306としているが、これらがプログラムによって実現される場合には、動作主体を分析処理部230や画像処理部220(以下、プロセッサと言うこともできる)と読み替えてもよい。また、ここでは、固体撮像素子108として、On Chipフィルタを備えたCMOSイメージセンサを2つ用いるものとする。なお、ステップ101および102は、図8と同様であるため、説明は省略する。
【0078】
血液透明化処理は、血液の吸収が無い波長範囲の情報で観察部位の表示用画像を生成することにより、組織の視認性を確保しつつ、出血が伴う手技を進めることができるようにするものである。
【0079】
(i)ステップ1501
透明化処理部2305は、B_Channel、G_Chennel、およびR_Channelのそれぞれに画像データ(撮像データをステップ102で補正した値)を割り当てることにより、血液を透明化した画像(血液透明化画像)を生成する。通常、RGBの各領域の入力信号を同じ領域の色で出力する。つまり、波長帯域が425±3nmから452±3nmのB画像にはB_Channel(青色)が、波長帯域500±3nmから525±3nmのG画像にはG_Chennel(緑色)が、波長帯域600±3nmから630±3nmのR画像にはR_Channel(赤色)がそれぞれ割り当てられる。この場合、血液は赤色で表現されるため、観察部位の視認性が悪化するという課題が指摘されていた。
【0080】
一方、本実施形態では、透明化処理部2305は、各波長領域の入力信号を異なる波長領域の色で出力する。具体的には、透明化処理部2305は、波長帯域502±3nmから524±3nmのG2画像をB_Channel(青色)に、波長帯域582±3nmから630±3nmのR2画像をG_Chennelに、波長帯域630±3nmから700±3nmのR1画像をそのままR_Channelに割り当てると共に、波長帯域524±3nmから582±3nmのG1画像のG_Chennelにおける出力値を調整(G1画像に減算パラメータ(0.05から0.5)を乗算して他の画像を線形結合する)して血液透明化画像を生成する。
【0081】
(ii)ステップ1502
表示処理部2306は、ステップ1501で生成した観察部位の血液透明化画像を、モニタ300に画像を表示する際に用いられるフォーマットに変換し、変換したデータをモニタ300に送信する。モニタ300は、分析処理部230の表示処理部2306から血液透明化画像に対応するデータを受信し、血液透明化画像を画面上に表示する。
【0082】
<血液透明化画像の例>
図16は、血液透明化処理のよって得られた血液透明化画像の例を示す図である。図16Aは、観察部位の通常のRGB出力画像例を示す。図16Bは、G1画像の減算パラメータを設定した場合の血液透明化画像の例(例えば、-0.2に設定することができる)を示す。図16Cは、G1画像の減算パラメータを0に設定した場合の血液透明化画像の例を示す。図16Dは、G1画像の別の減算パラメータを設定した場合の血液透明化画像の例(減算パラメータをさらに大きくした場合の例:一般的に、-0.5に設定することが可能である)を示す。
図16Bに示されるように、血液由来の画像信号が非常に弱くなり、血液が透明化され、他の箇所の色も自然に再現される。
図16Cは、G1画像の減算を0倍にしている。この場合、血液の画像情報は小さくなるが、多少残存することになる。
図16Dは、G1画像の減算を過度に行った場合の血液透明化画像を示すが、さらに大きく減算する(例えば、0.5倍の減算に設定することが可能)ことにより本来白色で表示される領域赤みがかってしまう。
【0083】
以上のように、本実施形態による血液透明化処理では、6波長帯域のデータ(B1画像、G1画像、R1画像、B2画像、G2画像、およびR2画像)が用いられる(DRIでは3波長帯域のデータが用いられる)。また、パラメータ係数をG1画像に乗算して減算するため、血液の画像情報を減らすことができ、出力画像を細かに調整することができるようになる。したがって、複数の固体撮像素子(CMOSイメージセンサ)のOn Chipフィルタの色の違いを吸収することができる。
【0084】
さらに、本実施形態では、6波長帯域のデータに基づいて、血液透明化画像以外の情報(上述の血管走行画像や特徴領域画像など)を同時に取得できる。従って、取得すべき画像の種類に応じて時系列切り替え処理を実行する必要がない。
【0085】
<変形例>
(1)変形例1
上述の実施形態では、光源側に第1から第3光学フィルタを配置する例を示したが、これに限定されず、撮像部側に第1から第3フィルタを配置するようにしてもよい。
【0086】
図17は、第1および第2フィルタと、第1および第2撮像素子(第1および第2固体撮像素子:例えば、CMOSセンサなど)とを配置する例を示している。カメラレンズを入射した光は結像光学系によって結像された後2分割され、第1光学フィルタおよび第2光学フィルタをそれぞれ通過し、第1撮像素子および第2撮像素子によって、上述の第1RGB画像(B1画像、G1画像、およびR1画像)と第2RGB画像(B2画像、G2画像、およびR2画像)をそれぞれ取得する。このようにすることにより、実時間で第1および第2RGB画像を同時に取得することができるようになるので、6波長帯域を用いても画像取得および演算の時間遅れが発生せず、画像のずれも生じないという利点がある。なお、結像光学系は、光路上であればビームスプリッタの後方に配置してもよい(以下の変形例でも同様)。
【0087】
(2)変形例2
図18は、さらに第3フィルタとそれを通過した光を撮像する第3撮像素子(第3固体撮像素子:例えば、CMOSセンサ)を配置する例を示す図である。この場合も同様に、実時間で3種類のRGB画像を同時に取得することができるので、9波長帯域を用いて画像取得および演算の時間遅れや画像ずれが生じないという利点がある。
【0088】
(3)変形例3
図19は、ビームスプリッタの代わりに3板式プリズムを用いた例を示す図である。3板式プリズムでは、プリズムの界面をダイクロイックミラーで構成し、単純な半透過で画像の光量を3分割している。撮像素子の機能および構成は、図17および18に示されたものと同様である。3板式プリズムを用いる利点は、撮像素子3板式のカメラとして既存の構成をマイナーチェンジして利用することができるため、実現し易いということである。
【0089】
(4)変形例4
図20は、狭帯域(narrow)画像(波長546±3から570±3nmの光によって形成される画像)を取得するための第3光学フィルタ(図20A図4に示される光学フィルタに相当)と、広帯域(wide)画像(波長524±3nmから582±3nmの光によって形成される画像)を取得するための第1光学フィルタ(図20B図2に示される光学フィルタに相当)を示す図である。狭帯域画像と広帯域画像は、図20Bに示されるCの箇所における生体組織の分光特性の変化度合(特性の曲がり:分光特性の特徴)を算出するために用いられる。当該生体組織の分光特性の変化度合は、広帯域画像を狭帯域画像で除算する(広帯域画像/狭帯域画像)ことにより求めることができる。この値は血液濃度、酸素飽和度に影響を受ける変化量であるので、この変化度合いより酸素飽和指標値を求める際は、血液濃度による換算を行う必要がある。なお、変化度合が大きいと酸素飽和度が高く、変化度合が小さいと酸素飽和度は低いという特徴がある。
【0090】
広帯域画像と狭帯域画像は、上述の変形例1に示すフィルタと撮像素子の配置例(図17)において、第3光学フィルタ(図20A)と第1光学フィルタ(図20B)を用いることにより取得することができる。しかしながら、図17の構成例では、ビームスプリッタ(例えば、50%に分光するビームスプリッタ)によって光量がそれぞれ50%となり、さらに各光学フィルタによって50%になる。つまり、照射される光(100%光量)と、ビームスプリッタおよび各光学フィルタによって光量が減ぜられる光との関係を示す図21からも分かるように、光源から出射される光の量は、各撮像素子に入射される段階では25%程度になってしまう。この場合、狭帯域画像を取得するための波長帯域(546±3nmから570±3nmなので24±6nm分の帯域)は広帯域画像を取得するための波長帯域(524±3nmから582±3nmなので58±6nm分の帯域)に比べて半分以下である。このため、狭帯域画像は広帯域画像に比べて暗い画像となってしまう。このまま上記演算(広帯域画像/狭帯域画像)を実行すると演算精度に影響してしまう。この点、変形例1による構成では2つの撮像素子を用いているので、同じ露光時間で画像を取得する必要はない。そこで、狭帯域画像を撮像する撮像素子の露光時間を、広帯域画像を撮像する撮像素子の露光時間よりも長くすることにより、波長帯域の差による光量差を解消することができる。例えば、狭帯域画像を撮像する撮像素子の露光時間を、広帯域画像を撮像する撮像素子の露光時間の2から2.5倍に設定することができる。なお、狭帯域画像を撮像する撮像素子の露光時間は、例えば初期設定で広帯域画像を撮像する撮像素子の露光時間の2倍にしておき、実際に狭帯域画像と広帯域画像を取得した後に、最適な状態になるように調整してもよい。
【0091】
(5)変形例5
変形例5は、波長帯域が互いに補完(相補)関係(入れ子の関係ともいう)にある第1光学フィルタ(図2参照)と第2光学フィルタ(図3参照)を用いるときの光学フィルタと2つの撮像素子の配置例を提案する。図22は、変形例5の原理を説明するための図であり、図23は、変形例5による光学素子の構成例を示す図である。
【0092】
光学フィルタ(例えば、第1光学フィルタ(図2参照))は、例えば、薄膜を何十層にも蒸着して(例えば、60層蒸着)所望のフィルタ特性を実現しているが、本発明者は、第1光学フィルタを透過しなかった光はどうなるのか検証した。すると、第1光学フィルタの蒸着膜に吸収されてしまうのかと当初は考えたが、図22に示すように、透過しなかった光は当該第1光学フィルタによって全部反射することが分かった。そこで、本発明者は、ビームスプリッタの分割膜の代わりに所望の光学フィルタ(例えば、第1光学フィルタ(図2))の層を形成することを考案した。
【0093】
つまり、図23に示すように、光学要素の配置構成は、第1光学フィルタ(図2図20B)を分割膜として有するビームスプリッタと、ビームスプリッタを透過した光(第1光学フィルタを透過した光)を撮像する第1撮像素子(例えば、CMOSセンサ)と、ビームスプリッタを反射した光(第1光学フィルタを透過した光以外の波長域の光)をフィルタリングする第2光学フィルタ(図3参照:420±3nmから452±3nmの光、502±3nmから524±3nmの光、および582±3nmから630±3nmの光を透過する特性を有する)と、第2光学フィルタを透過した光を撮像する第2撮像素子(例えば、CMOSセンサ)と、を備える。このような構成を採用することにより、ビームスプリッタによって分光して光を50%に減少させることなく、波長域が相互に補完関係にある光を効率的に利用して各演算(例えば、酸素飽和度演算、血管走行画像生成処理、血液透明化処理など)を実行することができるようになる。
【0094】
(6)なお、変形例1から5では、生体組織からの反射光をビームスプリッタやプリズムなどの光学素子で分けて各撮像素子に入射させているが、これらの光学素子の配置構成は、電子スコープ100の先端部(図1では、撮像素子108が電子スコープ100の先端部に配置されている)ではなく操作部に近い箇所、或いはプロセッサ200の内部に設けることができる。この場合、内視鏡スコープ100の先端からの上記反射光は光ファイバなどでビームスプリッタやプリズムなどの光学素子まで導かれることによる。
【0095】
<実施形態のまとめ>
(1)以上のように、本実施形態では、光の波長帯域が入れ子をなすようなRGBの光(第1波長帯域(630±3nmから700±3nm)のR、第2波長帯域(524±3nmから582±3nm)のG、第3波長帯域(452±3nmから502±3nm)のB、第4波長帯域(582±3nmから630±3nm)のR、第5波長帯域(502±3nmから524±3nm)のG、および第6波長帯域(420±3nmから452±3nm)のBの光を生体組織に照射して画像を取得し、それを用いて所定の画像処理をすることにより生成された画像を表示するようにしている。ただし第2波長帯域、第3波長帯域、前記第5波長帯域、および前記第6波長帯域は、酸素飽和度によらずに透過率が一定となる等吸収点の波長によって帯域の境界が規定されている。そして、第2波長帯域に対応するG1画像データと、当該G1画像データ以外の第1波長帯域に対応するR1画像データ、第3波長帯域に対応するB1画像データ、第4波長帯域に対応するR2画像データ、第5波長帯域に対応するG2画像データ、および第6波長帯域に対応するB2画像データのうち少なくとも1つの画像データと、を用いて画像処理を行うことにより特殊光画像が生成される。このようにすることにより、特殊光画像の画質を向上させることが可能となる。
【0096】
具体的には、B2画像データを用いて、生体組織の表面から第1深さの位置(浅い位置)の第1血管画像が生成され、G1画像データを用いて、第1深さよりも深い第2深さの位置(中間深さ位置)の第2血管画像が生成され、R1画像データを用いて、第2深さよりも深い第3深さの位置(最深位置)の第3血管画像が生成される。このように、各取得画像の特徴を活かして画像を生成することにより、様々な用途に対応する画像を生成することが可能となる。
【0097】
酸素飽和度を求める際、従来はG1画像を波長帯域546±3nmから570±3nmの光を照射して得られる画像を除算した値を用いていたが、本実施形態では、B1画像データ/G1画像データの値を用いている。このようにすることにより、酸素飽和度指標値(テーブル)の解像度を向上させることができるので、精度良く生体組織の酸素飽和度を求めることができるようになる(図13参照)。なお、G1画像データを、B1画像データとG1画像データとR1画像データとの線形結合によって除算することにより、散乱光の影響を除去した相対的ヘモグロビン濃度を算出することができるようになる。
【0098】
また、生体組織において、ヘモグロビン濃度が第1閾値以上で、かつ酸素飽和度が第2閾値未満である特徴条件を満たす箇所を特定し、当該特徴条件を満たす箇所をそれ以外の箇所と区別した表示形態を採る特徴画像を生成し、当該特徴画像を画面上に表示するようにしてもよい。このようにすることにより、癌細胞が活動している可能性が高い箇所(癌に罹患している可能性が高い箇所)を特定し、その箇所をさらに精査することが可能となるため、より正確に被検者を診断することができるようになる。
【0099】
さらに、本実施形態による内視鏡システムは、G2画像データをBlue波長領域に割り当て、R2画像データをGreen波長領域に割り当てることにより、生体組織の表面に付着する血液に由来する画像データのレベルを低くして血液を透明化した血液透明化画像を生成することができる。この血液透明化画像を画面上に表示することにより、術者が被検者の生体組織に出血した箇所があった場合でも、視界良好な状態で施術を継続することが可能となる。
【0100】
なお、本実施形態による内視鏡システムは、R1画像データ、G1画像データ、およびB1画像データを生成する第1撮像素子と、R2画像データ、G2画像データ、およびB2画像データを生成する第2撮像素子と、を少なくとも含むようにしてもよい。
【0101】
また、本実施形態では、フィルタを用いて各波長帯域の光を生成したが、これに限定されず、フィルタを用いずに、上記各波長帯域の光を出射するレーザ光源装置(LED光源装置)を用いて各波長帯域の画像データ(R1~B2画像データ)を取得するようにしてもよい。
さらに、第3光学フィルタ(図4)によって得られる各波長帯域の光を照射して得られる各RGB画像データをさらに用いて特殊画像を生成するようにしてもよい。このようにすることにより、さらに多種類の観察形態を提供することができるようになる。
【0102】
(2)本実施形態(変形例4)によれば、広帯域光に基づく画像と狭帯域光に基づく画像により、生体組織の分光特性の狭帯域における変化度合(特性の曲り具合)を演算して出力する。この際、狭帯域光と広帯域光との間には光量差があるので(狭帯域光の方が暗い)、2つ設けた撮像素子(CMOSセンサ)の露光時間に差を設けている。つまり、狭帯域光を撮像する撮像素子の露光時間を、広帯域光を撮像する撮像素子の露光時間よりも長く(約2倍から2.5倍程度)設定する。このようにすることにより、狭帯域光と広帯域光との間に存在する光量差による演算誤差を低減することが可能となる。なお、広帯域光は、波長域が524±3nmから582±3nmまでの光であり、狭帯域光は、波長域が546±3nmから570±3nmまでの光である。
【0103】
(3)本実施形態(変形例5)によれば、光学素子(ビームスプリッタ)において、光分割膜の光分割膜の代わりに光学フィルタ(上記第1光学フィルタ(図2参照))の層を設けている。この場合、照明光を生体組織に照射することによって生じる生体組織からの反射光は、所定波長域組の光である第1波長域光(452±3nmから502±3nmの光、524±3nmから582±3nmの光、および630±3nmから700±3nmの光)が光学フィルタの層で透過する。一方、所定波長域組以外の波長組の光である第2波長域光(400±3nmから452±3nmまでの光、502±3nmから524±3nmの光、および582±3nmから630±3nmの光)を光学フィルタの層で反射する。そして、第1撮像部(CMOSセンサ)が第1波長域光に基づいて、第1画像データを生成し、第2撮像部(別のCMOSセンサ)が第2波長域光に基づいて、第2画像データを生成する。さらに、画像処理部は、第1画像データおよび前記第2画像データに基づいて、所定の画像処理(例えば、酸素飽和度演算、血管走行画像生成処理、血液透明化処理など)を実行する。画像処理結果はモニタ300の表示画面に表示される。
【0104】
<本開示の特定事項>
(1)特定事項1
白色光を生体組織に照射して画像を取得する通常観察モード、および特定波長帯の光を生体組織に照射して画像を取得する特殊観察モードでの動作が可能な内視鏡システムであって、
第1波長帯域のR、第2波長帯域のG、第3波長帯域のB、第4波長帯域のR、第5波長帯域のG、および第6波長帯域のBの光を少なくとも含む照明光を生体組織に照射する照明部と、
前記照明光を前記生体組織に照射することによって生じる前記生体組織からの反射光に基づいて画像データを生成する撮像部と、
前記撮像部から前記画像データを取得し、所定の画像処理を行う画像処理部と、
前記画像処理部による前記所定の画像処理によって生成された画像を画面上に表示する表示部と、を備え、
少なくとも前記第2波長帯域、前記第3波長帯域、前記第5波長帯域、および前記第6波長帯域は、酸素飽和度によらずに透過率が一定となる等吸収点の波長によって帯域の境界が規定されており、
前記第2波長帯域は、帯域の境界となる等吸収点以外の等吸収点をその帯域内に含み、 前記第6波長帯域は前記第3波長帯域よりも短波長帯域であり、前記第5波長帯域は前記第2波長帯域よりも短波長帯域であり、前記第4波長帯域は前記第1波長帯域よりも短波長帯域であり、
前記画像データは、前記第1波長帯域のRの光に対応するR1画像データと、前記第2波長帯域のGの光に対応するG1画像データと、前記第3波長帯域のBの光に対応するB1画像データと、前記第4波長帯域のRの光に対応するR2画像データと、前記第5波長帯域のGの光に対応するG2画像データと、前記第6波長帯域のBの光に対応するB2画像データと、を含み、
前記画像処理部は、前記G1画像データと、当該G1画像データ以外の前記R1画像データ、前記B1画像データ、前記R2画像データ、前記G2画像データ、および前記B2画像データのうち少なくとも1つの画像データと、を用いて画像処理を行うことにより特殊光画像を生成する、内視鏡システム。
【0105】
(2)特定事項2
特定事項1において、
前記第1波長帯域は、630±3nmから700±3nmであり、
前記第2波長帯域は、524±3nmから582±3nmであり、
前記第3波長帯域は、452±3nmから502±3nmであり、
前記第4波長帯域は、582±3nmから630±3nmであり、
前記第5波長帯域は、502±3nmから524±3nmであり、
前記第6波長帯域は、420±3nmから452±3nmであり、
452±3nm、502±3nm、524±3nm、および582±3nmは、前記等吸収点の波長である、内視鏡システム。
【0106】
(3)特定事項3
特定事項1または2において、
前記画像処理部は、
前記B2画像データを用いて、前記生体組織の表面から第1深さの位置の第1血管画像を生成する処理と、
前記G1画像データを用いて、前記第1深さよりも深い第2深さの位置の第2血管画像を生成する処理と、
前記R1画像データを用いて、前記第2深さよりも深い第3深さの位置の第3血管画像を生成する処理と、
を実行する、内視鏡システム。
【0107】
(4)特定事項4
特定事項1から3の何れか1項において、
前記画像処理部は、前記G1画像データを少なくとも前記R1画像データで除算することにより血液濃度を示すヘモグロビン濃度を算出し、当該ヘモグロビン濃度の値と前記B1画像データ/前記G1画像データの値とに基づいて、前記生体組織の酸素飽和度を求める、内視鏡システム。
【0108】
(5)特定事項5
特定事項4において、
前記画像処理部は、前記生体組織において、前記ヘモグロビン濃度が第1閾値以上で、かつ前記酸素飽和度が第2閾値未満である特徴条件を満たす箇所を特定し、当該特徴条件を満たす箇所をそれ以外の箇所と区別した表示形態を採る特徴画像を生成し、
前記表示部は、前記特徴画像を画面上に表示する、内視鏡システム。
【0109】
(6)特定事項6
特定事項4または5において、
前記画像処理部は、前記G1画像データを、前記B1画像データと前記G1画像データと前記R1画像データとの線形結合によって除算することにより、散乱光の影響を除去した相対的ヘモグロビン濃度を算出し、当該相対的ヘモグロビン濃度を用いて前記酸素飽和度を求める、内視鏡システム。
【0110】
(7)特定事項7
特定事項1から6の何れか1項において、
前記画像処理部は、前記G2画像データをBlue波長領域に割り当て、前記R2画像データをGreen波長領域に割り当てることにより、前記生体組織の表面に付着する血液に由来する画像データのレベルを低くして前記血液を透明化した血液透明化画像を生成し、
前記表示部は、前記血液透明化画像を画面上に表示する、内視鏡システム。
【0111】
(8)特定事項8
特定事項7において、
前記画像処理部は、さらに、前記G1画像データに所定の減算パラメータを乗算し、前記Blue波長領域に割り当てられる前記G2画像データと、前記Green波長領域に割り当てられる前記R2画像データと、前記減算パラメータを乗算した前記G1画像データと、を線形結合して前記血液透明化画像を生成する、内視鏡システム。
【0112】
(9)特定事項9
特定事項1から8の何れか1項において、
前記撮像部は、前記R1画像データ、前記G1画像データ、および前記B1画像データを生成する第1撮像素子と、前記R2画像データ、前記G2画像データ、および前記B2画像データを生成する第2撮像素子と、を含む、内視鏡システム。
【0113】
(10)特定事項10
白色光を生体組織に照射して画像を取得する通常観察モード、および特定波長帯の光を生体組織に照射して画像を取得する特殊観察モードでの動作が可能な内視鏡システムであって、
照明光を生体組織に照射する照明部と、
前記照明光を前記生体組織に照射することによって生じる前記生体組織からの反射光を分割し、少なくとも第1反射光および第2反射光を出力する光学素子と、
前記第1反射光のうち第1組の波長域の光を透過させる第1光学フィルタと、
前記第2反射光のうち、前記第1組の一部の波長域を含む第2組の波長域の光を透過させる第2光学フィルタと、
前記第1組の波長域の光に基づいて、所定波長域の光に対応する第1画像データを生成する第1撮像部と、
前記第2組の波長域の光に基づいて、前記所定波長域に含まれ、前記所定域よりも狭い波長域の光に対応する第2画像データを生成する第2撮像部と、
前記第1画像データを前記第2画像データにより除算することにより、前記所定波長域よりも狭い波長域における前記生体組織の分光特性の特徴を演算する画像処理部と、
前記画像処理部による演算結果を出力する出力部と、を備え、
前記第2撮像部の露光時間は、前記第1撮像部の露光時間よりも長く設定されている、内視鏡システム。
【0114】
(11)特定事項11
特定事項10において、
前記第1画像データは、波長域が524±3nmから582±3nmまでの光に対応する広帯域画像データであり、
前記第2画像データは、波長域が546±3nmから570±3nmまでの光に対応する狭帯域画像データである、内視鏡システム。
【0115】
(12)特定事項12
特定事項10または11において、
前記画像処理部は、546±3nmから570±3nmまでにおける前記生体組織の分光特性の変化度合を演算する、内視鏡システム。
【0116】
(13)特定事項13
特定事項10から12の何れか1項において、
前記第2撮像部の露光時間は、前記第1撮像部の露光時間よりも2倍以上長く設定されている、内視鏡システム。
【0117】
(14)特定事項14
白色光を生体組織に照射して画像を取得する通常観察モード、および特定波長帯の光を生体組織に照射して画像を取得する特殊観察モードでの動作が可能な内視鏡システムであって、
照明光を生体組織に照射する照明部と、
光分割膜の代わりに光学フィルタの層を有し、前記照明光を前記生体組織に照射することによって生じる前記生体組織からの反射光における所定波長域組の光である第1波長域光を前記光学フィルタの層で透過し、前記所定波長域組以外の波長組の光である第2波長域光を前記光学フィルタの層で反射し、前記第1波長域光および前記第2波長域光を出力する光学素子と、
前記第1波長域光に基づいて、前記所定波長域組の光に対応する第1画像データを生成する第1撮像部と、
前記第2波長域光に基づいて、前記所定波長域組以外の波長組の光に対応する第2画像データを生成する第2撮像部と、
前記第1画像データおよび前記第2画像データに基づいて、所定の画像処理を実行する画像処理部と、
前記画像処理部による演算結果を出力する出力部と、
を備える、内視鏡システム。
【0118】
(15)特定事項15
請求項14において、
前記第1波長域光と前記第2波長域光とは、波長組に関して相補関係にある光である、内視鏡システム。
【0119】
(16)特定事項16
特定事項14または15において、
前記光学フィルタは、452±3nmから502±3nmの光、524±3nmから582±3nmの光、および630±3nmから700±3nmの光を透過する特性を有する、内視鏡システム。
【0120】
(17)特定事項17
特定事項14において、
さらに、前記第2波長域光の一部の光を透過する補正光学フィルタを備え、
前記第2撮像部は、前記補正光学フィルタを透過した光に基づいて、前記第2画像データを生成する、内視鏡システム。
【0121】
(18)特定事項18
特定事項17において、
前記補正光学フィルタは、420±3nmから452±3nmの光、502±3nmから524±3nmの光、および582±3nmから630±3nmの光を透過する特性を有する、内視鏡システム。
【0122】
(19)特定事項19
特定波長帯の光を生体組織に照射して画像を取得する特殊観察モードで内視鏡システムを動作させる方法であって、
照明部が、第1波長帯域のR、第2波長帯域のG、第3波長帯域のB、第4波長帯域のR、第5波長帯域のG、および第6波長帯域のBの光を少なくとも含む照明光を生体組織に照射することと、
撮像部が、前記照明光を前記生体組織に照射することによって生じる前記生体組織からの反射光に基づいて画像データを生成することと、
画像処理部が、前記撮像部から前記画像データを取得し、所定の画像処理を行うことと、
表示部が、前記画像処理部による前記所定の画像処理によって生成された画像を画面上に表示することと、を含み、
少なくとも前記第2波長帯域、前記第3波長帯域、前記第5波長帯域、および前記第6波長帯域は、酸素飽和度によらずに透過率が一定となる等吸収点の波長によって帯域の境界が規定されており、
前記第2波長帯域は、帯域の境界となる等吸収点以外の等吸収点をその帯域内に含み、 前記第6波長帯域は前記第3波長帯域よりも短波長帯域であり、前記第5波長帯域は前記第2波長帯域よりも短波長帯域であり、前記第4波長帯域は前記第1波長帯域よりも短波長帯域であり、
前記画像データは、前記第1波長帯域のRの光に対応するR1画像データと、前記第2波長帯域のGの光に対応するG1画像データと、前記第3波長帯域のBの光に対応するB1画像データと、前記第4波長帯域のRの光に対応するR2画像データと、前記第5波長帯域のGの光に対応するG2画像データと、前記第6波長帯域のBの光に対応するB2画像データと、を含み、
前記画像データを生成する際に、前記画像処理部は、前記G1画像データと、当該G1画像データ以外の前記R1画像データ、前記B1画像データ、前記R2画像データ、前記G2画像データ、および前記B2画像データのうち少なくとも1つの画像データと、を用いて画像処理を行うことにより特殊光画像を生成する、方法。
【0123】
(20)特定事項20
特定事項19において、
前記第1波長帯域は、630±3nmから700±3nmであり、
前記第2波長帯域は、524±3nmから582±3nmであり、
前記第3波長帯域は、452±3nmから502±3nmであり、
前記第4波長帯域は、582±3nmから630±3nmであり、
前記第5波長帯域は、502±3nmから524±3nmであり、
前記第6波長帯域は、420±3nmから452±3nmであり、
452±3nm、502±3nm、524±3nm、および582±3nmは、前記等吸収点の波長である、方法。
【0124】
(21)特定事項21
特定事項19または20において、
前記画像処理部が前記所定の画像処理をすることは、
前記画像処理部が、前記B2画像データを用いて、前記生体組織の表面から第1深さの位置の第1血管画像を生成することと、
前記画像処理部が、前記G1画像データを用いて、前記第1深さよりも深い第2深さの位置の第2血管画像を生成することと、
前記画像処理部が、前記R1画像データを用いて、前記第2深さよりも深い第3深さの位置の第3血管画像を生成することと、
を含む、方法。
【0125】
(22)特定事項22
特定事項19から21の何れか1項において、
前記画像処理部が前記所定の画像処理をすることは、
前記画像処理部が、前記G1画像データを少なくとも前記R1画像データで除算することにより血液濃度を示すヘモグロビン濃度を算出することと、
前記画像処理部が、前記ヘモグロビン濃度の値と前記B1画像データ/前記G1画像データの値とに基づいて、前記生体組織の酸素飽和度を求めることと、
を含む、方法。
【0126】
(23)特定事項23
特定事項22において、
前記画像処理部が前記所定の画像処理をすることは、
前記画像処理部が、前記生体組織において、前記ヘモグロビン濃度が第1閾値以上で、かつ前記酸素飽和度が第2閾値未満である特徴条件を満たす箇所を特定することと、
前記画像処理部が、前記特徴条件を満たす箇所をそれ以外の箇所と区別した表示形態を採る特徴画像を生成することと、を含み、
前記表示部は、前記特徴画像を画面上に表示する、方法。
【0127】
(24)特定事項24
特定事項22または23において、
前記画像処理部は、前記G1画像データを、前記B1画像データと前記G1画像データと前記R1画像データとの線形結合によって除算することにより、散乱光の影響を除去した相対的ヘモグロビン濃度を算出し、当該相対的ヘモグロビン濃度を用いて前記酸素飽和度を求める、方法。
【0128】
(25)特定事項25
特定事項19から24の何れか1項において、
前記画像処理部が前記所定の画像処理をすることは、
前記画像処理部が、前記G2画像データをBlue波長領域に割り当て、前記R2画像データをGreen波長領域に割り当てることにより、前記生体組織の表面に付着する血液に由来する画像データのレベルを低くして前記血液を透明化した血液透明化画像を生成することを含み、
前記表示部は、前記血液透明化画像を画面上に表示する、方法。
【0129】
(26)特定事項26
特定事項25において、
前記画像処理部が前記所定の画像処理をすることは、
前記画像処理部が、前記G1画像データに所定の減算パラメータを乗算し、前記Blue波長領域に割り当てられる前記G2画像データと、前記Green波長領域に割り当てられる前記R2画像データと、前記減算パラメータを乗算した前記G1画像データと、を線形結合して前記血液透明化画像を生成する、方法。
【0130】
(27)特定事項27
特定事項19から26の何れか1項において、
前記撮像部は、第1撮像素子と、第2撮像素子とを含み、
前記第1撮像素子が、前記R1画像データ、前記G1画像データ、および前記B1画像データを生成し、前記第2撮像素子が、前記R2画像データ、前記G2画像データ、および前記B2画像データを生成する、方法。
【符号の説明】
【0131】
1 内視鏡システム
100 電子スコープ
108 固体撮像素子
110 ドライバ信号処理部
200 プロセッサ
202 システムコントローラ
204 タイミングコントローラ
208 ランプ
220 画像処理部
230 分析処理部
260 光学フィルタ装置
262 光学フィルタ
264 フィルタ駆動部
300 モニタ
2301 画像取得部
2302 補正演算部
2303 血管走行画像生成部
2304 特徴領域特定処理部
2306 表示処理部
2307 内部メモリ
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23