(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-02-03
(45)【発行日】2022-02-14
(54)【発明の名称】内視鏡装置、内視鏡装置の作動方法及びプログラム
(51)【国際特許分類】
A61B 1/045 20060101AFI20220204BHJP
A61B 1/00 20060101ALI20220204BHJP
【FI】
A61B1/045 610
A61B1/00 513
(21)【出願番号】P 2020523874
(86)(22)【出願日】2018-06-05
(86)【国際出願番号】 JP2018021503
(87)【国際公開番号】W WO2019234815
(87)【国際公開日】2019-12-12
【審査請求日】2020-10-29
(73)【特許権者】
【識別番号】000000376
【氏名又は名称】オリンパス株式会社
(74)【代理人】
【識別番号】100104710
【氏名又は名称】竹腰 昇
(74)【代理人】
【識別番号】100124682
【氏名又は名称】黒田 泰
(74)【代理人】
【識別番号】100090479
【氏名又は名称】井上 一
(74)【代理人】
【識別番号】100166523
【氏名又は名称】西河 宏晃
(72)【発明者】
【氏名】森田 恵仁
【審査官】▲高▼ 芳徳
(56)【参考文献】
【文献】特開2017-192565(JP,A)
【文献】特開2016-067706(JP,A)
【文献】特開2018-51065(JP,A)
【文献】国際公開第2018/079116(WO,A1)
【文献】特開2017-158670(JP,A)
【文献】特開2018-38675(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 1/00 - 1/32
(57)【特許請求の範囲】
【請求項1】
第1の光
、第2の光、
及び第3の光を照明光として発生する光源部と、
前記照明光が照射された生体組織からの戻り光を撮像する撮像部と、
前記撮像部により撮像された前記第1の光
に対応する第1の画像、前記第2の光
に対応する第2の画像、
及び前記第3の光に対応する
第3の画像
に基づいて表示画像を生成する画像処理部と、
を含み、
前記第1の光は、ヘモグロビン吸光係数が最大値となる波長を含む所定の波長範囲にピーク波長を有し、
前記第2の光は、前記ヘモグロビン吸光係数が最小値となる波長と、前記最小値となる波長より短波長側において前記ヘモグロビン吸光係数の1つ目の極大値となる波長との間にピーク波長を有し、
前記第3の光は、前記第1の光のピーク波長と、前記第2の光のピーク波長との間にピーク波長を有し、前記第2の光よりも前記生体組織における散乱係数が高
く、
前記画像処理部は、
前記第1の画像に基づいて、前記生体組織における粘膜の色調を強調する処理と、
前記第2の画像、及び前記第3の画像に基づいて、前記生体組織における粘膜下層の血管を強調する処理と、
を前記表示画像に対して行うことを特徴とする内視鏡装置。
【請求項2】
請求項1において、
前記画像処理部は、
前記第1の画像に基づいて、前記生体組織における粘膜の赤味を強調する色強調処理を前記表示画像に対して行い、
前記第2の画像及び前記第3の画像に基づいて、前記生体組織における粘膜下層の血管を強調する構造強調処理を前記表示画像に対して行うことを特徴とする内視鏡装置。
【請求項3】
請求項2において、
前記画像処理部は、
前記第1の画像の信号値が小さいほど、前記色強調処理の強調係数を大きくし、
前記第2の画像から所定周波数帯域の周波数成分を第1の周波数成分として抽出し、前記第3の画像から所定周波数帯域の周波数成分を第2の周波数成分として抽出し、前記第1の周波数成分と前記第2の周波数成分との間の相関に基づいて前記構造強調処理の強調係数を設定することを特徴とする内視鏡装置。
【請求項4】
請求項
3において、
前記画像処理部は、
前記第1の周波数成分が大きいほど前記構造強調処理の強調係数を大きくし、且つ、前記第2の周波数成分が大きいほど前記構造強調処理の強調係数を大きくすることを特徴とする内視鏡装置。
【請求項5】
請求項1において、
前記第1の光は、前記所定の波長範囲である415±20nmの範囲内にピーク波長を有し、
前記第2の光は、600±20nmの範囲内にピーク波長を有することを特徴とする内視鏡装置。
【請求項6】
請求項1において、
前記第1の光及び前記第2の光は、前記第3の光の波長帯域よりも狭い波長帯域の狭帯域光であることを特徴とする内視鏡装置。
【請求項7】
ヘモグロビン吸光係数が最大値となる波長を含む所定の波長範囲にピーク波長を有
する第1の光、前記ヘモグロビン吸光係数が最小値となる波長と、前記最小値となる波長より短波長側において前記ヘモグロビン吸光係数の1つ目の極大値となる波長との間にピーク波長を有
する第2の光、及び前記第1の光のピーク波長と、前記第2の光のピーク波長との間にピーク波長を有し、前記第2の光よりも生体組織における散乱係数が高い
第3の光を照明光として発生し、
前記照明光が照射された前記生体組織からの戻り光を撮像し、
撮像された前記第1の光
に対応する第1の画像、前記第2の光
に対応する第2の画像、
及び前記第3の光に対応する
第3の画像
に基づいて表示画像を生成し、
前記第1の画像に基づいて、前記生体組織における粘膜の色調を強調する処理と、前記第2の画像、及び前記第3の画像に基づいて、前記生体組織における粘膜下層の血管を強調する処理と、を前記表示画像に対して行うことを特徴とする内視鏡装置の作動方法。
【請求項8】
ヘモグロビン吸光係数が最大値となる波長を含む所定の波長範囲にピーク波長を有
する第1の光、前記ヘモグロビン吸光係数が最小値となる波長と、前記最小値となる波長より短波長側において前記ヘモグロビン吸光係数の1つ目の極大値となる波長との間にピーク波長を有
する第2の光、及び前記第1の光のピーク波長と、前記第2の光のピーク波長との間にピーク波長を有し、前記第2の光よりも生体組織における散乱係数が高い
第3の光を照明光として発生し、
前記照明光が照射された前記生体組織からの戻り光を撮像し、
撮像された前記第1の光及び前記第2の光、前記第3の光に対応する第1の画像及び第2の画像、第3の画像
に基づいて表示画像を生成し、
前記第1の画像に基づいて、前記生体組織における粘膜の色調を強調する処理と、前記第2の画像、及び前記第3の画像に基づいて、前記生体組織における粘膜下層の血管を強調する処理と、を前記表示画像に対して行うステップを、
コンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、内視鏡装置、内視鏡装置の作動方法及びプログラム等に関する。
【背景技術】
【0002】
胃の炎症性疾患には胃炎又はスキルス胃がん等の種々の疾患がある。内視鏡装置を用いた診断において、これらの疾患は画像所見から判断される。例えば粘膜が萎縮するタイプの胃炎は、白色光画像において血管像を確認することで判断される。或いは粘膜が肥厚するタイプの胃炎は、送気により胃を伸展させた状態において胃壁の襞が消失しないことを確認することで、判断される。或いはスキルス胃がんは、胃壁の襞の走行形状及び密度と、送気により胃を伸展させても襞の間隔が拡がらないこととを確認することで、判断される。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2001-170009号公報
【文献】特許第5362149号公報
【文献】特開2016-67775号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
内視鏡装置において、光源の波長又は画像処理を工夫することで診断を支援する手法が例えば特許文献1~3に開示されている。しかし、上述のような胃の炎症性疾患に好適な画像を提示できる内視鏡装置はなかった。
【0005】
例えば、特許文献1には、NBI(Narrow Band Imaging)と呼ばれる手法が開示されている。NBIでは、青色の狭帯域光と緑色の狭帯域光を照明光として用いることで、粘膜の炎症等を観察することができる。しかし、NBIでは粘膜の厚さを示す情報等は取得されない。また、特許文献2、3には、中心波長が600nm付近の照明光を用いることで、粘膜よりも下層の血管を観察する手法が開示されている。しかし、特許文献2、3では表示画像が通常の白色光画像にならないため、炎症を示す粘膜の色調等を白色光画像において観察することはできない。以上のように、特許文献1~3には、胃の炎症性疾患を総合的に診断するための粘膜の色調及び厚さ等の情報を表示することについて開示されていない。
【0006】
本発明の幾つかの態様によれば、胃の炎症性疾患に好適な画像を提示できる内視鏡装置、内視鏡装置の作動方法及びプログラム等を提供できる。
【課題を解決するための手段】
【0007】
本発明の一態様は、第1の光及び第2の光、第3の光を照明光として発生する光源部と、前記照明光が照射された生体組織からの戻り光を撮像する撮像部と、前記撮像部により撮像された前記第1の光及び前記第2の光、前記第3の光に対応する第1の画像及び第2の画像、第3の画像を用いて画像処理を行う画像処理部と、を含み、前記第1の光は、ヘモグロビン吸光係数が最大値となる波長を含む所定の波長範囲にピーク波長を有し、前記第2の光は、前記ヘモグロビン吸光係数が最小値となる波長と、前記最小値となる波長より短波長側において前記ヘモグロビン吸光係数の1つ目の極大値となる波長との間にピーク波長を有し、前記第3の光は、前記第1の光のピーク波長と、前記第2の光のピーク波長との間にピーク波長を有し、前記第2の光よりも前記生体組織における散乱係数が高い内視鏡装置に関係する。
【0008】
また本発明の他の態様は、第1の光は、ヘモグロビン吸光係数が最大値となる波長を含む所定の波長範囲にピーク波長を有し、第2の光は、前記ヘモグロビン吸光係数が最小値となる波長と、前記最小値となる波長より短波長側において前記ヘモグロビン吸光係数の1つ目の極大値となる波長との間にピーク波長を有し、第3の光は、前記第1の光のピーク波長と、前記第2の光のピーク波長との間にピーク波長を有し、前記第2の光よりも生体組織における散乱係数が高い場合において、前記第1の光及び前記第2の光、前記第3の光を照明光として発生し、前記照明光が照射された前記生体組織からの戻り光を撮像し、撮像された前記第1の光及び前記第2の光、前記第3の光に対応する第1の画像及び第2の画像、第3の画像を用いて画像処理を行う内視鏡装置の作動方法に関係する。
【0009】
また本発明の更に他の態様は、第1の光は、ヘモグロビン吸光係数が最大値となる波長を含む所定の波長範囲にピーク波長を有し、第2の光は、前記ヘモグロビン吸光係数が最小値となる波長と、前記最小値となる波長より短波長側において前記ヘモグロビン吸光係数の1つ目の極大値となる波長との間にピーク波長を有し、第3の光は、前記第1の光のピーク波長と、前記第2の光のピーク波長との間にピーク波長を有し、前記第2の光よりも生体組織における散乱係数が高い場合において、前記第1の光及び前記第2の光、前記第3の光を照明光として発生し、前記照明光が照射された前記生体組織からの戻り光を撮像し、撮像された前記第1の光及び前記第2の光、前記第3の光に対応する第1の画像及び第2の画像、第3の画像を用いて画像処理を行うステップを、コンピュータに実行させるプログラムに関係する。
【図面の簡単な説明】
【0010】
【
図4】照明光を胃の正常粘膜に照射したときに得られる画像について説明する図。
【
図5】照明光を胃の非正常粘膜に照射したときに得られる画像について説明する図。
【
図6】表層粘膜の厚み及び表層粘膜の色調変化と、種々の胃の炎症性疾患との関係を示す図。
【発明を実施するための形態】
【0011】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【0012】
1.内視鏡装置
【0013】
図1は、内視鏡装置1の構成例である。内視鏡装置1は、本体部5と、コネクターにより本体部に対して着脱可能な挿入部2と、本体部5が出力する画像を表示する表示部6と、外部I/F部19とを含む。なお、本体部5はコントローラー、又は制御装置、処理装置とも呼ぶ。挿入部2はスコープとも呼ぶ。表示部6は表示装置、又はディスプレイとも呼ぶ。
【0014】
挿入部2は、生体内に挿入され、生体を照明したり、生体を撮像したりする。本実施形態において、食道と胃等の上部消化管を生体として想定できるが、内視鏡装置1により観察する対象は上部消化管に限定されない。挿入部2は、照明光を被写体へ照射する照明光学系7と、被写体からの反射光を撮像する撮像部10とを含む。なお、撮像部10を撮像光学系、又は撮像装置とも呼ぶ。
【0015】
照明光学系7は、照明光を導光するライトガイドケーブル8と、ライトガイドケーブル8が導光した照明光を被写体に向けて拡散させる照明レンズ9と、を含む。撮像部10は、被写体を結像させる対物レンズ11と、対物レンズ11により結像された像を撮影する撮像素子12と、を含む。撮像素子12は、モノクロ撮像素子又はカラー撮像素子であり、例えばCMOSイメージセンサー又はCCDイメージセンサーである。
【0016】
本体部5は、内視鏡装置1の制御と、画像処理とを行う。本体部5は、照明光を発生する光源部3と、処理部4とを含む。なお、光源部3は光源装置とも呼ぶ。処理部4は処理回路、又は処理装置とも呼ぶ。
【0017】
光源部3は、光源LS1~LSnと、入射部20とを含む。nは3以上の整数である。光源LS1~LSnの各々は、所定スペクトルの光を出射する。例えば、光源LS1~LSnの各々は、LED(Light Emitting Diode)又はレーザーである。入射部20は、光源LS1~LSnが出射した光をライトガイドケーブル8に入射させる。例えば、入射部20はミラー及びダイクロイックミラーで構成される。
【0018】
処理部4は、撮像素子12が撮像した画像を記憶するメモリ16と、メモリ16から入力される画像を処理する画像処理部17と、内視鏡装置1を制御する制御部18と、を含む。なお、画像処理部17を画像処理回路、又は画像処理装置とも呼ぶ。制御部18を制御回路、又は制御装置とも呼ぶ。
【0019】
制御部18は、撮像素子12が撮像を行うタイミングと、画像処理部17の動作と、光源LS1~LSnが発光するタイミングと、を制御する。また制御部18は、外部I/F部19から入力される操作情報に基づいて、内視鏡装置1を制御する。外部I/F部19は、ユーザーが内視鏡装置1を操作するための操作装置であり、例えばボタン、又はダイヤル、タッチパネル等である。外部I/F部19は挿入部2、及び本体部5、表示部6の少なくとも1つに設けることができる。
【0020】
本実施形態では、例えば面順次方式の撮影を行う。面順次方式とは、複数の光を順次に被写体に照射し、その各光が照射されたときの被写体像を撮影する方式である。具体的には、制御部18は、光源LS1~LSnを1つずつ順次に発光させ、撮像素子12は、各発光タイミングで撮像を行う。なお、1回の発光タイミングで発光させる光源の数は1つに限定されず、1回の発光タイミングで2以上の光源を同時に発光させてもよい。
【0021】
メモリ16は、各発光タイミングで撮像された画像を記憶する。例えば光源LS1~LSnを1つずつ順次に発光させる場合を例にとると、メモリ16はn枚の撮像画像を記憶する。n枚の撮像画像は、光源LS1~LSnが発光したときに撮像された画像である。面順次方式により順次に画像が撮像される毎に、メモリ16の記憶内容が更新される。なお、メモリ16が記憶するフレーム数はnに限定されず、画像処理に必要なフレーム数だけメモリ16が記憶できるように構成すればよい。
【0022】
画像処理部17は、メモリ16に記憶される撮像画像から表示画像を生成する。後述するように、表示画像は基本的には白色光画像である。白色光画像は、白色光を被写体に照射したときに得られる画像、又はそれと同等とみなせる画像である。例えば、面順次方式の撮像により画像が撮像される毎に1フレームの白色光画像が生成されることで、動画像が生成される。また、画像処理部17は、メモリ16に記憶される撮像画像を用いて、表示画像に対して強調処理を行う。画像処理部17は、強調処理後の表示画像を表示部6に出力する。表示部6は、例えば液晶ディスプレイ等である。なお、画像処理部17の詳細については、後述する。
【0023】
上記では面順次方式を例に説明したが、光源LS1~LSnを同時に発光させてもよい。この場合、撮像素子12として、各画素にカラーフィルターが設けられた撮像素子を用いる。そして、画像処理部17は、撮像画像から各カラーチャンネルの画像を抽出し、その各カラーチャンネルの画像を用いて画像処理を行う。例えば、あるカラーフィルターが光源LS1の光を透過する場合、そのカラーフィルターに対応したカラーチャンネルの画像は、光源LS1の光を被写体に照射したときの撮像画像とみなすことができる。
【0024】
2.光源部
【0025】
図2は、光源部3が発生する照明光の第1の特性例である。
図2において、HbO
2は、酸化ヘモグロビンの吸光度スペクトルを示し、Hbは、ヘモグロビンの吸光度スペクトルを示す。SVは、光源LS1が出射する光の強度スペクトルを示し、SGは、光源LS2が出射する光の強度スペクトルを示し、SAは、光源LS3が出射する光の強度スペクトルを示す。この例ではn=3である。なお、以下では酸化ヘモグロビンの吸光度スペクトルを例に説明するものとし、酸化ヘモグロビンを単にヘモグロビンと記載する。
【0026】
スペクトルSVは紫色の波長帯域を有する。具体的には、スペクトルSVは、ピーク波長λv=415nmにおいてピークを有する。ピーク波長とは、光の強度が最大となる波長である。415nmはヘモグロビンの吸光度が最大となる波長である。スペクトルSVは狭帯域であり、例えば半値幅は数nm~数10nmである。なお、ピーク波長λvは415nmに限定されず、例えばλvは415nm±20nmの範囲に属する波長であり、望ましくはλvは415nm±10nmの範囲に属する波長である。またスペクトルSVは狭帯域に限定されず、波長λvにピークを有するスペクトルであればよい。
【0027】
スペクトルSGは、緑色の波長帯域を有する。具体的には、スペクトルSGは500nm~580nmの波長帯域を有しており、そのピーク波長λgは540nm付近である。なお、スペクトルSGは、緑色とみなせる波長帯域を有していればよく、上記の波長帯域やピーク波長に限定されるものではない。具体的には、スペクトルSVのピーク波長λvとスペクトルSAのピーク波長λaの間に、スペクトルSGのピーク波長λgが存在していればよい。
【0028】
スペクトルSAは、アンバー色又は褐色の波長帯域を有する。具体的には、スペクトルSAは、ピーク波長λa=600nmにおいてピークを有する。スペクトルSAは狭帯域であり、例えば半値幅は数nm~数10nmである。ヘモグロビンのスペクトルは、580nm付近において極大値となり、670nm付近において最小値となる。その極大値と極小値の間において吸光度は単調減少している。ピーク波長λa=600nmは、ヘモグロビンのスペクトルが極大値となる580nmと、極小値となる670nmとの間に存在している。なお、ピーク波長λaは600nmに限定されない。具体的には、ピーク波長λaがスペクトルSGよりも長波長側に離れており、且つ、ピーク波長λaにおいて出来るだけヘモグロビンの吸光度が高いことが望ましい。例えば、ピーク波長λaは、580nm~630nmの範囲に属する波長であればよい。
【0029】
面順次方式を用いた場合、光源LS1、LS2、LS3が順次に発光することで、スペクトルSV、SG、SAの光が順次に被写体に照射される。なお、スペクトルSV、SG、SAの光を照射する順序は、これに限定されず、任意の順序でよい。また、上述したように照明手法は面順次方式に限定されない。
【0030】
図3は、光源部3が発生する照明光の第2の特性例である。
図2で説明したスペクトルについては同一の符号を付し、その説明を省略する。
図3において、SBは、光源LS4が出射する光の強度スペクトルを示し、SRは、光源LS5が出射する光の強度スペクトルを示す。この例ではn=5である。
【0031】
スペクトルSBは、青色の波長帯域を有する。具体的には、スペクトルSBは430nm~500nmの波長帯域を有しており、そのピーク波長λbは465nm付近である。なお、スペクトルSBは、青色とみなせる波長帯域を有していればよく、上記の波長帯域やピーク波長に限定されるものではない。具体的には、スペクトルSGのピーク波長λgとスペクトルSVのピーク波長λvの間に、スペクトルSBのピーク波長λbが存在していればよい。
【0032】
スペクトルSRは、赤色の波長帯域を有する。具体的には、スペクトルSRは610nm~700nmの波長帯域を有しており、そのピーク波長λrは655nm付近である。なお、スペクトルSRは、赤色とみなせる波長帯域を有していればよく、上記の波長帯域やピーク波長に限定されるものではない。具体的には、スペクトルSRのピーク波長λrが、スペクトルSAのピーク波長λaよりも長波長側に存在していればよい。
【0033】
面順次方式を用いた場合、光源LS1、LS2、LS3、LS4、LS5が順次に発光することで、スペクトルSV、SG、SA、SB、SRの光が順次に被写体に照射される。なお、スペクトルSV、SG、SA、SB、SRの光を照射する順序は、これに限定されず、任意の順序でよい。また、上述したように照明手法は面順次方式に限定されない。
【0034】
3.画像処理の手法
【0035】
上述したような光を被写体に照射し、その像を撮影することで各波長帯域における画像が得られる。以下では、この画像を用いた画像処理の手法を説明する。以下では、例えばスペクトルSVの光をSV光と記載する。また、例えばスペクトルSVの光を照射したときに撮像した画像をSV画像と記載する。
【0036】
図4を用いて、SV光、SG光、SA光を胃の正常粘膜に照射したときに得られる画像について説明する。
【0037】
可視光においては、波長が短いほど生体内における散乱が強くなる。光が生体内に入射すると、散乱により光の強度が減衰していくので、散乱が強いほど光が到達する深さは浅くなる。即ち、波長が短いほど光が到達する生体の深さが浅くなる。
【0038】
図4に示すように、SV光は、SG光及びSA光よりも波長が短いため、SG光及びSA光よりも浅い粘膜層にしか到達しない。具体的には、胃壁は、表層である粘膜固有層と、粘膜固有層よりも深層である粘膜下層を有している。SV光は、粘膜固有層により散乱されると共に、粘膜固有層に存在するヘモグロビンにより吸収される。粘膜固有層には毛細血管が存在するので、SV画像は粘膜固有層の充血の度合いを反映した画像となる。即ち、粘膜固有層が充血しているほどSV光の吸光が大きくなるため、SV画像が暗くなる。
【0039】
SA光は、SV光及びSG光よりも波長が長いため、SV光及びSG光よりも深い粘膜層に到達する。具体的には、SA光は、粘膜下層まで到達するので粘膜固有層及び粘膜下層により散乱されると共に、粘膜固有層及び粘膜下層に存在するヘモグロビンにより吸収される。粘膜下層には、粘膜固有層の毛細血管に比べて太い血管が存在するので、SA画像には粘膜下層の血管が写る。なお、SA光は、粘膜固有層における散乱及び吸収の影響も受けるが、長波長であるため散乱の程度が小さいので、SA画像としては粘膜下層の血管像が得られる。
【0040】
SG光は、SV光よりも波長が長く、且つSA光よりも波長が短いため、SV光よりも深く且つSA光よりも浅い部分に到達する。具体的には、SG光は粘膜固有層と粘膜下層の間くらいの深さに到達するので、SG光の一部が粘膜下層に到達する。このため、SG画像としては、粘膜下層の血管像が得られるが、その血管像はSA画像における血管像よりもコントラストが低い。即ち、SG画像には粘膜下層の血管が写っているが、SA画像における血管像よりも薄い血管像となる。
【0041】
次に
図5を用いて、SV光、SG光、SA光を胃の非正常粘膜に照射したときに得られる画像について説明する。
【0042】
図5の上図及び下図に示すように、SV光は粘膜固有層の毛細血管により吸収される。胃の粘膜を白色光画像で見た場合、粘膜固有層における毛細血管の密度、及び毛細血管の充血度合いに応じて、粘膜の赤味が変化する。即ち、SV画像からは、表層粘膜の色味に関する情報が得られる。具体的には、
図5の上図に示すように、粘膜固有層が炎症等により充血している場合には、白色光画像において胃の粘膜が発赤した状態に見える。このとき、粘膜固有層におけるSV光の吸収が大きいので、SV画像が暗くなる。一方、
図5の下図に示すように、粘膜固有層の毛細血管が減少している場合には、白色光画像において胃の粘膜が退色した状態に見える。このとき、粘膜固有層におけるSV光の吸収が小さいので、SV画像が明るくなる。このように、SV画像の明るさが表層粘膜の色調変化を表している。
【0043】
図5の左図及び右図に示すように、SG光及びSA光はSV光よりも深い部分に到達する。このとき、SG光及びSA光が粘膜下層に到達するか否かは、粘膜固有層の厚さから影響を受ける。即ち、SG画像及びSA画像からは、表層粘膜の厚みに関する情報が得られる。具体的には、
図5の左図に示すように、粘膜固有層が萎縮等により薄くなっている場合には、SG光及びSA光が粘膜下層に到達する。このため、SG画像及びSA画像の両方において粘膜下層の血管像が高コントラストになる。一方、
図5の右図に示すように、粘膜固有層が肥厚している場合には、SG光及びSA光が厚い粘膜固有層により散乱され、粘膜下層まで達する光量が少なくなる。このため、SG画像及びSA画像の両方において粘膜下層の血管像が低コントラストになる。
【0044】
以上のように、本実施形態によればSV画像により表層粘膜の色調変化に関する情報が得られる。またSG画像及びSA画像により表層粘膜の厚みに関する情報が得られる。本実施形態では、これらの情報を用いて白色光画像を強調処理することで、胃の炎症性疾患を医師が診断する際に、イメージングによる診断支援を行うことができる。
【0045】
さて、内視鏡装置を用いて胃の疾患を診断する従来手法として、以下のような手法が知られている。
【0046】
例えば、萎縮性の胃炎は、表層粘膜が薄くなる特徴を有する。この胃炎を診断する際には、白色光画像において血管透見像を確認する。血管透見像とは、粘膜を通して透けて見える血管像である。即ち、萎縮性の胃炎では表層粘膜が薄くなっているため、その表層粘膜から粘膜下層の血管が透けて見えることを、画像所見において確認する。また、皺襞腫大の胃炎は、粘膜の襞が肥厚する特徴を有する。皺襞は、「しわ」及び「ひだ」のことである。この胃炎を診断する際には、送気により胃を伸展させた状態において、胃壁の襞が消失しないことを確認する。また、スキルス胃がんは、がん細胞が粘膜下を伸展しており、且つ線維性組織が豊富に生成されている特徴を有する。この胃がんを診断する際には、蛇行する襞が高い密度で走行していること、及び送気により胃を伸展させた状態において襞の間が拡がらないことを確認する。
【0047】
以上のような従来手法を用いて胃の炎症性疾患を診断することができるが、例えば画像強調等のイメージング手法により様々な胃の炎症性疾患を診断支援する適切な手法は、従来にはなかった。また、従来の診断手法により診断可能となる状態まで疾患が進む前に、イメージングにより様々な胃の炎症性疾患を診断支援する手法は、従来にはなかった。
【0048】
そこで本実施形態では、内視鏡装置1は、第1の光及び第2の光、第3の光を照明光として発生する光源部3と、照明光が照射された生体組織からの戻り光を撮像する撮像部10と、撮像部10により撮像された第1の光及び第2の光、第3の光に対応する第1の画像及び第2の画像、第3の画像を用いて画像処理を行う画像処理部17と、を含む。第1の光は、ヘモグロビン吸光係数が最大値となる波長を含む所定の波長範囲にピーク波長を有する。
図2及び
図3において、第1の光はSV光であり、SV光のピーク波長はλv=415nmである。第2の光は、ヘモグロビン吸光係数が最小値となる波長と、最小値となる波長より短波長側においてヘモグロビン吸光係数の1つ目の極大値となる波長との間にピーク波長を有する。
図2及び
図3において、第2の光はSA光であり、SA光のピーク波長λaは600nmである。また、ヘモグロビン吸光係数が最小値となる波長は670nm付近である。また、最小値となる波長より短波長側においてヘモグロビン吸光係数の1つ目の極大値となる波長は、580nm付近である。第3の光は、第1の光のピーク波長と、第2の光のピーク波長との間にピーク波長を有し、第2の光よりも生体組織における散乱係数が高い。
図2及び
図3において、第3の光はSG光であり、SG光のピーク波長λgは540nm付近である。
【0049】
本実施形態によれば、第1の光に対応する第1の画像としてSV画像が得られ、第2の光に対応する第2の画像としてSA画像が得られ、第3の光に対応する第3の画像としてSG画像が得られる。そして、SV画像により表層粘膜の色調変化に関する情報が得られると共に、SG画像及びSA画像により表層粘膜の厚みに関する情報が得られる。これにより、イメージングにより様々な胃の炎症性疾患を診断支援できる。以下、この点について
図6を用いて説明する。
【0050】
図6は、表層粘膜の厚み及び表層粘膜の色調変化と、種々の胃の炎症性疾患との関係を示す図である。
図6において、横軸は表層粘膜の厚みであり、縦軸は表層粘膜の色調変化である。例えば、表層粘膜が厚く、且つ表層粘膜の色調が正常粘膜に近いという画像所見が得られた場合、スキルス胃がんの可能性が示唆される。
【0051】
本実施形態によれば、表層粘膜の色調変化を、SV画像を用いて強調できる。また、表層粘膜の厚みを、SG画像及びSA画像を用いて強調できる。これにより、表層粘膜の色調変化及び表層粘膜の厚みという特徴を強調して表示させることが可能となり、その画像によって胃の炎症性疾患における診断支援を提供できる。
【0052】
また、本実施形態では送気による襞の伸展を観察する等の手法ではなく、画像強調等によるイメージング手法を用いた診断支援となっている。このため、送気による襞の伸展を観察する等の手法によって診断が可能となる前に、例えば表層粘膜の厚みが徐々に増してきている段階等において、診断支援できる。即ち、本実施形態の手法を用いることで、疾患が進行する前又は途中において、その状態を診断するための支援情報を提供できる。
【0053】
また本実施形態では、SV光(第1の光)は、所定の波長範囲である415±20nmの範囲内にピーク波長を有する。SA光(第2の光)は、600±20nmの範囲内にピーク波長を有する。
【0054】
図2及び
図3で説明したように、415nmはヘモグロビン吸光係数が最大値となる波長である。SV光のピーク波長を415±20nmの範囲内にすることで、SV光が高い吸光係数によりヘモグロビンに吸収される。これにより、表層粘膜の色調変化に対して、SV画像の明るさが高感度に変化するので、そのSV画像の明るさに基づいて表層粘膜の色調変化を効果的に強調できる。
【0055】
また
図2及び
図3で説明したように、600nmは、ヘモグロビンの吸光度スペクトルにおいて580nm付近の極大値と680nm付近の最小値との間に存在する。即ち、600nmの光は、SG光よりも散乱係数が高い長波長側であり、且つヘモグロビンの吸光係数が最小値よりも高くなっている。これにより、SA光のピーク波長を600±20nmの範囲内にすることで、SA光がSG光よりも粘膜の深い部分に到達し、且つSA光を用いて粘膜下層の血管を撮影することが可能となっている。
図5で説明したように、SG光とSA光が到達する深さが異なり、且つSG光及びSA光により血管が撮影可能であることで、SG画像及びSA画像から表層粘膜の厚みの情報を得ることができる。
【0056】
また本実施形態では、SV光及びSA光は、SG光(第3の光)の波長帯域よりも狭い波長帯域の狭帯域光である。例えば、狭帯域光の波長帯域は数nm~数10nmである。
【0057】
生体内における散乱係数は波長によって決まるので、波長帯域が広い光に比べて狭帯域光の方が、生体内において光が到達する深さを制御しやすい。このため、SV光及びSA光として狭帯域光を用いることで、表層粘膜の色調変化及び表層粘膜の厚みを、より正確に強調できる。
【0058】
また本実施形態では、画像処理部17は、SV画像(第1の画像)、及びSA画像(第2の画像)、SG画像(第3の画像)に基づいて、生体組織における粘膜の色調を強調する処理と、生体組織における粘膜下層の血管を強調する処理とを行う。具体的には、画像処理部17は、SV画像に基づいて生体組織の粘膜の色調を強調する処理を、白色光画像に対して行う。また画像処理部17は、SA画像及びSG画像に基づいて生体組織の粘膜下層の血管を強調する処理を、白色光画像に対して行う。
【0059】
本実施形態によれば、表層粘膜の色調に応じて明るさが変化するSV画像を用いて、生体組織における粘膜の色調を強調できる。また、表層粘膜の厚みに応じて血管像のコントラストが変化するSG画像及びSA画像を用いて、生体組織における粘膜下層の血管を強調できる。これにより、
図6で説明したように、表層粘膜の色調変化及び表層粘膜の厚みを指標として胃の炎症性疾患をイメージングにより診断支援できる。
【0060】
また本実施形態では、画像処理部17は、SA画像及びSG画像に基づいて表示画像の構造情報を強調する。表示画像は、撮像画像から生成された白色光画像である。
図2の例では、SV画像、及びSG画像、SA画像から白色光画像を生成する。
図3の例では、SB画像、及びSG画像、SR画像から白色光画像を生成する。或いは、SV画像、及びSB画像、SG画像、SA画像、SR画像から白色光画像を生成してもよい。
【0061】
SA画像及びSG画像に基づいて表示画像の構造情報を強調することで、生体組織における粘膜下層の血管を強調できる。粘膜下層の血管は表層粘膜の厚みに応じて見え方が変化するので、粘膜下層の血管を強調することで表層粘膜の厚みを支援情報として提示することができる。
【0062】
また本実施形態では、画像処理部17は、SA画像から所定周波数帯域の周波数成分を第1の周波数成分として抽出し、SG画像から所定周波数帯域の周波数成分を第2の周波数成分として抽出する。SA画像に適用する所定周波数帯域と、SG画像に適用する所定周波数帯域は、例えば同じ帯域であるが、異なっていてもよい。画像処理部17は、第1の周波数成分と第2の周波数成分との間の相関に基づいて強調係数を設定し、その強調係数を用いて表示画像の構造情報を強調する。
【0063】
所定周波数帯域は、SA画像及びSG画像から粘膜下層の血管を抽出できる周波数帯域に設定しておく。SA画像及びSG画像には同じ血管像が写っているが、表層粘膜の厚みに応じてコントラストが変化する。即ち、表層粘膜が薄い場合には両画像において血管像のコントラストが高くなり、表層粘膜が厚い場合には両画像においてコントラストが低くなり、表層粘膜が正常な厚さである場合にはSG画像において血管像のコントラストが低く且つSA画像において血管像のコントラストが高くなる。このような、SA画像とSG画像の間における血管像の相関を用いて、構造強調における強調係数を設定する。具体的には、表層粘膜が薄いほど粘膜下層の血管が強調される強調係数を設定する。このようにすれば、表層粘膜が薄いほど粘膜下層の血管を強調できるので、表層粘膜の厚みを表示画像から読み取りやすくなる。
【0064】
また本実施形態では、画像処理部17は、第1の周波数成分が大きいほど強調係数を大きくし、且つ、第2の周波数成分が大きいほど強調係数を大きくする。即ち、第1の周波数成分及び第2の周波数成分の両方が大きい場合に強調係数が大きくなり、第1の周波数成分及び第2の周波数成分の両方が小さい場合に強調係数が小さくなる。
【0065】
このようにすれば、SA画像における血管像のコントラストが高いほど強調係数が大きくなり、且つSG画像における血管像のコントラストが高いほど強調係数が大きくなる。これにより、表層粘膜が薄いほど粘膜下層の血管を強調できる。
【0066】
また本実施形態では、画像処理部17は、SV画像に基づいて表示画像の色情報を強調する。具体的には、粘膜の発赤がより鮮明に赤く見えるように強調する。また、粘膜の退色がより退色して見えるように強調する。
【0067】
SV画像に基づいて表示画像の色情報を強調することで、生体組織における表層粘膜の色調を強調できる。表層粘膜の色調を強調することで、表層粘膜における毛細血管の密度、及び毛細血管の充血度合いを支援情報として提示できる。これらの情報は、表層粘膜の炎症、又は表層粘膜の毛細血管の状態等を示しており、これらの情報に関する支援情報を提示することで、胃の炎症性疾患に関する診断を支援できる。
【0068】
また本実施形態では、画像処理部17は、SV画像の信号値に基づいて強調係数を設定し、その強調係数を用いて色情報を強調する。なお、信号値は画素値とも呼ぶ。或いは、信号値は、SV画像の局所領域における平均画素値であってもよい。或いは、SV画像に対して平滑化処理を行い、その処理後の画像における画素値を信号値としてもよい。
【0069】
上述したように、SV画像の信号値は表層粘膜の色調に応じて変化する。このため、SV画像の信号値に基づいて強調係数を設定することで、表層粘膜の色調を強調することができる。
【0070】
また本実施形態では、画像処理部17は、SV画像の信号値が小さいほど強調係数を大きくする。
【0071】
上述したように、表層粘膜が発赤している場合にはSV光の吸収量が大きくなるのでSV画像の信号値が小さくなり、表層粘膜が退色している場合にはSV光の吸収量が小さくなるのでSV画像の信号値が大きくなる。SV画像の信号値が小さいほど強調係数を大きくすることで、粘膜の発赤がより鮮明に赤く見えるように強調できる。また、粘膜の退色がより退色して見えるように強調できる。
【0072】
なお、本実施形態の内視鏡装置は以下のように構成されてもよい。即ち、本実施形態の内視鏡装置は、情報を記憶するメモリと、メモリに記憶された情報に基づいて動作するプロセッサと、を含む。情報は、例えばプログラムと各種のデータ等である。プロセッサは、ハードウェアを含む。プロセッサは、撮像部10により撮像された第1の光及び第2の光、第3の光に対応する第1の画像及び第2の画像、第3の画像を用いて画像処理を行う。
【0073】
プロセッサは、例えば各部の機能が個別のハードウェアで実現されてもよいし、或いは各部の機能が一体のハードウェアで実現されてもよい。例えば、プロセッサはハードウェアを含み、そのハードウェアは、デジタル信号を処理する回路及びアナログ信号を処理する回路の少なくとも一方を含むことができる。例えば、プロセッサは、回路基板に実装された1又は複数の回路装置や、1又は複数の回路素子で構成することができる。1又は複数の回路装置は例えばIC等である。1又は複数の回路素子は例えば抵抗、キャパシター等である。プロセッサは、例えばCPU(Central Processing Unit)であってもよい。ただし、プロセッサはCPUに限定されるものではなく、GPU(Graphics Processing Unit)、或いはDSP(Digital Signal Processor)等、各種のプロセッサを用いることが可能である。またプロセッサはASICによるハードウェア回路でもよい。またプロセッサは、アナログ信号を処理するアンプ回路やフィルタ回路等を含んでもよい。メモリは、SRAM、DRAMなどの半導体メモリであってもよいし、レジスターであってもよいし、ハードディスク装置等の磁気記憶装置であってもよいし、光学ディスク装置等の光学式記憶装置であってもよい。例えば、メモリはコンピュータにより読み取り可能な命令を格納しており、当該命令がプロセッサにより実行されることで、内視鏡装置の各部の機能が処理として実現されることになる。ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。内視鏡装置の各部は、例えば
図1において制御部18と画像処理部17である。メモリは、例えば
図1においてメモリ16、又は不図示のメモリである。
【0074】
また、本実施形態の内視鏡装置の各部は、プロセッサ上で動作するプログラムのモジュールとして実現されてもよい。例えば、画像処理部17は、撮像部10により撮像された第1の光及び第2の光、第3の光に対応する第1の画像及び第2の画像、第3の画像を用いて画像処理を行う画像処理モジュールにより実現される。
【0075】
また、本実施形態の内視鏡装置の各部が行う処理を実現するプログラムは、例えばコンピュータにより読み取り可能な媒体である情報記憶媒体に格納できる。情報記憶媒体は、例えば光ディスク、メモリーカード、HDD、或いは半導体メモリ(ROM)などにより実現できる。半導体メモリは例えばROMである。内視鏡装置の画像処理部17及び制御部18は、情報記憶媒体に格納されるプログラムとデータに基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体には、本実施形態の内視鏡装置の各部としてコンピュータを機能させるためのプログラムが記憶される。コンピュータは、入力装置、及び処理部、記憶部、出力部を備える装置である。プログラムは、各部の処理をコンピュータに実行させるためのプログラムである。
【0076】
4.画像処理部の詳細
【0077】
図7は、画像処理部17の詳細な構成例である。画像処理部17は、画像生成部31と第1強調処理部32と第2強調処理部33とを含む。例えば画像処理部17がDSPにより構成される場合、画像生成部31、第1強調処理部32、第2強調処理部33の処理をDSPが時分割に実行する。或いは、画像生成部31、第1強調処理部32、第2強調処理部33が個別の回路により構成されてもよい。
【0078】
画像生成部31には、
図1のメモリ16から撮像画像SIMが入力される。画像処理部17は、撮像画像SIMから白色光画像IWLを生成する。また画像処理部17は、SV画像IVを第1強調処理部32へ出力し、SG画像IG及びSA画像IAを第2強調処理部33へ出力する。
図2の例では、画像処理部17は、SV画像及びSG画像、SA画像を合成することで白色光画像IWLを生成する。
図3の例では、SB画像及びSG画像、SR画像を合成することで白色光画像IWLを生成する。或いは、更にSV画像及びSA画像を用いてもよい。白色光画像IWLを合成する際には、各波長の画像に対するゲイン処理等の種々の画像処理を行ってもよい。
【0079】
第1強調処理部32は、SV画像IVを用いた演算により、白色光画像IWLの色情報を強調する。即ち、第1強調処理部32は、SV画像IVの信号値に応じて白色光画像IWLの赤味を強調する。この強調処理は、画素毎又は局所領域毎に行う。即ち、第1強調処理部32は、SV画像IVにおいて信号値が大きい領域に対して、白色光画像IWLの赤味を強調する演算を行う。第1強調処理部32は、処理後の白色光画像IWL1を出力する。
【0080】
具体的には、第1強調処理部32は、SV画像IVの信号値が小さい場合、白色光画像IWLの彩度が高くなるように強調係数を設定する。即ち、SV画像の信号値が小さい場合には、表層粘膜において毛細血管の密度が高い状態なので、白色光画像IWLにおいて表層粘膜が赤味を帯びている。このため、SV画像の信号値が小さい場合には、その赤味を強調する。例えば、第1強調処理部32は、白色光画像IWLをYCrCb信号に変換し、そのYCrCb信号のCr信号に対してゲインを乗算する。このゲインはSV画像の信号値に反比例する。また、このゲインは強調係数に相当する。
【0081】
また第1強調処理部32は、SV画像IVの信号値が大きい場合、白色光画像IWLの彩度が低くなるように強調係数を設定する。即ち、SV画像の信号値が大きい場合には、表層粘膜において毛細血管の密度が低い状態なので、白色光画像IWLにおいて表層粘膜が退色している。このため、SV画像の信号値が大きい場合には、表層粘膜の赤味を抑えて、より白くする。例えば、第1強調処理部32は、白色光画像IWLをYCrCb信号に変換し、そのYCrCb信号のCr信号に対してゲインを乗算する。このゲインはSV画像の信号値に反比例し、且つ1以下である。
【0082】
第2強調処理部33は、SG画像IG及びSA画像IAを用いた演算により、白色光画像IWL1の構造情報を強調する。例えば、第2強調処理部33は、バンドパスフィルターによりSA画像IAから血管のエッジを第1の周波数成分として抽出する。また、バンドパスフィルターによりSG画像IGから血管のエッジを第2の周波数成分として抽出する。第2強調処理部33は、第1の周波数成分及び第2の周波数成分に基づいて白色光画像IWL1の血管を構造強調する。
【0083】
具体的には、第2強調処理部33は、第1の周波数成分と第2の周波数成分を乗算し、その乗算値を強調係数とする。この乗算は画素毎又は局所領域毎に行う。第2強調処理部33は、この強調係数を白色光画像IWL1に加算処理する。例えば、白色光画像IWL1のG画素値に対して強調係数を加算処理する。
【0084】
第1の周波数成分及び第2の周波数成分がともに高い場合には、強調係数は大きくなる。即ち、白色光画像において血管がより強調されて見える。一方、第1の周波数成分及び第2の周波数成分がともに低い場合には、強調係数は小さくなる。即ち、白色光画像において血管がより目立たなくなる。例えば、第2強調処理部33は、第1の周波数成分と第2の周波数成分の乗算値に対して、非線形に変化する強調係数を設定してもよい。例えば、第1の周波数成分と第2の周波数成分の乗算値に対して、2次関数的に変化する強調係数を設定してもよい。
【0085】
なお、
図7では色強調の後に構造強調を行っているが、これに限定されない。即ち、構造強調の後に色強調を行ってもよいし、或いは色強調と構造強調を並列に行ってもよい。
【0086】
以上、本発明を適用した実施形態およびその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。
【符号の説明】
【0087】
1 内視鏡装置、2 挿入部、3 光源部、4 処理部、5 本体部、6 表示部、7 照明光学系、8 ライトガイドケーブル、9 照明レンズ、10 撮像部、11 対物レンズ、12 撮像素子、16 メモリ、17 画像処理部、18 制御部、19 外部I/F部、20 入射部、31 画像生成部、32 第1強調処理部、33 第2強調処理部、LS1 光源、LS2 光源、LS3 光源、LS4 光源、LS5 光源、SA スペクトル(第2の光)、SB スペクトル、SG スペクトル(第3の光)、SR スペクトル、SV スペクトル(第1の光)、λa ピーク波長(第2の光)、λb ピーク波長、λg ピーク波長(第3の光)、λr ピーク波長、λv ピーク波長(第1の光)