特許第6626783号(P6626783)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ HOYA株式会社の特許一覧
<>
  • 特許6626783-画像処理装置および電子内視鏡システム 図000002
  • 特許6626783-画像処理装置および電子内視鏡システム 図000003
  • 特許6626783-画像処理装置および電子内視鏡システム 図000004
  • 特許6626783-画像処理装置および電子内視鏡システム 図000005
  • 特許6626783-画像処理装置および電子内視鏡システム 図000006
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6626783
(24)【登録日】2019年12月6日
(45)【発行日】2019年12月25日
(54)【発明の名称】画像処理装置および電子内視鏡システム
(51)【国際特許分類】
   A61B 1/045 20060101AFI20191216BHJP
   A61B 1/00 20060101ALI20191216BHJP
   G02B 23/26 20060101ALI20191216BHJP
【FI】
   A61B1/045 616
   A61B1/045 622
   A61B1/00 513
   G02B23/26 B
【請求項の数】4
【全頁数】9
(21)【出願番号】特願2016-110888(P2016-110888)
(22)【出願日】2016年6月2日
(65)【公開番号】特開2017-213307(P2017-213307A)
(43)【公開日】2017年12月7日
【審査請求日】2017年8月15日
(73)【特許権者】
【識別番号】000113263
【氏名又は名称】HOYA株式会社
(74)【代理人】
【識別番号】100083286
【弁理士】
【氏名又は名称】三浦 邦夫
(74)【代理人】
【識別番号】100166408
【弁理士】
【氏名又は名称】三浦 邦陽
(72)【発明者】
【氏名】牧野 貴雄
【審査官】 牧尾 尚能
(56)【参考文献】
【文献】 特開2013−150712(JP,A)
【文献】 特開2014−212925(JP,A)
【文献】 国際公開第2012/042986(WO,A1)
【文献】 特開2011−194111(JP,A)
【文献】 特開2010−035637(JP,A)
【文献】 特開2013−000176(JP,A)
【文献】 特開2016−41388(JP,A)
【文献】 特開2015−231576(JP,A)
【文献】 特開2015−196004(JP,A)
【文献】 国際公開第2013/145409(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 1/00 − 1/32
G02B 23/24 − 23/26
(57)【特許請求の範囲】
【請求項1】
通常光により撮像した通常観察画像および前記通常光より狭帯域の狭帯域光により撮像した狭帯域観察画像が入力する観察画像入力部と、
前記狭帯域観察画像に含まれる特徴部分を抽出する特徴部分抽出部と、
前記通常観察画像のうち前記狭帯域観察画像に含まれる特徴部分に対応する部分に当該特徴部分を合成した単一画像を表示する強調表示部と、
を有し、
前記特徴部分抽出部は、前記通常観察画像のR成分から前記狭帯域観察画像のB成分を減算した表層特徴成分を前記特徴部分として抽出し、
前記強調表示部は、前記通常観察画像のG成分とB成分から前記表層特徴成分を減算する、
ことを特徴とする画像処理装置。
【請求項2】
前記特徴部分抽出部は、前記通常観察画像のR成分から前記狭帯域観察画像のG成分を減算したものから前記表層特徴成分をさらに減算した深層特徴成分を前記特徴部分として抽出し、
前記強調表示部は、前記通常観察画像のR成分から前記深層特徴成分を減算する、
ことを特徴とする請求項1記載の画像処理装置。
【請求項3】
通常光により撮像した通常観察画像および前記通常光より狭帯域の狭帯域光により撮像した狭帯域観察画像を取得する電子内視鏡と、
前記通常観察画像および前記狭帯域観察画像に画像処理を施す画像処理装置と、
を有する電子内視鏡システムであって、
前記画像処理装置は、
前記狭帯域観察画像に含まれる特徴部分を抽出する特徴部分抽出部と、
前記通常観察画像のうち前記狭帯域観察画像に含まれる特徴部分に対応する部分に当該特徴部分を合成した単一画像を表示する強調表示部と、
を有し、
前記特徴部分抽出部は、前記通常観察画像のR成分から前記狭帯域観察画像のB成分を減算した表層特徴成分を前記特徴部分として抽出し、
前記強調表示部は、前記通常観察画像のG成分とB成分から前記表層特徴成分を減算する、
ことを特徴とする電子内視鏡システム。
【請求項4】
前記特徴部分抽出部は、前記通常観察画像のR成分から前記狭帯域観察画像のG成分を減算したものから前記表層特徴成分をさらに減算した深層特徴成分を前記特徴部分として抽出し、
前記強調表示部は、前記通常観察画像のR成分から前記深層特徴成分を減算する、
ことを特徴とする請求項3記載の電子内視鏡システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置および電子内視鏡システムに関する。
【背景技術】
【0002】
特許文献1、2には、通常光により撮像した通常観察画像および通常光より狭帯域の狭帯域光により撮像した狭帯域観察画像を取得して、これらを一画面に並べて表示する電子内視鏡システムが開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2004−321244号公報
【特許文献2】特開2015−223249号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、狭帯域観察画像は、病変部や検査対象部等の特徴部分を際立たせるために、通常観察画像と比較して色味等が大きく異なった不自然な見え方になることが避けられない。また、通常観察画像と狭帯域観察画像が画面上で二分割されるため、各画像のサイズが小さくなって視認性が低下してしまう。
【0005】
本発明は、以上の問題意識に基づいてなされたものであり、病変部や検査対象部等の特徴部分を際立たせながら全体として自然で視認性に優れた観察画像を得ることができる画像処理装置および電子内視鏡システムを提供することを目的の1つとする。
【課題を解決するための手段】
【0006】
本発明の一態様の画像処理装置は、通常光により撮像した通常観察画像および前記通常光より狭帯域の狭帯域光により撮像した狭帯域観察画像が入力する観察画像入力部と、前記狭帯域観察画像に含まれる特徴部分を抽出する特徴部分抽出部と、前記通常観察画像のうち前記狭帯域観察画像に含まれる特徴部分に対応する部分に当該特徴部分を合成した単一画像を表示する強調表示部と、を有し、前記特徴部分抽出部は、前記通常観察画像のR成分から前記狭帯域観察画像のB成分を減算した表層特徴成分を前記特徴部分として抽出し、前記強調表示部は、前記通常観察画像のG成分とB成分から前記表層特徴成分を減算する、ことを特徴としている。
【0007】
本発明の一態様の電子内視鏡システムは、通常光により撮像した通常観察画像および前記通常光より狭帯域の狭帯域光により撮像した狭帯域観察画像を取得する電子内視鏡と、前記通常観察画像および前記狭帯域観察画像に画像処理を施す画像処理装置と、を有する電子内視鏡システムであって、前記画像処理装置は、前記狭帯域観察画像に含まれる特徴部分を抽出する特徴部分抽出部と、前記通常観察画像のうち前記狭帯域観察画像に含まれる特徴部分に対応する部分に当該特徴部分を合成した単一画像を表示する強調表示部と、を有し、前記特徴部分抽出部は、前記通常観察画像のR成分から前記狭帯域観察画像のB成分を減算した表層特徴成分を前記特徴部分として抽出し、前記強調表示部は、前記通常観察画像のG成分とB成分から前記表層特徴成分を減算する、ことを特徴としている。
【0010】
前記特徴部分抽出部は、前記通常観察画像のR成分から前記狭帯域観察画像のG成分を減算したものから前記表層特徴成分をさらに減算した深層特徴成分を前記特徴部分として抽出し、前記強調表示部は、前記通常観察画像のR成分から前記深層特徴成分を減算することができる。
【0012】
本明細書において、強調表示部が単一画像を強調表示する態様は、通常観察画像のうち狭帯域観察画像に含まれる特徴部分に対応する部分に特徴部分を合成する態様、及び、通常観察画像のうち狭帯域観察画像に含まれる特徴部分に対応する部分を特徴部分で置換する態様を含むものとする。すなわち「強調」は「合成」と「置換」を含む概念で使用している。
【発明の効果】
【0013】
本発明によれば、病変部や検査対象部等の特徴部分を際立たせながら全体として自然で視認性に優れた観察画像を得ることができる画像処理装置および電子内視鏡システムを提供することができる。
【図面の簡単な説明】
【0014】
図1】本実施形態による電子内視鏡システムの構成を示すブロック図である。
図2】狭帯域観察画像における被写体組織の表層と深層にある特徴部分としての血管を示す図である。
図3図3A図3Bは、通常光と狭帯域光での表層情報と深層情報に対応するRGB成分波長を示す図である。
図4】表層特徴成分と深層特徴成分の演算手法を示す図である。
図5】本実施形態による画像処理を示すフローチャートである。
【発明を実施するための形態】
【0015】
図1図5を参照して、本実施形態による電子内視鏡システム1について説明する。電子内視鏡システム1は、電子内視鏡10と、プロセッサ(画像処理装置、光源装置)20と、モニタ30とを有する。
【0016】
図1では詳細形状を省略しているが、電子内視鏡10は、操作者が把持する把持操作部と、把持操作部から延出する可撓性のある挿入部と、把持操作部から挿入部と反対側に延出するユニバーサルチューブと、ユニバーサルチューブの先端部に設けられたコネクタ部とを有する。
【0017】
電子内視鏡10には、ライトガイドファイバ11が内蔵されている。ライトガイドファイバ11は、電子内視鏡10の挿入部と把持操作部とユニバーサルチューブを通ってコネクタ部の内部まで延びている。電子内視鏡10のコネクタ部がプロセッサ20のコネクタ部に接続されると、電子内視鏡10とプロセッサ20が光学的に接続される。そして、プロセッサ20に内蔵されたフィルタ付光源部21から発せられた照明光(後述する通常光または狭帯域光)が、ライトガイドファイバ11の内部を導かれ、電子内視鏡10の挿入部の先端部に設けられた照明レンズ12によって所定の配光で外方に出射される。
【0018】
フィルタ付光源部21は、R(Red)、G(Green)、B(Blue)の各波長帯域を含む白色光を放射する高輝度ランプ(例えば、キセノンランプ、ハロゲンランプ、水銀ランプ、メタルハライドランプ等)を有する。またフィルタ付光源部21は、高輝度ランプが発した白色光の光路上に位置するフィルタユニットを有する。フィルタユニットは、回転式フィルタターレットに、高輝度ランプが発した白色光を通過させて通常光とする白色用フィルタと、高輝度ランプが発した白色光の波長帯域を狭めて狭帯域光とする狭帯域フィルタとを設けたものである。狭帯域フィルタは、RGBの各波長帯域に半値幅の狭い分光透過率を有する。フィルタユニットの回転式フィルタターレットを回転駆動することで、高輝度ランプが発した白色光が白色用フィルタと狭帯域フィルタを交互に通過して、フィルタ付光源部21から、通常光と、この通常光より狭帯域の狭帯域光とが交互に発せられる。狭帯域光の波長帯域は、通常光の波長帯域よりも狭い限りにおいて自由度を持って設定可能であるが、例えば、ヘモグロビンの分光特性に合わせた波長帯域とすることができる。フィルタ付光源部21は、例えば、上述した特許文献2に開示されているように周知であり、これ以上の詳細な説明は省略する。
【0019】
電子内視鏡10の挿入部の先端部には、撮像ユニット13が設けられている。撮像ユニット13は、対物レンズ13aと、対物レンズ13aを透過した被写体像を撮像するCCD13bとを含む複数の構成要素をエポキシ樹脂等の樹脂材料により一体化したものである。CCD13bは、フィルタ付光源部21からライトガイドファイバ11及び照明レンズ12を通って交互に出射される通常光と狭帯域光による通常観察画像信号と狭帯域観察画像信号を交互に取得する。この通常観察画像信号と狭帯域観察画像信号は、信号伝送ケーブル14を介してプロセッサ20に伝送される。
【0020】
プロセッサ20は、制御部22と、観察画像入力部(画像入力処理部)23と、画像処理部(演算部)24と、画像メモリ25と、表示処理部26とを有する。制御部22は、プロセッサ20の全構成要素を統括して制御する。
【0021】
観察画像入力部23は、電子内視鏡10の信号伝送ケーブル14を介して伝送された通常観察画像信号と狭帯域観察画像信号に入力処理を施して、通常観察画像と狭帯域観察画像として入力させる。
【0022】
画像処理部24は、観察画像入力部23に入力した通常観察画像と狭帯域観察画像に画像処理を施すものである。画像処理部24は、特徴部分抽出部(画像特徴計算部)24aと強調表示部(表示結果作成部)24bを有している。
【0023】
特徴部分抽出部24aは、観察画像入力部23に入力した狭帯域観察画像に含まれる特徴部分を抽出する。より具体的に、特徴部分抽出部24aは、観察画像入力部23に入力した通常観察画像のR成分から狭帯域観察画像のB成分を減算した表層特徴成分を、狭帯域観察画像の特徴部分として抽出する。さらに、特徴部分抽出部24aは、観察画像入力部23に入力した通常観察画像のR成分から狭帯域観察画像のG成分を減算したものから上記の表層特徴成分をさらに減算した深層特徴成分を、狭帯域観察画像の特徴部分として抽出する。
【0024】
強調表示部24bは、観察画像入力部23に入力した通常観察画像のうち、特徴部分抽出部24aが抽出した狭帯域観察画像の特徴部分に対応する部分に当該特徴部分を合成することで、当該特徴部分を強調表示した単一の合成観察画像(単一画像)を生成する。より具体的に、強調表示部24bは、観察画像入力部23に入力した通常観察画像のG成分とB成分から、特徴部分抽出部24aが抽出した表層特徴成分を減算するとともに、観察画像入力部23に入力した通常観察画像のR成分から、特徴部分抽出部24aが抽出した深層特徴成分を減算する。
【0025】
図2は、狭帯域観察画像における被写体組織の表層と深層にある特徴部分としての血管を示す図である。図3A図3Bは、通常光と狭帯域光での表層情報と深層情報に対応するRGB成分波長を示す図である。内視鏡の観察画像では、R成分が支配的であって最も特徴量に乏しい色成分であり、G成分とB成分が特徴量を強調して示すのに適した色成分であると言える。狭帯域観察画像は、B成分に組織表層の情報を多く含み、G成分に組織深層の情報を多く含んでいる。このため、組織表層の血管はB成分の波長光に良く反応(吸収)して強調されやすく、組織深層の血管はG成分の波長光に良く反応(吸収)して強調されやすい。これにより、上述した表層特徴成分と深層特徴成分を使い分けることで、表層組織と深層組織の血管を異なる見え方で強調することが可能になる。
【0026】
図4は、表層特徴成分と深層特徴成分の演算手法を示す図である。同図では、通常観察画像のR成分から狭帯域観察画像のB成分を減算し、そこから所定の閾値以下の色成分を除外して表層特徴成分としている。また、通常観察画像のR成分から狭帯域観察画像のG成分を減算し、そこから所定の閾値以下の色成分を除外して表層特徴成分と深層特徴成分を加算したものとし、そこから上記の表層特徴成分を減算して深層特徴成分としている。このようにして、狭帯域観察画像の表層特徴成分と深層特徴成分のみを抽出する。例えば、特徴量に乏しい通常観察画像のR成分からは、全体の色味等に影響し難い深層特徴成分を減算し、G成分とB成分には元々持っている表層特徴成分をさらに減算して際立たせることで、通常観察画像としての色味やコントラストを変えることなく、特徴部分の色味やコントラストだけを変更して強調することが可能になる。なお、所定の閾値は、固定値としてもよいし、例えばRGBの各成分の平均値などに基づいて動的に算出及び設定してもよい。また、所定の閾値以下の色成分を除外する処理自体を省略する(閾値をゼロにする)ことも可能である。
【0027】
画像メモリ25は、画像処理部24によって狭帯域観察画像の特徴部分が強調表示された合成観察画像(単一画像)を記憶する。表示処理部26は、画像メモリ25に記憶された合成観察画像(単一画像)をモニタ30に表示させる。
【0028】
図5のフローチャートを参照して、本実施形態の電子内視鏡システム1及びプロセッサ20による画像処理について説明する。
【0029】
ステップS1では、画像処理部24が、現フレームの観察画像を取得する。
【0030】
ステップS2では、画像処理部24が、ステップS1で取得した現フレームの観察画像が通常観察画像であるか狭帯域観察画像であるかを判別する。この判別処理は、例えば、フィルタ付光源部21のフィルタユニット(回転式フィルタターレット)の回転位相を検知することにより実行される。
【0031】
ステップS3では、画像処理部24が、ステップS1で取得した現フレームの観察画像の前フレームの観察画像を読み出す。通常観察画像と狭帯域観察画像は1フレーム毎に交互に出力されるので、ステップS1で取得した現フレームの観察画像とステップS3で読み出した前フレームの観察画像は、通常観察画像と狭帯域観察画像の一対のセットとなる。また、この一対のセットとなる通常観察画像と狭帯域観察画像は、照射光の波長帯域の違いによって見え方が異なるだけで、殆ど同一の被写体像とみなすことができる。さらに、一対のセットとなる通常観察画像と狭帯域観察画像を用いることで、フレームレートを落とさずに合成観察画像(単一画像)を表示することが可能になる。
【0032】
ステップS4では、画像処理部24の特徴部分抽出部24aが、通常観察画像のR成分と狭帯域観察画像のB成分に基づいて、表層特徴成分を抽出(計算)する。
【0033】
ステップS5では、画像処理部24の特徴部分抽出部24aが、通常観察画像のR成分と狭帯域観察画像のG成分、及び、ステップS4で抽出した表層特徴成分に基づいて、深層特徴成分を抽出(計算)する。
【0034】
ステップS6では、画像処理部24の強調表示部24bが、通常観察画像のR成分から、ステップS5で抽出した深層特徴成分を減算する。
【0035】
ステップS7では、画像処理部24の強調表示部24bが、通常観察画像のG成分とB成分から、ステップS4で抽出した表層特徴成分を減算する。
【0036】
ステップS6とステップS7の処理を実行する順番には自由度があり、これらの処理を同時に実行してもよい。
【0037】
ステップS8では、表示処理部26が、画像処理部24によって狭帯域観察画像の特徴部分が強調表示された状態にある観察画像(合成観察画像、単一画像)をモニタ30に表示させる。
【0038】
ステップS9では、画像処理部24によって狭帯域観察画像の特徴部分が強調表示された合成観察画像が画像メモリ25に記憶される。画像メモリ25に記憶された合成観察画像は、例えば観察後に外部に保存されてより詳細な診断や説明時の資料に供される。
【0039】
ステップS10では、プロセッサ20が、電子内視鏡10による撮影が終了したか否かを判定する。プロセッサ20が電子内視鏡10による撮影が終了したと判定したとき(ステップS10:Yes)には、ステップS1〜ステップS9の処理を終了する。プロセッサ20が電子内視鏡10による撮影が終了していないと判定したとき(ステップS10:No)には、ステップS1〜ステップS9の処理ループを繰り返して実行する。
【0040】
このように本実施形態の電子内視鏡システム1及びプロセッサ20によれば、特徴部分抽出部24aが、狭帯域観察画像に含まれる特徴部分を抽出し、強調表示部24bが、通常観察画像のうち狭帯域観察画像に含まれる特徴部分に対応する部分を当該特徴部分により強調した単一画像を表示する。このため、病変部や検査対象部等の特徴部分を際立たせて高精度な施術(手術)や検査を行うことができる。しかも、病変部や検査対象部等の特徴部分以外の部分は通常観察画像の色味等が維持され、強調表示された観察画像は一画面に大きく表示されるので、全体として自然で視認性に優れたものとすることができる。また、連続して撮影した2フレーム分の画像を用いることにより、フレームレートの低下を最小限に留めていることからも自然な画像表示を実現している。
【0041】
以上の実施形態では、強調表示部24bが、観察画像入力部23に入力した通常観察画像のうち、特徴部分抽出部24aが抽出した狭帯域観察画像の特徴部分に対応する部分に当該特徴部分を合成することで、当該特徴部分を強調表示した合成観察画像を生成する場合を例示して説明した。
【0042】
ここで、強調表示部24bによる観察画像の合成方法は、以上の実施形態で説明したものに限定されることはなく、種々の設計変更が可能である。例えば、観察画像の用途に応じて、RGB成分、及び、表層特徴成分と深層特徴成分の加減算の組み合わせを変更してもよいし、加減算の前に表層特徴成分と深層特徴成分に対して任意の係数をかけることで値を増減させてもよい。また、必要に応じて積算や除算等の各種の演算手法を取り込んでもよい。
【0043】
さらに、強調表示部24bは、観察画像入力部23に入力した通常観察画像のうち、特徴部分抽出部24aが抽出した狭帯域観察画像の特徴部分に対応する部分を当該特徴部分で置換することで、当該特徴部分を強調表示した一部置換観察画像(単一画像)を生成することも可能である。この態様では、一部置換観察画像の特徴部分とそれ以外の部分の境界をより明確にすることができる。
【符号の説明】
【0044】
1 電子内視鏡システム
10 電子内視鏡
11 ライトガイドファイバ
12 照明レンズ
13 撮像ユニット
13a 対物レンズ
13b CCD
14 信号伝送ケーブル
20 プロセッサ(画像処理装置、光源装置)
21 フィルタ付光源部
22 制御部
23 観察画像入力部(画像入力処理部)
24 画像処理部(演算部)
24a 特徴部分抽出部(画像特徴計算部)
24b 強調表示部(表示結果作成部)
25 画像メモリ
26 表示処理部
30 モニタ
図1
図2
図3
図4
図5