特許第6188992号(P6188992)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ オリンパス株式会社の特許一覧

特許6188992画像解析装置、画像解析システム、画像解析装置の作動方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】6188992
(24)【登録日】2017年8月10日
(45)【発行日】2017年8月30日
(54)【発明の名称】画像解析装置、画像解析システム、画像解析装置の作動方法
(51)【国際特許分類】
   A61B 1/045 20060101AFI20170821BHJP
【FI】
   A61B1/045 616
   A61B1/045 618
【請求項の数】15
【全頁数】30
(21)【出願番号】特願2017-511784(P2017-511784)
(86)(22)【出願日】2016年9月15日
(86)【国際出願番号】JP2016077263
【審査請求日】2017年2月27日
(31)【優先権主張番号】特願2015-190134(P2015-190134)
(32)【優先日】2015年9月28日
(33)【優先権主張国】JP
【早期審査対象出願】
(73)【特許権者】
【識別番号】000000376
【氏名又は名称】オリンパス株式会社
(74)【代理人】
【識別番号】100076233
【弁理士】
【氏名又は名称】伊藤 進
(74)【代理人】
【識別番号】100101661
【弁理士】
【氏名又は名称】長谷川 靖
(74)【代理人】
【識別番号】100135932
【弁理士】
【氏名又は名称】篠浦 治
(72)【発明者】
【氏名】山梨 桃子
(72)【発明者】
【氏名】山田 哲寛
(72)【発明者】
【氏名】中村 俊夫
(72)【発明者】
【氏名】外山 隆一
【審査官】 増渕 俊仁
(56)【参考文献】
【文献】 国際公開第2007/099840(WO,A1)
【文献】 国際公開第2006/087981(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 1/00−1/32
(57)【特許請求の範囲】
【請求項1】
内視鏡を継続的に被検体内に挿入した状態において第1のタイミングで取得された前記被検体の第1の画像と、前記第1のタイミングより後の第2のタイミングで取得された前記被検体の第2の画像とが入力される画像入力部と、
前記画像入力部から入力された、前記被検体に所定の作用を行う前及び後のタイミングで取得した前記第1の画像及び前記第2の画像に対し、それぞれ所定の領域を解析対象領域として定める領域抽出部と、
前記第1の画像における前記解析対象領域の色成分を抽出して第1の分布特性値を求めるとともに、前記第2の画像における前記解析対象領域の色成分を抽出して第2の分布特性値を求める分布特性算出部と、
前記第1の分布特性値に対する前記第2の分布特性値の変化の度合いを算出する画像解析部と、
を具備したことを特徴とする画像解析装置。
【請求項2】
前記所定の作用は、前記被検体に対する薬液の投与であることを特徴とする請求項1に記載の画像解析装置。
【請求項3】
前記第1及び前記第2の分布特性値は、それぞれ前記解析対象領域の色成分の標準偏差または分散であることを特徴とする請求項1に記載の画像解析装置。
【請求項4】
前記分布特性算出部は、前記第1及び前記第2の画像における前記解析対象領域について、前記色成分の分布特性に基づき所定の基準値を設定するとともに、該基準値よりも低い値について前記第1及び前記第2の分布特性値を求めることを特徴とする請求項1に記載の画像解析装置。
【請求項5】
前記領域抽出部は、前記画像の内の、環状の周辺部と該周辺部に囲まれ該周辺部と色が異なる中心部とをもつ要素を所定数抽出して、抽出した所定数の前記要素の前記中心部を前記解析対象領域として定めることを特徴とする請求項1に記載の画像解析装置。
【請求項6】
前記領域抽出部は、前記画像に対して閉曲線をなすエッジを検出し、検出された前記閉曲線をなすエッジで囲まれた部分の大きさが前記解析対象領域として取り得る範囲内であるか否かを判定するとともに、
前記閉曲線をなすエッジで囲まれた部分が前記解析対象領域として取り得る範囲内であるとき、前記閉曲線をなすエッジで囲まれた部分の内外で色が異なる場合に、前記閉曲線をなすエッジで囲まれた領域の内部を前記解析対象領域として特定することを特徴とする請求項5に記載の画像解析装置。
【請求項7】
前記要素は腸管の絨毛の画像部分に含まれており、
前記領域抽出部は、前記第1及び前記第2の画像の内の、前記腸管の絨毛の表面に形成される粘膜上皮が前記環状の周辺部として表される画像部分と、前記粘膜上皮に囲まれる部位が前記粘膜上皮と前記色が異なる中心部として表される画像部分とをもつ注目要素を所定数抽出して、抽出した所定数の前記注目要素の前記中心部を前記解析対象領域として定めることを特徴とする請求項5に記載の画像解析装置。
【請求項8】
前記第1及び前記第2の画像は、それぞれ、前記内視鏡により所定の周波数帯域の照明光で前記被検体を照明した際の反射光を撮像した画像であることを特徴とする請求項1に記載の画像解析装置。
【請求項9】
前記分布特性算出部は、前記第1及び前記第2の画像を赤の成分、青成分、緑成分毎に前記第1及び前記第2の分布特性値を求めることを特徴とする請求項1に記載の画像解析装置。
【請求項10】
前記領域抽出部は、前記第1及び前記第2の画像全体の中の、所定の大きさの部分領域毎に算出した平均輝度が、色成分値を抽出するのに適した適正輝度範囲内にある適正輝度領域の中から、前記解析対象領域を1つ又は複数定めることを特徴とする請求項1に記載の画像解析装置。
【請求項11】
前記領域抽出部は、色成分値を抽出するのに適さない不適格領域を除外して前記解析対象領域を抽出することを特徴とする請求項10に記載の画像解析装置。
【請求項12】
前記第1の分布特性値を<1>、前記第2の分布特性値を<2>、係数をそれぞれα、βとしたとき、
変化量=β×<2>−α×<1> 但しβ≧α
として変化量を算出することを特徴とする請求項1に記載の画像解析装置。
【請求項13】
前記第1の分布特性値を<1>、前記第2の分布特性値を<2>としたとき、
変化率=(<2>−<1>)/(<1>+<2>)
として変化率を算出することを特徴とする請求項1に記載の画像解析装置。
【請求項14】
被検体内に挿入され、前記被検体内の画像を撮像して取得する内視鏡と、
請求項1に記載の画像解析装置と、
を具備したことを特徴とする画像解析システム。
【請求項15】
内視鏡を継続的に被検体内に挿入した状態において第1のタイミングで取得された前記被検体の第1の画像と、前記第1のタイミングより後の第2のタイミングで取得された前記被検体の第2の画像とが画像入力部に入力され、
領域抽出部が、前記画像入力部から入力された、前記被検体に所定の作用を行う前及び後のタイミングで取得した前記第1の画像及び前記第2の画像に対し、それぞれ所定の領域を解析対象領域として定め、
分布特性算出部が、前記第1の画像における解析対象領域の色成分を抽出して第1の分布特性値を求めるとともに、前記第2の画像における解析対象領域の色成分を抽出して第2の分布特性値を求め、
画像解析部が、前記第1の分布特性値に対する前記第2の分布特性値の変化の度合いを算出することを特徴とする画像解析装置の作動方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、経時的に取得された被検体の画像から被検体の変化を解析する画像解析装置、画像解析システム、画像解析装置の作動方法に関する。
【背景技術】
【0002】
経時的に取得された被検体の画像から被検体の変化を解析する技術は、従来より種々のものが提案されている。
【0003】
例えば、日本特開2010−5056号公報(特許文献1)には、撮像素子により被観察体の通常像を撮像し、撮像素子から出力された画像信号に分光画像処理を施して所定波長の分光推定画像信号を生成する画像取得装置において、撮像素子から出力された画像信号に基づいて、分光画像生成部において被観察体に投与される薬剤に関する特定波長の分光推定画像信号を輝度情報取得用分光推定画像信号として生成し、輝度情報取得部において所定の時間間隔を空けて生成された輝度情報取得用分光推定画像信号の輝度情報をそれぞれ取得し、その輝度情報の変化率を取得し、表示装置においてその輝度情報の変化率に基づいて画像を表示する技術が記載されている。
【0004】
また、国際公開WO2004/104927号公報(特許文献2)には、歯の組織のデジタル画像を撮像し、デジタル画像内の複数の画素のそれぞれについて、画素の色の第1の成分値および画素の色の第2の成分値を決定し、第1の成分値および第2の成分値に基づき画素の第1の関数値(例えば、R/G)を計算する画像解析方法が記載されている。
【0005】
しかし、内視鏡で画像を撮影する際には、調光の状態または観察距離等が変化することにより、撮影画像の色調が変化してしまう虞がある。したがって、特許文献2に記載の技術のように、色調の変化に着目して解析を行うと、撮影画像の色調の変化による影響を大きく受けるため十分な評価ができない虞があった。
【0006】
本発明は上記事情に鑑みてなされたものであり、色調の変化の影響に拠らず、経時的に取得された被検体の画像に対して肉眼的所見と一致する画像の定量化を可能とする画像解析装置、画像解析システム、画像解析装置の作動方法を提供することを目的としている。
【発明の開示】
【課題を解決するための手段】
【0007】
本発明の一態様に係る画像解析装置は、内視鏡を継続的に被検体内に挿入した状態において第1のタイミングで取得された前記被検体の第1の画像と、前記第1のタイミングより後の第2のタイミングで取得された前記被検体の第2の画像とが入力される画像入力部と、前記画像入力部から入力された、前記被検体に所定の作用を行う前及び後のタイミングで取得した前記第1の画像及び前記第2の画像に対し、それぞれ所定の領域を解析対象領域として定める領域抽出部と、
前記第1の画像における前記解析対象領域の色成分を抽出して第1の分布特性値を求めるとともに、前記第2の画像における前記解析対象領域の色成分を抽出して第2の分布特性値を求める分布特性算出部と、前記第1の分布特性値に対する前記第2の分布特性値の変化の度合いを算出する画像解析部と、を具備する。
【0008】
本発明の一態様に係る画像解析システムは、被検体内に挿入され、前記被検体内の画像を撮像して取得する内視鏡と、前記画像解析装置と、を具備する。
【0009】
本発明の一態様に係る画像解析装置の作動方法は、内視鏡を継続的に被検体内に挿入した状態において第1のタイミングで取得された前記被検体の第1の画像と、前記第1のタイミングより後の第2のタイミングで取得された前記被検体の第2の画像とが画像入力部に入力され、領域抽出部が、前記画像入力部から入力された、前記被検体に所定の作用を行う前及び後のタイミングで取得した前記第1の画像及び前記第2の画像に対し、それぞれ所定の領域を解析対象領域として定め、分布特性算出部が、前記第1の画像における解析対象領域の色成分を抽出して第1の分布特性値を求めるとともに、前記第2の画像における解析対象領域の色成分を抽出して第2の分布特性値を求め、画像解析部が、前記第1の分布特性値に対する前記第2の分布特性値の変化の度合いを算出する。
【図面の簡単な説明】
【0010】
図1図1は、本発明の第1の実施形態に係る画像解析システムの概略構成を示すブロック図である。
図2図2は、第1の実施形態に係る画像解析システムにおける画像解析装置内の分布特性値算出部の構成を示したブロック図である。
図3図3は、第1の実施形態に係る画像解析システムにおける画像解析装置内の領域抽出部の構成を示したブロック図である。
図4図4は、第1の実施形態に係る画像解析システムにおける基本的な処理を示すフローチャートである。
図5図5は、第1の実施形態に係る画像解析システムにおける画像解析装置による画像解析処理を示すフローチャートである。
図6図6は、第1の実施形態に係る画像解析システムにおける画像解析装置において選択した領域において複数の注目要素の中心部を選択する処理を示すフローチャートである。
図7図7は、第1の実施形態に係る画像解析システムにおける画像解析装置において選択した領域において複数の注目要素の中心部を選択する処理の変形例を示すフローチャートである。
図8図8は、第1の実施形態に係る画像解析システムにおける画像解析装置において二重閉曲線エッジ特定処理を示すフローチャートである。
図9図9は、第1の実施形態に係る画像解析システムにおける画像解析装置において単一閉曲線エッジ特定処理を示すフローチャートである。
図10図10は、第1の実施形態に係る画像解析システムにおいて、時系列順にソートした被検体の画像の表示例を示す図である。
図11図11は、第1の実施形態に係る画像解析システムにおいて、被検体の画像の明るさ分布、および注目要素の1つを拡大して示す図である。
図12図12は、第1の実施形態に係る画像解析システムにおいて、注目要素である腸管の繊毛の構造を示す図である。
図13図13は、第1の実施形態に係る画像解析システムにおいて、被検体の画像に設定された解析対象領域の例を示す図である。
図14図14は、第1の実施形態に係る画像解析システムにおいて、内視鏡の明るさのシミュレーション結果の一例を示す図である。
図15図15は、第1の実施形態に係る画像解析システムにおいて、内視鏡の明るさのシミュレーション結果から求められた色成分値を抽出するのに適した領域の一例を示す図である。
図16図16は、第1の実施形態に係る画像解析システムにおいて、被検体に負荷を与える前後の画像輝度値における分布特性値の変化を示す図である。
図17図17は、本発明の第2の実施形態に係る画像解析システムにおける分布特性値算出部の構成を示したブロック図である。
図18図18は、第2の実施形態に係る画像解析システムにおける画像解析装置による画像解析処理を示すフローチャートである。
図19A図19Aは、第2の実施形態に係る画像解析システムにおける画像解析装置においてR成分の輝度値分布特性の一例を示した図である。
図19B図19Bは、第2の実施形態に係る画像解析システムにおける画像解析装置においてG成分の輝度値分布特性の一例を示した図である。
図19C図19Cは、第2の実施形態に係る画像解析システムにおける画像解析装置においてB成分の輝度値分布特性の一例を示した図である。
図20図20は、本発明の第4の実施形態に係る画像解析システムにおける光源装置の概略構成を示すブロック図である。
図21図21は、本発明の第5の実施形態に係る画像解析システムにおける画像解析装置による画像解析処理を示すフローチャートである。
図22図22は、第5の実施形態に係る画像解析システムにおける画像解析装置において、基準値以下の輝度値に係る分布特性値を算出することを説明する図である。
図23図23は、本発明の第1、第2および第4〜第7の実施形態に係る画像解析システムにおける光源装置の一変形例を示すブロック図である。
図24図24は、本発明の第1、第2および第4〜第7の実施形態に係る画像解析システムにおける光源装置の他の変形例を示すブロック図である。
【発明を実施するための最良の形態】
【0011】
以下、図面を参照して本発明の実施の形態を説明する。
なお、この実施の形態により、この発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付している。さらに、図面は、模式的なものであり、各部の厚みと幅との関係、各部の比率等は、現実と異なることに留意する必要がある。また、図面の相互間においても、互いの寸法や比率が異なる部分が含まれている。
【0012】
<第1の実施形態>
図1は、本発明の第1の実施形態に係る画像解析システムの概略構成を示すブロック図であり、図2は、第1の実施形態に係る画像解析システムにおける画像解析装置内の分特性算出部の構成を示したブロック図である。また、図3は、第1の実施形態に係る画像解析システムにおける画像解析装置内の領域抽出部の構成を示したブロック図である。
【0013】
なお、以下に示す実施形態においては、“画像解析システム”として内視鏡システムを、“画像解析装置”としてビデオプロセッサを例に説明する。
【0014】
図1に示すように、画像解析システムである内視鏡システム1は、内視鏡2と、画像解析装置であるビデオプロセッサ3と、光源装置4と、表示装置5を主に備えている。
【0015】
内視鏡システム1は、本実施形態においては、システム全体として狭帯域光観察(NBI:Narrow Band Imaging)に対応可能となっている。
【0016】
内視鏡2は、被検体200内に挿入される挿入部(図示せず)を備え、さらに、当該挿入部の先端部に配設された、被検体200の画像を撮像して画像信号を取得する撮像部11と、光源装置4からの照明光を伝送するライトガイド12と、被検体200に照明光を照射する照明部13と、を備える。
【0017】
なお、当該内視鏡2は、ノイズ成分を少なくしてNBI拡大観察を行うために、その先端には、例えば先端フードまたは先端アタッチメント等が装着されるようになっている。
【0018】
さらに、本実施形態においては、被検体に所定の負荷(所定の作用)を与え、当該負荷(作用)を与える前後にまたがって経時的に被検体の変化を観察するために、内視鏡2において被検体の画像が経時的に取得されるようになっている。
【0019】
ここで、上述した被検体に与える“所定の作用”とは、例えば、被検体に対する薬液の投与である。なお、本実施形態において前記“薬液”とは、例えば、生理食塩水、ブドウ糖、液状の脂肪(脂肪乳剤等)を指し、後述する具体的な負荷(作用)の一例としては、ブドウ糖の散布を例に挙げて説明する。
【0020】
また、前記“所定の作用”とは、上述した薬液の投与に限らず、静脈注射、体腔内への送気、または、物理的に処置具もしくは内視鏡自体を体内に接触させる等の作用であってもよい。
【0021】
なお、被検体に所定の作用を与える前後における被検体の変化をより正確に捉えるためには、内視鏡2の明るさの設定が同じ状態であることが望ましい。そこで、被検体に所定の作用を与える前後で光源の調光は行わず、光源からの出射光量を一定にして被検体の画像を取得すると好ましい。
【0022】
ビデオプロセッサ3は、内視鏡システム1全体を統括的に制御する制御部31と、当該制御部31に制御される画像入力部32と、領域抽出部33と、分布特性値算出部34と、画像解析部35と、を含んでいる。
【0023】
なお、本実施形態においてビデオプロセッサ3は、内視鏡2の撮像部11からの撮像信号の信号処理装置としての機能を果たすと共に、「画像解析装置」としての役目を果たすようになっている。
【0024】
画像入力部32は、内視鏡2における撮像部11によって経時的に取得された被検体の画像が入力される。
【0025】
領域抽出部33は、画像入力部32から入力された、第1のタイミングで取得された第1の画像と、第1のタイミングより後の第2のタイミングで取得された第2の画像とに対して、環状の周辺部と周辺部に囲まれ周辺部と色が異なる中心部とをもつ注目要素(本実施形態における注目要素は、後述するように、特徴領域である例えば腸管の絨毛の画像部分)を特定し、注目要素の中心部のみを解析対象領域として抽出する(詳細については後述する)。
【0026】
分布特性値算出部34は、領域抽出部33により抽出された、第1の画像の解析対象領域と、第2の画像の解析対象領域と、の色成分値をそれぞれ抽出すると共に、抽出した色成分値の合算値に係る輝度値の分布特性値をそれぞれ算出する(詳細については後述する)。
【0027】
画像解析部35は、前記分布特性値算出部34においてそれぞれ算出された、第1の画像の解析対象領域に係る分布特性値(第1の分布特性値)と第2の画像の解析対象領域に係る分布特性値(第2の分布特性値)との変化の度合いを算出する(詳細については後述する)。
【0028】
光源装置4は、光源41と、光源ドライバ42と、回転フィルタ43と、駆動部44と、駆動ドライバ45と、光源制御部46と、を備える。
【0029】
光源41は、白色LEDまたはキセノンランプ等を用いて構成され、光源制御部46の制御のもと、白色光を発生する。光源ドライバ42は、光源制御部46の制御下に光源41に白色光を発生せしめる。光源41が発生した光は、回転フィルタ43および集光レンズ(図示せず)およびライトガイド12を経由して内視鏡2の照明部13から照射される。
【0030】
回転フィルタ43は、光源41が発した白色光の光路上に配置され、回転することにより、光源41が発する白色光を受けて狭帯域光観察(NBI)に対応した光、すなわち、波長415nm付近(例えば、およそ400nm〜440nm)の青色光と、波長540nm付近(例えば、およそ525nm〜555nm)の緑色光との各波長領域を含む狭帯域化した光を透過させる。ここで、本実施形態において採用するNBI観察は、通常、青と緑の狭帯域光を腸粘膜面に照射し、青色の反射光を青色と緑色に、緑色の反射光を赤色に変換してモニタ上に出力するようになっている。
【0031】
駆動ドライバ45は、光源制御部46の制御下に駆動部44に所定の電流を供給し、駆動部44は、光源制御部46の制御下に、ビデオプロセッサ3から送信される同期信号を基準として回転フィルタ43を回転動作させる。
【0032】
表示装置5は、所定の映像ケーブルを介してビデオプロセッサ3が生成した被検体画像等をビデオプロセッサ3から受信して表示する機能を有する。なお、本実施形態においては、内視鏡2の撮像部11が撮像した被検体画像の他、後述するような画像配列表示61、画像取得時間表示62および画像配列順序表示63等の各種情報を表示可能になっている。
【0033】
<分布特性値算出部34について>
次に、前記分布特性値算出部34の構成について図2を参照して説明する。
【0034】
図2に示すように、分布特性値算出部34は、色成分値抽出部36と、合算輝度値算出部37と、輝度値分布特性値算出部38とを有する。
【0035】
色成分値抽出部36は、領域抽出部33により抽出された第1の画像の解析対象領域における各色成分値(R成分値,G成分値,B成分値)と、第2の画像の解析対象領域における各色成分値(R成分値,G成分値,B成分値)とをそれぞれ抽出する。
【0036】
合算輝度値算出部37は、前記色成分値抽出部36において抽出した第1の画像の解析対象領域に係る前記各色成分値の合算値に係る輝度値(第1の合算輝度値)を求めると共に、同第2の画像の解析対象領域に係る前記各色成分値の合算値に係る輝度値(第2の合算輝度値)とをそれぞれ算出する。
【0037】
輝度値分布特性値算出部38は、前記合算輝度値算出部37において算出したそれぞれの合算輝度値(第1の合算輝度値および第2の合算輝度値)に係るそれぞれの分布特性値(第1の分布特性値および第2の分布特性値)を算出する。なお、本実施形態において「分布特性値」は、標準偏差または分散として求められる。
【0038】
<領域抽出部33について>
次に、前記領域抽出部33の構成について図3を参照して説明する。
【0039】
領域抽出部33は、周辺部と中心部との色の相違を、色相と彩度と輝度との少なくとも1つの相違に基づき判定するようになっている。従って、色成分値が異なれば色が異なることに該当し、例えば、色相および彩度が同一で輝度のみが異なる場合でも、色が異なることに該当する。
【0040】
この領域抽出部33は、図3に示すように、エッジ検出部51と、閉曲線エッジ検出部52と、大きさフィルタ処理部53と、二重閉曲線エッジ検出部54と、二重閉曲線エッジ特定部55と、単一閉曲線エッジ特定部56と、領域抽出制御部57と、を備えている。
【0041】
エッジ検出部51は、画像に対して例えばエッジ検出フィルタをかけることにより、エッジ検出を行う。
【0042】
閉曲線エッジ検出部52は、エッジ検出部51により検出されたエッジの中から、閉曲線をなすエッジをさらに検出する。
【0043】
大きさフィルタ処理部53は、閉曲線エッジ検出部52により検出された閉曲線エッジの中から、閉曲線エッジの大きさが注目要素として取り得る範囲内(例えば、腸管の絨毛として取り得る大きさの範囲内)であるもののみを選択する。
【0044】
二重閉曲線エッジ検出部54は、閉曲線エッジ検出部52により検出され、さらに例えば大きさフィルタ処理部53により選択された閉曲線エッジの中から、さらに、二重をなす(つまり、外側閉曲線エッジと、この外側閉曲線エッジ内に含まれる内側閉曲線エッジと、で構成される)二重閉曲線エッジを検出する。
【0045】
二重閉曲線エッジ特定部55は、二重閉曲線エッジ検出部54により検出された二重閉曲線エッジの内の、内側閉曲線エッジ内の領域の色と、内側閉曲線エッジと外側閉曲線エッジとの間の領域の色と、が異なる場合に、内側閉曲線エッジ内の領域を中心部として特定する。
【0046】
このとき、二重閉曲線エッジ特定部55は、さらに、内側閉曲線エッジ内の領域の色が注目要素の中心部に該当する第1の色範囲(一例として注目要素が腸管の絨毛である場合には、第1の色範囲は例えば赤に近い色範囲)内であって、内側閉曲線エッジと外側閉曲線エッジとの間の領域の色が注目要素の周辺部に該当する第2の色範囲(第1の色範囲とは異なる第2の色範囲)(一例として注目要素が腸管の絨毛である場合には、第2の色範囲は例えば白に近い色範囲)内である場合に、内側閉曲線エッジ内の領域を中心部として特定するようになっている。
【0047】
なお、色の相違は、上述したように、色相と彩度と輝度との少なくとも1つの相違に基づき判定する。従って、色範囲は、色相、彩度、輝度の内の、何れか1つの範囲、または2つ以上の組み合わせにより決まる範囲となる。例えば、色範囲を色相および彩度の組み合わせにより決まる範囲としてもよいし、あるいは色範囲を輝度範囲としても構わない(すなわち、輝度のみに基づいて中心部と周辺部とを区別するようにしても構わない)。注目要素が腸管の絨毛であって色範囲を輝度範囲とした場合には、例えば、第1の色範囲はやや低輝度の範囲、第2の色範囲は第1の色範囲よりも高輝度の範囲とすればよい。
【0048】
さらに、二重閉曲線エッジ特定部55は、大きさフィルタ処理部53により内側閉曲線エッジおよび外側閉曲線エッジの大きさが注目要素として取り得る範囲内であると判定された場合にのみ、内側閉曲線エッジ内の領域を中心部として特定すると、より好ましい。
【0049】
本実施形態においては、上述した二重閉曲線エッジ特定部55により特定された注目要素の中心部の数が所定数(ここに、所定数は複数である)に満たない場合に、さらに、単一閉曲線エッジ特定部56を用いて注目要素の中心部を特定するようになっている(ただし、二重閉曲線エッジ特定部55を用いることなく、単一閉曲線エッジ特定部56のみを用いて注目要素の中心部を特定するようにしても構わない)。
【0050】
単一閉曲線エッジ特定部56は、閉曲線エッジ検出部52により検出された閉曲線エッジで囲まれた領域の内外で色が異なる場合に、閉曲線エッジで囲まれた領域の内部を中心部として特定する。
【0051】
なお、本実施形態においては、二重閉曲線エッジ特定部55による処理対象とならなかった閉曲線エッジに対して、この単一閉曲線エッジ特定部56により処理を行うことになるが、二重よりも多い三重、四重、…の閉曲線エッジが存在したとしても、その閉曲線エッジは何れも二重閉曲線エッジに該当することになる。このために、単一閉曲線エッジ特定部56が処理対象とするのは、単一閉曲線エッジとなる。
【0052】
さらに、単一閉曲線エッジ特定部56は、さらに、単一閉曲線エッジ内の領域の色が注目要素の中心部に該当する第1の色範囲内であって、単一閉曲線エッジの外側近傍の領域の色が注目要素の周辺部に該当する第2の色範囲内である場合に、単一閉曲線エッジ内の領域を中心部として特定するようになっている。
【0053】
そして、単一閉曲線エッジ特定部56は、大きさフィルタ処理部53により単一閉曲線エッジの大きさが注目要素として取り得る範囲内であると判定された場合にのみ、単一閉曲線エッジで囲まれた領域の内部を中心部として特定すると、より好ましい。
【0054】
領域抽出制御部57は、領域抽出部33内の各部、つまり、上述したエッジ検出部51、閉曲線エッジ検出部52、大きさフィルタ処理部53、二重閉曲線エッジ検出部54、二重閉曲線エッジ特定部55、および単一閉曲線エッジ特定部56等を制御して、後に詳述する図6図9を参照して説明するような動作を行わせる。
【0055】
<画像解析システムの処理について>
図4は画像解析システムにおける基本的な処理を示すフローチャートである。
【0056】
ビデオプロセッサ3における制御部31の制御下に当該処理を開始する。制御部31は、まず内視鏡2を制御して、被検体へ負荷(所定の作用)を与える前の画像(負荷前画像、第1の画像)を第1のタイミングで撮像部11より取得する(ステップS1)。
【0057】
ここで本実施形態における被検体は、例えば、腸管(さらに例えば、小腸)の絨毛であるものとする(ただし、被検体はこれに限定されるものではなく、他の幾つかの例としては、舌部、食道、胃粘膜、大腸等が挙げられる)。また、内視鏡2により被検体の画像を取得するのと同時に、画像取得時の出射光量の情報を、例えば画像解析装置(ビデオプロセッサ3)、あるいは内視鏡2に記録してもよい。
【0058】
その後、被検体へ負荷(所定の作用)を付与する(ステップS2)。このステップS2における被検体へ負荷(所定の作用)は、ここではブドウ糖を散布するものとする。ブドウ糖を散布すると毛細血管を流れる血液量が増加して、血液中のヘモグロビンによって光がより多く吸収される。従って、絨毛内において毛細血管が集まっている部分が暗く観察されることになる。
【0059】
なお、被検体へ負荷(所定の作用)はこれに限らず、上述したように、例えば、生理食塩水、ブドウ糖、液状の脂肪(脂肪乳剤等)等の、被検体に対する薬液の投与であってもよく、さらには、前記薬液の投与に限らず、静脈注射、体腔内への送気、または、物理的に処置具もしくは内視鏡自体を体内に接触させる等の作用であってもよい。
【0060】
続いて制御部31は、内視鏡2を引き続き被検体内に挿入したままの状態で、上述した第1のタイミングより後の第2のタイミングで、負荷を付与した後の画像(負荷後画像、第2の画像)を内視鏡2により撮像して取得する(ステップS3)。
【0061】
なお、本実施形態においては、前記作用の一例として被検体に対してブドウ糖を投与する場合は、当該作用後3分(180秒)程度経時的に観察し続ける。
【0062】
ここで、被検体に負荷を付与した後の画像を内視鏡2より取得する際に、ステップS1で出射光量の情報を記録した場合は、出射光量の情報を参照して、ステップS1と同じ条件で画像を取得する。なお、ステップS1で記録した出射光量の情報を後に消去する機能を有していても良く、出射光量の情報の取得、出射光量の情報を用いた画像の取得、および出射光量の情報の消去は、例えば内視鏡2の操作部、この画像解析システムを制御するための制御パネルに設けたスイッチ、または内視鏡2を操作するためのフットスイッチ等の操作により実現するようにしてもよい。
【0063】
そして、制御部31は、さらに次の画像を取得するか否かを判定し(ステップS4)、取得すると判定した場合には、ステップS3へ戻って次の負荷後画像を取得する。
【0064】
また、制御部31はステップS4において、画像の取得が終了したと判定された場合には、ビデオプロセッサ3における領域抽出部33、分布特性値算出部34、画像解析部35等を制御して画像解析を行い(ステップS5)、画像解析が完了した後、当該処理を終了する。
【0065】
<第1の実施形態における画像解析>
図5は、第1の実施形態に係る画像解析システムにおける画像解析装置(ビデオプロセッサ3)による画像解析処理を示すフローチャートである。
【0066】
制御部31の制御下に当該処理が開始されると、画像入力部32が、内視鏡2から経時的に取得された被検体の画像を入力して、時系列順にソートする(ステップS10)。
【0067】
図10は、第1の実施形態に係る画像解析システムにおいて、時系列順にソートした被検体の画像の表示例を示す図である。
【0068】
なお、この図10に示す表示例においては、画像配列表示61と、画像取得時間表示62と、画像配列順序表示63とが表示装置5に表示されている様子を示している。
【0069】
画像配列表示61は、内視鏡2から取得した被検体画像P0〜P8を、取得された時間の順序に配列して表示したものである。
【0070】
また、画像取得時間表示62は、画像P1〜P8が、負荷の付与(本実施形態においててはブドウ糖の散布)後のどの時間時点で取得されたかを、例えば、時間軸に沿って取得時間と共に配置して示したものである。
【0071】
なお、画像P0はブドウ糖散布前(例えば、ブドウ糖を散布する直前)に取得された画像であるが、この図10に示す例では、便宜上、ブドウ糖散布の位置に表示している(ただし、時間軸をブドウ糖散布よりも前の時点まで延ばして、画像P0の取得時点を正確に示すようにしても勿論構わない)。
【0072】
さらに、画像配列順序表示63は、画像配列表示61に表示されている各画像が、画像取得時間表示62に表示されている画像P0〜P8の内の、どの時点で取得された画像であるかを対応付けて表示している。
【0073】
図5に戻って、次に画像解析装置(ビデオプロセッサ3)は、後でステップS12〜S19を参照して説明する処理を未だ行っていない画像が存在するか否かを判定する(ステップS11)。
【0074】
ここで未処理の画像が存在すると判定された場合には、領域抽出部33が、画像入力部32から処理対象となる画像データを入力する(ステップS12)。
【0075】
そして、色成分値を抽出するのに適さないハレーション等の不適格要素の領域(不適格領域)IR(図11図13等参照)を処理対象から除外する(ステップS13)。ここに、不適格領域IRの例としては、ハレーションが生じている領域以外にも、例えば気泡が生じている領域、ピントがぼけている領域、などが挙げられる。
【0076】
さらに、画像中における、所定の大きさの部分領域毎に算出した平均輝度が、所定値以上の領域を適正輝度領域として選択する(ステップS14)。
【0077】
例えば、図11(あるいは図13)に示すような画像Pi(ここにiは、図10に示す例においては、0〜8の何れか(つまり、PiはP0〜P8の何れか))においては、右上半分の領域の平均輝度が所定値よりも低い。ここに、図11は被検体の画像の明るさ分布を示す図および注目要素の1つを拡大して示す図である。
【0078】
なお、上述では、画像入力部11から入力される画像を取得する撮像装置の性能を示す画像として、内視鏡2等で取得した被検体の画像を用いて解析対象領域を定めたが、この方法に限定されるものではなく、撮像装置の性能を示すその他の画像(例えば、試験用プレートもしくはホワイトバランスキャップ等の色が一様でフラットな対象物を撮影した画像、または、内視鏡2の設計値から求められる明るさのシミュレーション結果SI(図14参照)などの、性能を示す指標となる画像)に基づき、所定の大きさの部分領域毎に算出した平均輝度から色成分値を抽出するのに適した領域AR(図15参照)を解析対象領域に設定する方法を採用してもよい。
【0079】
さらに、上記色成分値を抽出するのに適した領域ARの中から、所定の大きさの部分領域毎に算出した平均輝度に基づいて、解析対象領域を定める方法を採用しても構わない。ここに、図14は、第1の実施形態に係る画像解析システムにおいて、内視鏡の明るさのシミュレーション結果の一例を示す図であって、内視鏡2の明るさのシミュレーション結果SIの一例を示す図、図15は、第1の実施形態に係る画像解析システムにおいて、内視鏡の明るさのシミュレーション結果から求められた色成分値を抽出するのに適した領域の一例を示す図であって、内視鏡2の明るさのシミュレーション結果SIから求められた色成分値を抽出するのに適した領域ARの一例を示す図である。
【0080】
本実施形態において領域抽出部33は、平均輝度が所定値以上となる、画像Piの左下半分の領域を適正輝度領域として選択する。このような選択を行うことにより、解析対象領域の色成分値を抽出するのに適している明るい領域を選択し、色成分値を抽出するのに適していない暗い領域を除外している。
【0081】
なお、ここでは、色成分値を抽出するのに適した適正輝度範囲を、平均輝度が所定値以上の範囲としたが、平均輝度が飽和画素値に近いような明るすぎる領域も除外するようにしても構わない。この場合には、色成分値を抽出するのに適した適正輝度範囲を、平均輝度が、所定の下限閾値以上で、かつ所定の上限閾値以下の範囲とすればよい。
【0082】
再び図5に戻って、続いて領域抽出部33は、選択した領域において、複数の注目要素(本実施形態においては、腸管の絨毛の画像部分)OBJの中心部OBJc(この中心部OBJcも要素である)を選択する(ステップS15)。
【0083】
この注目要素OBJである腸管の絨毛の画像部分は、後述する図6図9を参照して説明するように、画像解析等を行って自動処理により複数が抽出され選択されるようになっている(ただし、ユーザが画像を見ながら手動で選択するオプションをさらに用意しても構わない)。
【0084】
ここに、注目要素OBJである腸管の絨毛の画像部分は、環状(円環状に限らず、任意の形の閉曲線状を取り得る)の周辺部OBJpと、この周辺部OBJpに囲まれ周辺部OBJpと色が異なる中心部OBJcとをもつ要素である。
【0085】
図12は、第1の実施形態に係る画像解析システムにおいて、注目要素である腸管の繊毛の構造を示す図である。
【0086】
腸管の絨毛は、中心部にある中心リンパ管CLの周りの部位に毛細血管BCが分布し、その外側に粘膜上皮MEが形成されて絨毛の表面を構成する構造となっている。
【0087】
このような腸管の絨毛を、血液中のヘモグロビンに吸収され易い狭帯域化された波長の光を用いたNBIにより拡大観察すると、毛細血管BCの部分が粘膜上皮MEとは異なる色として観察される。
【0088】
こうした絨毛を上から撮像した画像部分を観察すると、粘膜上皮MEの画像部分が環状の周辺部OBJpとして観察され、粘膜上皮MEに囲まれる毛細血管BCの画像部分が粘膜上皮MEと色が異なる中心部OBJcとして観察される。そこで、後で説明するように、中心部OBJcと周辺部OBJpとの色の違いを利用して、注目要素OBJを決定するようになっている。
【0089】
図5に戻って、領域抽出部33は、選択した複数の中心部OBJcの中から、明るさが中央値に近い所定数(図13に示す例では5つ)の中心部OBJcをさらに選択して、選択した所定数の中心部OBJcを解析対象領域ORに設定する(ステップS16)。ここに、図13は被検体の画像Piに設定された解析対象領域ORの例を示す図である。
【0090】
ここで、中央値に近い明るさの中心部OBJcを選択したのは、サンプルとして最も適切な明るさのものを解析対象とするためである。なお、明るさとしては、複数の色成分に基づいて算出される輝度値を用いてもよいし、あるいは、複数の色成分を単純加算した値を明るさの指標として代用するようにしてもよいし、その他の方法により複数の色成分に基づき明るさを取得しても構わない。こうして、ここで設定された図13に示す解析対象領域ORは、例えば5つの腸管の絨毛の画像部分の中心部OBJcにより構成されている。
【0091】
次に、分布特性値算出部34における色成分値抽出部36が、解析対象領域ORを構成する各画素の色成分値、例えば、R成分値、G成分値、およびB成分値を抽出する(ステップS17)。
【0092】
すなわち、色成分値抽出部36は、領域抽出部33により抽出された第1の画像の解析対象領域ORを構成する各画素の各色成分値(R成分値,G成分値,B成分値)と、第2の画像の解析対象領域ORを構成する各画素の各色成分値(R成分値,G成分値,B成分値)とをそれぞれ抽出する。
【0093】
この後、分布特性値算出部34における合算輝度値算出部37において、前記色成分値抽出部36において抽出した第1の画像に係る前記各色成分値の合算輝度値(第1の合算輝度値)と、同第2の画像に係る前記各色成分値の合算輝度値(第2の合算輝度値)とがそれぞれ算出される。
【0094】
そして、分布特性値算出部34における輝度値分布特性値算出部38が、前記合算輝度値算出部37において算出したそれぞれの合算輝度値、すなわち第1の合算輝度値および第2の合算輝度値に係るそれぞれの分布特性値、すなわち第1の分布特性値および第2の分布特性値を算出する(ステップS18)。
【0095】
なお、上述したように本実施形態において「分布特性値」は、標準偏差または分散として求められる。
【0096】
次に、画像解析部35は、負荷前画像に対する負荷後画像の変化の度合いとして、前記輝度値分布特性値算出部38において算出した分布特性値の変化量を、例えば次のように算出する(ステップS19)。
【0097】
すなわち、前記輝度値分布特性値算出部38において算出した、第1の画像(負荷前画像)に係る前記第1の分布特性値を<1>、また、第2の画像(負荷後画像)に係る前記第2の分布特性値を<2>とすると、画像解析部35は、前記変化量を、前記第1の分布特性値と第2の分布特性値との差分の絶対値として次の数式1に示すように算出する。
【0098】
[数1]
変化量=<2>−<1>
図16は、第1の実施形態に係る画像解析システムにおいて、被検体に負荷を与える前後の画像における輝度値に係る分布特性値の変化を示す図である。
【0099】
図16において上段は、被検体へ負荷(所定の作用)を与える前、すなわち本実施形態においては、腸管へのブドウ糖散布前(例えば、ブドウ糖を散布する直前)の画像(負荷前画像)である第1の画像と、負荷を付与した後(例えば、散布後180秒後)の画像(負荷後画像)である第2の画像と、それぞれを示したものである。
【0100】
なお、上述したように本実施形態においては、被検体へ負荷(所定の作用)の一例として被検体に対してブドウ糖を投与する場合は、当該負荷の付与後(所定の作用後)3分程度経時的に観察し続けるため、負荷後画像である前記第2の画像としては、例えば、散布後180秒後の画像を採用する。
【0101】
また、これら第1の画像と第2の画像には、それぞれ解析対象領域として抽出する注目要素を太線にて囲って示している。
【0102】
さらに、図16において下段は、横軸に、前記第1の画像および第2の画像のぞれぞれの解析対象領域における輝度値を、縦軸に、当該輝度値に対応するピクセル数を示したヒストグラムである。
【0103】
この図16に示す例においては、それぞれの画像(第1の画像および第2の画像)の肉眼的所見では、ブドウ糖散布前の第1の画像は解析領域内の色の濃淡が小さいのに対して、散布後の第2の画像は薬液散布により絨毛内の血流量の増加が生じることから、解析領域内に含まれる絨毛内で色の濃淡が大きいことがわかる。」
そして、本実施形態における前記分布特性値算出部34(色成分値抽出部36、合算輝度値算出部37、輝度値分布特性値算出部38)および画像解析部35において算出された分布特性値である標準偏差は、ブドウ糖散布前の第1の画像よりも、散布後の第2の画像の方が絨毛内の輝度値の標準偏差が大きい結果を示している。
【0104】
このように、本実施形態の画像解析システムによると、内視鏡画像に対して、肉眼的所見と一致する画像の定量化が実現できるという効果を奏する。
【0105】
すなわち、一般に絨毛内には毛細血管と他の組織があり、これらを平均値として評価すると絨毛内の血管網の色変化の度合いが目立たなくなってしまう虞があるが、本実施形態の画像解析システムによると、絨毛内の輝度分布に着目することで血管網の色変化を抽出することができる。さらに、他の組織とのコントラストを明確にできるため、血流量だけでなく脂肪吸収量の変化も観察できる。
【0106】
次に、図5に示すステップS15に係るサブルーチンについて説明する。
【0107】
図6は、上述した画像解析装置(ビデオプロセッサ3)における、選択した領域において複数の注目要素の中心部を選択する処理を示すフローチャートである。
【0108】
図5に示すステップS15においてこの処理に入ると、選択した領域(例えば、図11に示す画像Piの左下半分の領域)に対して、エッジ検出部51がエッジ検出フィルタをかけることにより、エッジ成分を抽出する(ステップS21)。
【0109】
次に、閉曲線エッジ検出部52が、エッジ検出部51により検出されたエッジの中から、閉曲線をなすエッジをさらに検出する(ステップS22)。
【0110】
続いて、大きさフィルタ処理部53が、閉曲線エッジ検出部52により検出された閉曲線エッジの大きさ(例えば、閉曲線の最大径、平均径、あるいは閉曲線で囲まれる領域の面積など)を算出し、算出した大きさが、注目要素として取り得る範囲内(例えば、腸管の絨毛として取り得る大きさの範囲内)となる閉曲線エッジのみを選択する(ステップS23)。
【0111】
そして、二重閉曲線エッジ検出部54が、大きさフィルタ処理部53を通過した閉曲線エッジの中から、二重閉曲線エッジを全て検出する(ステップS24)。
【0112】
なお、二重閉曲線エッジを構成する内側閉曲線エッジおよび外側閉曲線エッジは、何れも、ステップS23における大きさフィルタ処理部53の処理を通過しているために、注目要素として取り得る範囲内の大きさであると判定された閉曲線エッジである。
【0113】
さらに、二重閉曲線エッジ特定部55が、二重閉曲線エッジ検出部54により検出された二重閉曲線エッジが、注目要素に該当するか否かを特定する処理を行う(ステップS25)。なお、ステップS25に係るサブルーチンについては後述する(図8参照)。
【0114】
その後、領域抽出制御部57が、二重閉曲線エッジ検出部54により検出された二重閉曲線エッジの中に、ステップS25の処理を未だ行っていない二重閉曲線エッジが存在するか否かを判定し(ステップS26)、存在する場合には、次の二重閉曲線エッジに対してステップS25の処理を行う。
【0115】
こうして、ステップS26において、全ての二重閉曲線エッジに対してステップS25の処理が行われたと判定された場合には、領域抽出制御部57が、注目要素に該当すると判定された二重閉曲線エッジの数(ひいては、検出された注目要素の中心部の数)が所定数(図13に示した例においては5つ)以上であるか否かを判定する(ステップS27)。
【0116】
ここで、注目要素に該当すると判定された二重閉曲線エッジの数が所定数未満であると判定された場合には、単一閉曲線エッジ特定部56が、二重閉曲線エッジに該当しない単一閉曲線エッジ(この単一閉曲線エッジは、ステップS23における大きさフィルタ処理部53の処理を通過して、注目要素として取り得る範囲内の大きさであると判定された閉曲線エッジである)が、注目要素に該当するか否かを特定する処理を行う(ステップS28)。なお、ステップS28に係るサブルーチンについては後述する(図9参照)。
【0117】
次に、領域抽出制御部57が、単一閉曲線エッジの中に、ステップS25の処理を未だ行っていない単一閉曲線エッジが存在するか否かを判定し(ステップS29)、存在する場合には、次の単一閉曲線エッジに対してステップS28の処理を行う。
【0118】
こうして、ステップS29において、全ての単一閉曲線エッジに対してステップS28の処理が行われたと判定された場合、またはステップS27において、注目要素に該当すると判定された二重閉曲線エッジの数が所定数以上であると判定された場合には、この処理から図5に示した処理にリターンする。
【0119】
こうして、注目要素に該当する確実性がより高い二重閉曲線エッジの特定をまず行い、注目要素に該当すると判定された二重閉曲線エッジの数が所定数に満たない場合には、さらに、単一閉曲線エッジに対して注目要素に該当するか否かの特定を行うようにしている。
【0120】
なお、図6の処理では、二重閉曲線エッジの数が所定数に達した場合には単一閉曲線エッジの特定を行わないが、二重閉曲線エッジの数が所定数に達したか否かに関わらず単一閉曲線エッジの特定を行うようにしてもよい。
【0121】
図7は、画像解析装置(ビデオプロセッサ3)における、選択した領域において複数の注目要素の中心部を選択する処理の変形例を示すフローチャートである。
【0122】
この図7に示す処理は、図6におけるステップS27の処理を省略したものとなっている。これにより、二重閉曲線エッジだけでなく、さらに単一閉曲線エッジの特定も行われるために、より多くの注目要素の中心部を選択することが可能となる。
【0123】
図8は、図6(または図7)におけるステップS25のサブルーチンであって、画像解析装置における二重閉曲線エッジ特定処理を示すフローチャートである。
【0124】
図6(または図7)におけるステップS25の処理(二重閉曲線エッジ特定処理)に入ると、二重閉曲線エッジ特定部55は、ステップS24(図6参照)において二重閉曲線エッジ検出部54により検出された二重閉曲線エッジの中から、未処理の二重閉曲線エッジを1つ選択する(ステップS31)。
【0125】
そして、二重閉曲線エッジ特定部55は、選択した二重閉曲線エッジの、内側閉曲線エッジの内側の各画素の色成分値の例えば平均値が、注目要素の中心部に該当する第1の色範囲内であるか否かを判定する(ステップS32)。
【0126】
ここで、第1の色範囲外であると判定した場合には、ステップS31で選択した二重閉曲線エッジを注目要素と同定することなく、図6(または図7、以下同様であるので省略する)に示した処理にリターンする。
【0127】
また、ステップS32において、第1の色範囲内であると判定した場合には、二重閉曲線エッジ特定部55は、さらに、選択した二重閉曲線エッジの、外側閉曲線エッジと内側閉曲線エッジとの間の各画素の色成分値の例えば平均値が、注目要素の周辺部に該当する第2の色範囲内であるか否かを判定する(ステップS33)。
【0128】
ここで、第2の色範囲外であると判定した場合には、ステップS31で選択した二重閉曲線エッジを注目要素と同定することなく、図6に示した処理にリターンする。
【0129】
また、ステップS33において、第2の色範囲内であると判定した場合(従って、内側閉曲線エッジ内の領域の色と、内側閉曲線エッジと外側閉曲線エッジとの間の領域の色と、が異なると判定した場合)には、ステップS31で選択した二重閉曲線エッジが注目要素に該当すると決定して、内側閉曲線エッジの内側を注目要素の中心部に、外側閉曲線エッジと内側閉曲線エッジとの間を注目要素の周辺部に、それぞれ特定してから(ステップS34)、図6に示した処理にリターンする。
【0130】
図9は、図6(または図7)におけるステップS28のサブルーチンであって、画像解析装置における単一閉曲線エッジ特定処理を示すフローチャートである。
【0131】
図6(または図7)におけるステップS28の処理(単一閉曲線エッジ特定処理)に入ると、単一閉曲線エッジ特定部56は、大きさフィルタ処理部53を通過した閉曲線エッジの中から、二重閉曲線エッジ以外の単一閉曲線エッジにおける、未処理の閉曲線エッジを1つ選択する(ステップS41)。
【0132】
そして、単一閉曲線エッジ特定部56は、選択した単一閉曲線エッジの内側の各画素の色成分値の例えば平均値が、注目要素の中心部に該当する第1の色範囲内であるか否かを判定する(ステップS42)。
【0133】
ここで、第1の色範囲外であると判定した場合には、ステップS41で選択した単一閉曲線エッジを注目要素と同定することなく、図6に示した処理にリターンする。
【0134】
また、ステップS42において、第1の色範囲内であると判定した場合には、単一閉曲線エッジ特定部56は、さらに、選択した単一閉曲線エッジの外側近傍の各画素の色成分値の例えば平均値が、注目要素の周辺部に該当する第2の色範囲(第1の色範囲とは異なる第2の色範囲)内であるか否かを判定する(ステップS43)。
【0135】
ここで、第2の色範囲外であると判定した場合には、ステップS41で選択した単一閉曲線エッジを注目要素と同定することなく、図6に示した処理にリターンする。
【0136】
また、ステップS43において、第2の色範囲内であると判定した場合(従って、単一閉曲線エッジの内側領域の色と外側近傍領域の色とが異なると判定した場合)には、ステップS41で選択した単一閉曲線エッジ内を注目要素の中心部に特定してから(ステップS44)、図6に示した処理にリターンする。
【0137】
なお、上述した図6図9においては、エッジ検出(閉曲線エッジ検出、二重閉曲線エッジ検出)、大きさフィルタ処理、色範囲判定などの各処理を行って注目要素の検出精度を上げているが、何れかの処理を省略して処理負荷を軽減し検出速度を向上するようにしても構わない。
【0138】
以上説明したように、本第1の実施形態によれば、領域抽出部33が、環状の周辺部と周辺部に囲まれ周辺部と色が異なる中心部とをもつ注目要素を特定し、注目要素の中心部のみを解析対象領域として抽出し、さらに、分布特性値算出部34および画像解析部35により、当該解析対象領域における色成分値に係る輝度値の分布特性値(標準偏差または分散)の変化の度合いを算出するようにしたので、色調の変化の影響に拠らず、経時的に取得された被検体の画像から被検体の変化を的確に解析することができる。
【0139】
また、解析対象領域を抽出する際に、色成分値を抽出するのに適さない不適格要素を除外するようにしたために、不適格要素に左右されることのない、より正確な画像解析結果を得ることができる。
【0140】
そして、明るさが中央値に近い所定数の注目要素の中心部を解析対象領域として抽出するようにしたために、変化量をより適切に捉えることができる。
【0141】
なお、上述した説明では主として画像解析装置(または画像解析システム、以下同様)について説明したが、画像解析装置を上述したように作動させる作動方法であってもよいし、コンピュータに画像解析装置と同様の処理を行わせるための処理プログラム、該処理プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。
【0142】
<第2の実施形態>
次に、本発明の第2の実施形態について説明する。
【0143】
本第2の実施形態の内視鏡システム(画像解析システム)は、その構成は基本的には第1の実施形態と同様であるので、ここでは第1の実施形態との差異のみの説明にとどめ、その他の詳細の説明は省略する。
【0144】
図17は、本発明の第2の実施形態に係る画像解析システムにおける分布特性値算出部の構成を示したブロック図であり、図18は、第2の実施形態に係る画像解析システムにおける画像解析装置による画像解析処理を示すフローチャート、また、図19A、図19B及び図19Cは、第2の実施形態に係る画像解析システムにおける画像解析装置において各色成分毎の輝度値分布特性の一例を示した図である。
【0145】
第1の実施形態の内視鏡システム(画像解析システム)は、分布特性値算出部34における色成分値抽出部36において取得した各色成分値(R成分値、G成分値、B成分値)に基づいて、合算輝度値算出部37および輝度値分布特性値算出部38において合算した輝度値の分布特性値を求めることを特徴とする。
【0146】
これに対して第2の実施形態の内視鏡システム(画像解析システム)は、図17に示すように、分布特性値算出部134は、色成分値抽出部136と、色成分値毎輝度値算出部137と、輝度値分布特性値算出部138とを有する。
【0147】
色成分値抽出部136は、第1の実施形態と同様に、領域抽出部33により抽出された第1の画像の解析対象領域における各色成分値(R成分値,G成分値,B成分値)と、第2の画像の解析対象領域における各色成分値(R成分値,G成分値,B成分値)とをそれぞれ抽出する。
【0148】
色成分値毎輝度値算出部137は、第1の実施形態とは異なり、前記色成分値抽出部136において抽出した前記第1の画像および第2の画像における解析対象領域に係る各色成分値毎の輝度値をそれぞれ算出し、輝度値分布特性値算出部138は、前記色成分値毎輝度値算出部137において算出したそれぞれの色成分値毎の輝度値に係るそれぞれの分布特性値を算出することを特徴とする。
【0149】
すなわち、本第2の実施形態の内視鏡システム1において採用するNBI観察は、通常、青と緑の狭帯域光を腸粘膜面に照射し、青色の反射光を青色と緑色に、緑色の反射光を赤色に変換してモニタ上に出力している。
【0150】
そして、ここで、緑と青の反射光を比較すると、青の方が粘膜表層の毛細血管や微細模様が強調される。すなわち、モニタ上に出力される緑または青の成分を解析することで、毛細血管や微細模様をより正確に捉えた解析結果が得られると考えられる。一方、より深部の血管に着目する場合は、赤の成分を解析することが望ましい。
【0151】
このように、本発明の特徴である、解析対象領域における色成分値に係る輝度値の分布特性値の変化の度合いを算出する技術を、NBI観察システムに適用する場合、各色成分値毎の輝度値の分布特性に着目した方が望ましいことも考えられる。
【0152】
本第2の実施形態の内視鏡システム(画像解析システム)は、上述した事情に鑑み、色成分値抽出部において取得した第1の画像(負荷前画像)および第2の画像(負荷後画像)における各色成分値(R成分値、G成分値、B成分値)に基づいて、合算ではなく、各色成分毎に第1、第2の画像のそれぞれの解析対象領域に係る輝度値の分布特性値を求めることを特徴とする。
【0153】
<第2の実施形態における画像解析>
図18は、第2の実施形態に係る画像解析システムにおける画像解析装置による画像解析処理を示すフローチャートである。
【0154】
図18に示すように、本第2の実施形態においては、ステップS17において、分布特性値算出部134における色成分値抽出部136が、解析対象領域ORを構成する各画素の色成分値、例えば、R成分値、G成分値、およびB成分値を抽出する(ステップS17)。
【0155】
すなわち、色成分値抽出部136は、領域抽出部33により抽出された第1の画像の解析対象領域ORを構成する各画素の各色成分値(R成分値,G成分値,B成分値)と、第2の画像の解析対象領域ORを構成する各画素の各色成分値(R成分値,G成分値,B成分値)とをそれぞれ抽出する。
【0156】
この後、分布特性値算出部134における色成分値毎輝度値算出部137において、前記色成分値抽出部136において抽出した第1の画像に係る前記各色成分値毎の輝度値(第1の輝度値)と、同第2の画像に係る前記各色成分値毎の輝度値(第2の輝度値)とがそれぞれ算出される。
【0157】
ここで、図19A、図19B及び図19Cは、第2の実施形態に係る画像解析システムにおける画像解析装置において解析対象領域に係る各色成分毎の輝度値分布特性の一例を示した図である。
【0158】
具体的に図19Aは、R成分の輝度値分布特性101Rを示し、図19Bは、G成分の輝度値分布特性101Gを示し、図19Cは、B成分の輝度値分布特性101Bを示し、それぞれ、横軸に解析対象領域における各色成分における輝度値を、縦軸に当該輝度値に対応するピクセル値をそれぞれ示したものである。
【0159】
そして、分布特性値算出部134における輝度値分布特性値算出部138が、前記色成分値毎輝度値算出部137において算出したそれぞれの色成分値毎の輝度値に係るそれぞれの分布特性値を、第1の画像の解析対象領域および第2の画像の解析対象領域ごとに算出する(ステップS18A)。
【0160】
次に、本第2の実施形態において画像解析部35は、負荷前画像に対する負荷後画像の変化の度合いとして、前記輝度値分布特性値算出部138において算出した各色成分の分布特性値の変化量を、色成分値毎に算出する(ステップS19)。
【0161】
以上説明したように、本第2の実施形態によれば、第1の実施形態と同様の効果を奏すると共に、各色成分毎の分布特性値を算出するので、それぞれの特徴量に特化した解析結果を得ることができ、特にNBI観察において有効である。
【0162】
<第3の実施形態>
次に、本発明の第3の実施形態について説明する。
【0163】
本第3の実施形態の内視鏡システム(画像解析システム)は、その構成は基本的には第1、第2の実施形態と同様であるので、ここでは第1の実施形態との差異のみの説明にとどめ、その他の詳細の説明は省略する。
【0164】
第1および第2の実施形態の内視鏡システム(画像解析システム)は、いわゆる狭帯域光観察(NBI:Narrow Band Imaging)に対応可能なシステムであって、NBI観察によって上述した第1の画像(負荷前画像)および第2の画像(負荷後画像)を取得することを特徴とする。
【0165】
これに対して第3の実施形態の内視鏡システム(画像解析システム)は、白色光による観察によって上述した第1の画像(負荷前画像)および第2の画像(負荷後画像)を取得することを特徴とする。
【0166】
具体的には、第1の実施形態に対して、光源装置4における回転フィルタ43のフィルタ特性等が異なるが、その他の構成、作用効果については、第1の実施形態と同様である。
【0167】
以上説明したように、本第3の実施形態によれば、第1および第2の実施形態と同様の色調の変化の影響に拠らず、経時的に取得された被検体の画像から被検体の変化を的確に解析することができるという効果を奏する。
【0168】
<第4の実施形態>
次に、本発明の第4の実施形態について説明する。
【0169】
本第4の実施形態の内視鏡システム(画像解析システム)は、光源装置以外の構成は基本的には第1〜第3の実施形態と同様であるので、ここでは第1の実施形態との差異のみの説明にとどめ、その他の詳細の説明は省略する。
【0170】
図20は、本発明の第4の実施形態に係る画像解析システムにおける光源装置の概略構成を示すブロック図である。
【0171】
上述した第1〜第3の実施形態の内視鏡システム(画像解析システム)は、いずれも光源装置4において白色光光源などの通常光光源を採用し、特に、第1および第2の実施形態は、いわゆる狭帯域光観察(NBI:Narrow Band Imaging)に対応可能なシステムであって、NBI観察によって上述した第1の画像(負荷前画像)および第2の画像(負荷後画像)を取得することを特徴とする。
【0172】
これに対して第4の実施形態の内視鏡システム(画像解析システム)は、第1の実施形態における光源装置4に代えて、光源装置104を備えるものであり、すなわち、白色光源141を備える一方で、レーザ光源142を備えることを特徴とする。
【0173】
具体的に本第4の実施形態にける光源装置104は、白色光源141と、レーザ光源142と、光源制御部146と、拡散板141Aおよび拡散板142Aと、を備える。
【0174】
白色光源141は、白色LEDまたはキセノンランプ等を用いて構成され、光源制御部146の制御のもと、白色光を発生する。
【0175】
また、白色光源141からの光は、多数本の光ファイバからなるファイババンドルから出射し、拡散板141Aを透過させて内視鏡2の照明部から照射されるようになっている。なお、本第4の実施形態は、同時式の観察方式を採用する。
【0176】
レーザ光源144は、半導体レーザ光源により構成され、光源制御部146の制御下において駆動されるようになっている。また、レーザ光源144からの光は、一本の光ファイバにて導光され、拡散板142Aを透過させて出射されるようになっている。
【0177】
その他の内視鏡システムの構成、内視鏡2および画像解析装置としてのビデオプロセッサ3の構成については、同時式の観察方式に係る構成以外、第1の実施形態と同様であるので、ここでの詳しい説明は省略する。
【0178】
以上説明したように本第4の実施形態によれば、光源の種別に拠らず第1の実施形態と同様の効果を奏することができる。
【0179】
<第5の実施形態>
次に、本発明の第5の実施形態について説明する。
【0180】
本第5の実施形態の内視鏡システム(画像解析システム)は、その構成は基本的には第1の実施形態と同様であるので、ここでは第1の実施形態との差異のみの説明にとどめ、その他の詳細の説明は省略する。
【0181】
図21は、本発明の第5の実施形態に係る画像解析システムにおける画像解析装置による画像解析処理を示すフローチャートであり、図22は、第5の実施形態に係る画像解析システムにおける画像解析装置において、基準値以下の輝度値に係る分布特性値を抽出することを説明する図である。
【0182】
第1の実施形態の内視鏡システム(画像解析システム)は、分布特性値算出部34における色成分値抽出部36において取得した各色成分値(R成分値、G成分値、B成分値)に基づいて、合算輝度値算出部37および輝度値分布特性値算出部38において合算した輝度値の分布特性値を求め、画像解析部35において、求めた分布特性値の全データを対象として分布特性値の変化の度合いを算出することを特徴とする。
【0183】
これに対して第5の実施形態の内視鏡システム(画像解析システム)は、求めた分布特性値において基準値以下の輝度値に係る分布特性値を抽出することを特徴とする。
【0184】
ここで、被検体に付与する負荷(所定の作用)として、例えば、ブドウ糖散布を実施する場合、当該ブドウ糖散布の前よりも散布後の方が血流量増加の傾向があり、全体的に暗い画像となる虞がある。
【0185】
一方、画像の輝度値が高くなる方向への変化は、画像撮影の際におけるハレーションの影響を受けやすいこと、または、人間の目が「明るさが明るい状態から暗くなる方向」への変化に対しては敏感だが「明るさが暗い状態から明るくなる方向」への変化に対しては鈍感である性質を利用し、本第5の実施形態は上述した事情に鑑み、分布特性のうち輝度値の低い方向の変化に着目し、下記に示す構成を採用した。
【0186】
すなわち、本第5の実施形態の画像解析装置(ビデオプロセッサ3)は、領域抽出部33において求めた解析対象領域に係る輝度値の分布特性値を算出する際に、輝度値に関して所定の基準値を定め、当該基準値以下の分布特性値を抽出する(図24参照)。
【0187】
この輝度値に関する所定の基準値は、本実施形態においては、例えば、輝度値の中心値、平均値の他、ピーク値等から求められる値である。
【0188】
<第5の実施形態における画像解析>
図21は、第5の実施形態に係る画像解析システムにおける画像解析装置による画像解析処理を示すフローチャートである。
【0189】
図21に示すように本第5の実施形態においては、第1の実施形態と同様に、ステップS10〜ステップS16の後、ステップS17において分布特性値算出部34における色成分値抽出部36が、解析対象領域ORを構成する各画素の色成分値、例えば、R成分値、G成分値、およびB成分値を抽出する(ステップS17)。
【0190】
すなわち、色成分値抽出部36は、領域抽出部33により抽出された第1の画像の解析対象領域ORを構成する各画素の各色成分値(R成分値,G成分値,B成分値)と、第2の画像の解析対象領域ORを構成する各画素の各色成分値(R成分値,G成分値,B成分値)とをそれぞれ抽出する。
【0191】
この後、分布特性値算出部34における合算輝度値算出部37において、前記色成分値抽出部36において抽出した第1の画像に係る前記各色成分値の合算輝度値(第1の合算輝度値)と、同第2の画像に係る前記各色成分値の合算輝度値(第2の合算輝度値)とをそれぞれ算出する際に、それぞれ図22に示すように、予め定めた基準値以下の輝度値を抽出する。
【0192】
そして、分布特性値算出部34における輝度値分布特性値算出部38が、前記合算輝度値算出部37において抽出した「基準値以下の輝度値」に係る分布特性値を、第1の合算輝度値および第2の合算輝度値についてそれぞれ算出する(ステップS18B)。
【0193】
この後、第1の実施形態と同様に、第5の実施形態のおける画像解析部35は、負荷前画像に対する負荷後画像の変化の度合いとして、前記輝度値分布特性値算出部38において算出した、「基準値以下の輝度値」に係る分布特性値の変化量を算出する(ステップS19)。
【0194】
以上説明したように、本第5の実施形態によれば、第1の実施形態と同様の効果を奏すると共に、輝度値のレベルにおいて評価するのに適さないレベルの輝度値を除外することができるので、より的確な解析結果を得ることができる。
【0195】
<第6の実施形態>
次に、本発明の第6の実施形態について説明する。
【0196】
本第6の実施形態の内視鏡システム(画像解析システム)は、その構成は基本的には第1の実施形態と同様であるので、ここでは第1の実施形態との差異のみの説明にとどめ、その他の詳細の説明は省略する。
【0197】
上述したように、第1の実施形態においては、負荷前画像に対する負荷後画像の変化の度合いとして輝度値の分布特性値の変化量を算出する際に(図5のステップS19参照)、第1の画像(負荷前画像)に係る前記第1の分布特性値を<1>とし、また、第2の画像(負荷後画像)に係る前記第2の分布特性値を<2>とし、前記変化量を、
[数1]
変化量=<2>−<1>
として求めた。
【0198】
ここで、被検体に付与する負荷(所定の作用)として、ブドウ糖散布を適用するような場合、条件によっては、当該ブドウ糖の散布前の第1の画像よりも、散布後の第2の画像の方が分布特性値としての標準偏差が高くなる傾向がある。
【0199】
本第6の実施形態は係る事情に鑑み、第1の画像の解析対象領域に係る輝度値の分布特性値と、第2の画像の解析対象領域に係る輝度値の分布特性値とに対して、それぞれ係数α、係数βを設け、上述の如き分布特性値の変化量を算出する際に、第1の画像に係る第1の分布特性値を<1>、また、第2の画像に係る第2の分布特性値を<2>とすると、画像解析部35は、前記変化量を、
[数2]
変化量=β×<2> − α×<1>
として求めることを特徴とする。
【0200】
このとき、上記係数αとβについては、上述したようにブドウ糖の散布前の第1の画像よりも、散布後の第2の画像の方が分布特性値としての標準偏差が高くなる傾向があることから、
β≧α
を満たすように設定するとよい。
【0201】
以上説明したように本第6の実施形態の内視鏡システム(画像解析システム)によると、第1の画像に係る第1の分布特性値<1>と、第2の画像に係る第2の分布特性値<2>との差異が小さい場合でも、
β≧α
と定義された係数を乗算することで、より特徴的な結果を得ることができる。
【0202】
<第7の実施形態>
次に、本発明の第7の実施形態について説明する。
【0203】
本第7の実施形態の内視鏡システム(画像解析システム)は、その構成は基本的には第1の実施形態と同様であるので、ここでは第1の実施形態との差異のみの説明にとどめ、その他の詳細の説明は省略する。
【0204】
上述したように、第1の実施形態においては、負荷前画像に対する負荷後画像の変化の度合いとして、輝度値の分布特性値の「変化量」を算出することを特徴とする。
【0205】
これに対して本第7の実施形態は、負荷前画像に対する負荷後画像の変化の度合いとして、輝度値の分布特性値の「変化率」に着目したことを特徴とする。
【0206】
具体的に、本第7の実施形態においては、第1の画像に係る第1の分布特性値を<1>、とし、第2の画像に係る第2の分布特性値を<2>としたとき、画像解析部35は、
[数3]
変化率=(<2>−<1>)/(<1>+<2>)
として変化率を算出することを特徴とする。
【0207】
以上説明したように本第7の実施形態の内視鏡システム(画像解析システム)によると、負荷前画像に対する負荷後画像の変化の度合いとして変化率を算出するので、負荷前画像の第1の画像に係る分布特性値のばらつきの影響をキャンセルすることができる。また、この結果、異なる症例間においても分布特性値の変化の度合いをより正確に比較することが可能となるという効果を奏する。
【0208】
なお、上述では主として画像解析装置(または画像解析システム、以下同様)について説明したが、画像解析装置を上述したように作動させる作動方法であってもよいし、コンピュータに画像解析装置と同様の処理を行わせるための処理プログラム、該処理プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。
【0209】
また、上述した第1〜第3および第5〜第7の実施形態の内視鏡システムは、いわゆる面順次式の観察方式を採用するが、これに限らず、上記各実施形態の内視鏡システムは、いわゆる同時式の観察方式であっても適用することができる。
【0210】
さらに、上述した第1,第2および第4〜第7の実施形態の内視鏡システムは、NBI等の狭帯域光観察方式を採用するが、これに限らず、白色光観察、または図23に示すように第1LD241、第2LD242からのレーザー光250A、250Bを合波器であるコンバイナ247にて合波し、分波器であるカプラ248にて分波して、コネクタ249を介する等により接続された内視鏡202に配設された蛍光体211,212に当てた光を観察光とするようなもの、図24に示すようにレーザー光源341および拡散板341Aを組み合わせたものとRGBの各発光ダイオード311を備えるものなど、光源に拠らず同様の効果を奏するものであっても適用することができる。
【0211】
また、上述した第1〜第7の実施形態の内視鏡システムは、拡大観察を併用することで観察対象を詳細に観察することが可能であるが、これに限らず、通常倍率による観察であっても適用することができる。
【0212】
また、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【0213】
本出願は、2015年9月28日に日本国に出願された特願2015−190134号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲に引用されるものとする。
【要約】
内視鏡を継続的に被検体内に挿入した状態において画像入力部32から入力された、被検体に所定の作用を行う前及び後のタイミングで取得した第1の画像及び第2の画像に対し、それぞれ所定の領域を解析対象領域として定める領域抽出部33と、第1の画像における解析対象領域の色成分を抽出して第1の分布特性値を求めるとともに、第2の画像における解析対象領域の色成分を抽出して第2の分布特性値を求める分布特性値算出部34と、第1の分布特性値に対する第2の分布特性値の変化の度合いを算出する画像解析部35とを具備する。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19A
図19B
図19C
図20
図21
図22
図23
図24