特許第5825886号(P5825886)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ HOYA株式会社の特許一覧
特許5825886画像処理装置、内視鏡装置の画像処理方法、及び画像処理ソフトウェア
<>
  • 特許5825886-画像処理装置、内視鏡装置の画像処理方法、及び画像処理ソフトウェア 図000002
  • 特許5825886-画像処理装置、内視鏡装置の画像処理方法、及び画像処理ソフトウェア 図000003
  • 特許5825886-画像処理装置、内視鏡装置の画像処理方法、及び画像処理ソフトウェア 図000004
  • 特許5825886-画像処理装置、内視鏡装置の画像処理方法、及び画像処理ソフトウェア 図000005
  • 特許5825886-画像処理装置、内視鏡装置の画像処理方法、及び画像処理ソフトウェア 図000006
  • 特許5825886-画像処理装置、内視鏡装置の画像処理方法、及び画像処理ソフトウェア 図000007
  • 特許5825886-画像処理装置、内視鏡装置の画像処理方法、及び画像処理ソフトウェア 図000008
  • 特許5825886-画像処理装置、内視鏡装置の画像処理方法、及び画像処理ソフトウェア 図000009
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】5825886
(24)【登録日】2015年10月23日
(45)【発行日】2015年12月2日
(54)【発明の名称】画像処理装置、内視鏡装置の画像処理方法、及び画像処理ソフトウェア
(51)【国際特許分類】
   A61B 1/04 20060101AFI20151112BHJP
【FI】
   A61B1/04 370
【請求項の数】7
【全頁数】16
(21)【出願番号】特願2011-148586(P2011-148586)
(22)【出願日】2011年7月4日
(65)【公開番号】特開2013-13569(P2013-13569A)
(43)【公開日】2013年1月24日
【審査請求日】2014年5月20日
(73)【特許権者】
【識別番号】000113263
【氏名又は名称】HOYA株式会社
(74)【代理人】
【識別番号】100090169
【弁理士】
【氏名又は名称】松浦 孝
(74)【代理人】
【識別番号】100124497
【弁理士】
【氏名又は名称】小倉 洋樹
(74)【代理人】
【識別番号】100129746
【弁理士】
【氏名又は名称】虎山 滋郎
(74)【代理人】
【識別番号】100147762
【弁理士】
【氏名又は名称】藤 拓也
(72)【発明者】
【氏名】牧野 貴雄
【審査官】 門田 宏
(56)【参考文献】
【文献】 特開2005−192880(JP,A)
【文献】 特開平02−239847(JP,A)
【文献】 特開平04−236950(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 1/00 − 1/32
A61B 5/00
A61B 6/00 − 6/14
A61B 8/00 − 8/15
G06T 1/00
H04N 7/18
(57)【特許請求の範囲】
【請求項1】
被検者の体内に挿入される内視鏡スコープによる撮影画像である動画像を構成する複数の静止画像の各画素において、画素の特徴を示す特徴量を画素ごとに算出し、所定の条件に合致し、病変部に相当する異常部を静止画像から前記特徴量を用いて検出する検出部と、
異常部を検出する対象である対象静止画像において算出された対象特徴量に、対象静止画像とは異なる複数の参考静止画像における参考特徴量に重みをかけた値を加算して加算特徴量を算出する補正部とを備え、
前記検出部は、異常部を構成する画素の位置を検出し、
前記補正部は、参考静止画像における参考異常部の形態が、対象静止画像における対象異常部の形態と所定値以上合致するとき、参考異常部において対象異常部と合致する画素の数を前記重みとして算出し、
前記検出部は、前記加算特徴量を用いて対象静止画像における異常部を再度検出し、前記対象特徴量を用いて検出された異常部を構成する画素の位置を、補正する画像処理装置。
【請求項2】
前記補正部は、複数の参考静止画像全ての重みを合計した値でそれぞれの重みを正規化して正規化重みを算出し、参考特徴量に正規化重みをかけた値を対象特徴量に加算して加算特徴量を算出する請求項1に記載の画像処理装置。
【請求項3】
前記補正部は、参考静止画像における参考異常部の位置、大きさ、及び範囲が、対象静止画像における対象異常部の位置、大きさ、及び範囲と所定値以上合致するとき、参考異常部において対象異常部と合致する画素の数を重みとして算出する請求項1又は2に記載の画像処理装置。
【請求項4】
参考静止画像は、対象静止画像が撮影された時よりも前に撮影された画像である請求項1から3のいずれかに記載の画像処理装置。
【請求項5】
参考静止画像は、対象静止画像が撮影された時よりも後に撮影された画像である請求項1から3のいずれかに記載の画像処理装置。
【請求項6】
検出部が、被検者の体内に挿入される内視鏡スコープによる撮影画像である動画像を構成する複数の静止画像の各画素において、画素の特徴を示す特徴量を画素ごとに算出し、所定の条件に合致し、病変部に相当する異常部を構成する画素の位置を、静止画像から前記特徴量を用いて検出するステップと、
補正部が、異常部を検出する対象である対象静止画像とは異なる複数の参考静止画像における参考特徴量を算出するステップと、
前記補正部が、参考静止画像における参考異常部の形態が、対象静止画像における対象異常部の形態と所定値以上合致するとき、参考異常部において対象異常部と合致する画素の数を重みとして算出するステップと、
前記補正部が、参考特徴量に前記重みをかけた値を、対象静止画像において算出された対象特徴量に加算して加算特徴量を算出するステップと、
前記検出部が、前記加算特徴量を用いて対象静止画像における異常部を再度検出し、前記対象特徴量を用いて検出された異常部を構成する画素の位置を、補正するステップとを行う内視鏡装置の画像処理方法。
【請求項7】
被検者の体内に挿入される内視鏡スコープによる撮影画像である動画像を構成する複数の静止画像の各画素において、画素の特徴を示す特徴量を画素ごとに検出部に算出させるステップと、
所定の条件に合致し、病変部に相当する異常部を構成する画素の位置を、静止画像から前記特徴量を用いて前記検出部に検出させるステップと、
異常部を検出する対象である対象静止画像とは異なる複数の参考静止画像における参考特徴量を前記補正部に算出させるステップと、
参考静止画像における参考異常部の形態が、対象静止画像における対象異常部の形態と所定値以上合致するとき、参考異常部において対象異常部と合致する画素の数を重みとして前記補正部に算出させるステップと、
参考特徴量に前記重みをかけた値を、対象静止画像において算出された対象特徴量に加算して加算特徴量を前記補正部に算出させるステップと、
前記対象特徴量を用いて検出された異常部を構成する画素の位置を補正するように、前記加算特徴量を用いて対象静止画像における異常部を前記検出部に再度検出させるステップとを備えるソフトウェア。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像において所定の特徴を有する部分を検出する画像処理装置に関する。
【背景技術】
【0002】
画像処理装置は、例えば内視鏡装置に用いられる。内視鏡装置は、被験者の体内に挿入される内視鏡スコープと被験者の体外に設けられて画像処理を行う内視鏡プロセッサとを備える。内視鏡スコープは、遠位端に設けられる撮像素子が撮影した観察画像を内視鏡プロセッサに送信する。内視鏡プロセッサは、観察画像を画像処理して表示装置に表示する。
【0003】
観察画像に含まれる病変部を自動的に検出して表示する内視鏡装置が知られている。内視鏡装置は、観察画像が有する色調情報に基づいて所定の特徴に関する特徴量を算出し、予め設定された基準特徴量と算出した特徴量とを比較して、病変部を検出する(特許文献1)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2005−192880号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、観察条件に応じて観察画像に陰影ができたり、ハレーションが起きたりすることがある。このような場合、画像処理装置は病変部を正確に検出できず、病変部を正常部として判定したり、正常部を病変部として判定したりするおそれがある。
【0006】
本発明はこの問題に鑑みてなされたものであり、正常部と異常部とを正確かつ明確に分別することが可能な画像処理装置を得ることを目的とする。
【課題を解決するための手段】
【0007】
本願発明による画像処理装置は、動画像を構成する複数の静止画像の各画素において、画素の特徴を示す特徴量を画素ごとに算出し、所定の条件に合致する異常部を静止画像から特徴量を用いて検出する検出部と、異常部を検出する対象である対象静止画像において算出された対象特徴量に、対象静止画像とは異なる複数の参考静止画像における参考特徴量に重みをかけた値を加算して加算特徴量を算出する補正部とを備え、補正部は、参考静止画像における参考異常部の形態が、対象静止画像における対象異常部の形態と所定値以上合致するとき、参考異常部において対象異常部と合致する画素の数を重みとして算出し、検出部は、加算特徴量を用いて対象静止画像における異常部を検出することを特徴とする。
【0008】
補正部は、複数の重みを算出し、全ての重みを合計した値でそれぞれの重みを正規化して正規化重みを算出し、参考特徴量に正規化重みをかけた値を対象特徴量に加算して加算特徴量を算出することが好ましい。
【0009】
補正部は、参考静止画像における参考異常部の位置、大きさ、及び範囲が、対象静止画像における対象異常部の位置、大きさ、及び範囲と所定値以上合致するとき、参考異常部において対象異常部と合致する画素の数を重みとして算出することが好ましい。
【0010】
参考静止画像は、対象静止画像が撮影された時よりも前に撮影された画像が好適である。対象静止画像における異常部をリアルタイムで検出することができる。
【0011】
参考静止画像は、対象静止画像が撮影された時よりも後に撮影された画像が好適である。記憶済みの対象静止画像における異常部をより正確に検出することができる。
【0012】
本願第2の発明による画像処理方法は、動画像を構成する複数の静止画像の各画素において、画素の特徴を示す特徴量を画素ごとに算出するステップと、所定の条件に合致する異常部を検出する対象である対象静止画像において対象特徴量を算出するステップと、対象静止画像とは異なる複数の参考静止画像における参考特徴量を算出するステップと、参考静止画像における参考異常部の形態が、対象静止画像における対象異常部の形態と所定値以上合致するとき、参考異常部において対象異常部と合致する画素の数を重みとして算出するステップと、参考特徴量に重みをかけた値を対象特徴量に加算して加算特徴量を算出するステップと、加算特徴量を用いて対象静止画像における異常部を検出するステップとを備えることを特徴とする。
【0013】
本願第3の発明によるソフトウェアは、動画像を構成する複数の静止画像の各画素において、画素の特徴を示す特徴量を画素ごとに検出部に算出させるステップと、所定の条件に合致する異常部を検出する対象である対象静止画像において対象特徴量を補正部に算出させるステップと、対象静止画像とは異なる複数の参考静止画像における参考特徴量を補正部に算出させるステップと、参考静止画像における参考異常部の形態が、対象静止画像における対象異常部の形態と所定値以上合致するとき、参考異常部において対象異常部と合致する画素の数を重みとして補正部に算出させるステップと、参考特徴量に重みをかけた値を対象特徴量に加算して加算特徴量を補正部に算出させるステップと、加算特徴量を用いて対象静止画像における異常部を検出部に検出させるステップとを備えることを特徴とする。
【発明の効果】
【0014】
本発明によれば、正常部と異常部とを正確かつ明確に分別することが可能な画像処理装置を得る。
【図面の簡単な説明】
【0015】
図1】電子内視鏡システムのブロック図である。
図2】対象静止画像を示した図である。
図3】対象特徴量及び対象検出結果を示した図である。
図4】参考特徴量及び参考検出結果を示した図である。
図5】加算特徴量によって構成される対象静止画像を示した図である。
図6】加算検出結果を用いた検出結果を示した図である。
図7】異常部検出処理を示したフローチャートである。
図8】補正処理を示したフローチャートである。
【発明を実施するための形態】
【0016】
以下、本発明における画像処理装置100の実施形態について添付図面を参照して説明する。まず、図1を用いて画像処理装置100を備える電子内視鏡システム200の構成について説明する。
【0017】
電子内視鏡システム200は、被験者の体内に挿入される内視鏡スコープ210と、被験者の体外に設けられて画像処理を行う内視鏡プロセッサ220と、内視鏡プロセッサ220に接続されるモニタ240とを主に備える。内視鏡スコープ210は、被写体像を撮像して得られた静止画像を内視鏡プロセッサ220に送信し、内視鏡プロセッサ220は、受信した静止画像に画像処理を施して表示画像を作成し、モニタ240に表示画像を表示させる。
【0018】
内視鏡スコープ210の構成について詳細に説明する。内視鏡スコープ210の遠位端部には、撮像レンズ211及びCCD212が主に設けられる。CCD212は撮像レンズ211を介して被写体像を受光し、静止画像を出力する。内視鏡スコープ210の全長に渡ってライトガイド213が設けられ、照明光を遠位端部まで運ぶ。
【0019】
CCD212の撮像面には複数の画素が設けられる。1つの画素の受光面には、赤色、青色、又は緑色いずれか1つの波長帯の光を透過するフィルタが取り付けられる。赤色のフィルタが取り付けられた画素は、赤色の波長帯を有する光の輝度を輝度情報として出力し、青色のフィルタが取り付けられた画素は青色の輝度情報、緑色のフィルタが取り付けられた画素は緑色の輝度情報を出力する。以下、赤色の波長帯を有する光の輝度を赤色輝度情報、青色の波長帯を有する光の輝度を青色輝度情報、そして緑色の波長帯を有する光の輝度を緑色輝度情報と呼ぶ。CCD212が出力した輝度情報は、1つの画素に対して1つの色の輝度情報のみが存在する。CCD212が出力した輝度情報は、内視鏡プロセッサ220に送信される。
【0020】
内視鏡スコープ210は内視鏡プロセッサ220に接続される。内視鏡プロセッサ220は、主処理部221と画像処理装置100とから主に構成される。主処理部221は、輝度情報を構成する輝度信号を内視鏡スコープ210から受け取り、画像処理を行って撮影画像を作成した後、モニタ240に撮影画像を出力する。画像処理装置100は、主処理部221から撮影画像を受信して撮影画像を構成する画素を正常部と異常部とに区分し、異常部に関する情報を出力する。異常部に関する情報は、異常部を構成する画素の位置である。異常部は、病気によって変化した病変部に相当する。
【0021】
主処理部221について説明する。主処理部221は、撮影動画入力処理部223、記録部224、出力部225、光源226、システムコントローラ222、及び保存済動画入力処理部227を有する。
【0022】
撮影動画入力処理部223は、CCD212から輝度信号を受信して、撮影画像を作成する。撮影画像を作成する処理について説明する。前述のように、CCD212が出力した輝度信号は、1つの画素に対して1つの色の輝度情報のみが存在する。しかし、撮影画像における1つの画素は、3つの色の輝度情報を必要とする。そこで、撮影動画入力処理部223は、CCD212の1つの画素の周囲に存在する画素の輝度情報を用いて、CCD212の1つの画素に欠けている色の輝度情報を作成する。例えば、赤色輝度情報を有する画素に対して、青色輝度情報及び緑色輝度情報を作成する。これにより、撮影画像における画素は、赤色、青色、及び緑色の3つの輝度情報を有することになる。連続して撮影された複数の撮影画像を繋げて1つのファイルに加工することにより、撮影動画入力処理部223が動画像を作成する。1枚の撮影画像は1枚のフレームを構成する。記録部224は、撮影動画入力処理部223が作成した動画像を記憶する。
【0023】
内視鏡プロセッサ220には外部記録媒体230を接続可能である。外部記録媒体230は、例えばUSBメモリ、及びコンパクトフラッシュ(登録商標)やSDカードなどのメモリカードであって、保存済動画入力処理部227から動画像を受け取って記憶し、記憶済みの動画像を保存済動画入力処理部227に出力する。保存済動画入力処理部227は、外部記録媒体230から動画像を受信して、記録部224に送信する。記録部224は、保存済動画入力処理部227から動画像を受信して記憶する。
【0024】
尚、記録部224に記録される動画像を構成する各フレームには、経由した入力処理部に関する情報が付加される。スコープ使用中の場合は、撮影動画入力処理部223を経由したことを示す情報が付加され、保存動画再生中の場合は、保存済動画入力処理部227を経由したことを示す情報が付加される。後述の異常部検出処理・補正処理において、経由した入力処理部を確認することにより、スコープ使用中なのか、保存動画再生中なのかを判断を行う。
【0025】
システムコントローラ222は、記録部224に記憶された動画像を画像処理装置100に送信する。後述するように、動画像を構成する撮影画像に含まれる異常部の位置を画像処理装置100が算出して、システムコントローラ222に出力する。システムコントローラ222は、異常部の位置を画像処理装置100から受信し、異常部の位置を出力部225に送信する。出力部225は、撮影画像において異常部が占める範囲に印を付けた表示画像を作成する。そして、モニタ240は、出力部225が作成した表示画像を表示する。
【0026】
光源226は、システムコントローラ222の信号に応じて、ライトガイド213に照明光を供給する。
【0027】
次に、画像処理装置100について説明する。画像処理装置100は病変検出部110及び結果補正部120を有し、異常部を正確に検出する異常部検出処理を実行する。異常部検出処理の詳細は後述される。病変検出部110は、後述する特徴量を撮影画像に対して算出し、特徴量に基づいて正常部と異常部とを判定する。結果補正部120は、病変検出部110が判定した異常部の位置、大きさ、及び範囲を複数の画像を用いて補正する。
【0028】
病変検出部110が特徴量を算出する手段について詳細に説明する。病変検出部110は、システムコントローラ222から撮影画像、すなわち赤色輝度情報、青色輝度情報、及び緑色輝度情報を受信して、特徴量を算出する。特徴量は、画素の特性を表す値であって、正規化処理及びPCA(Primary Component Analysis)処理によって1フレームの撮影画像の画素1つ1つに対して求められる。正規化処理及びPCA処理は、病変検出部110によって実行される。正規化処理は、明るさの大小が画素分離処理の結果に影響を及ぼすことを防ぐため、1つの輝度情報を用いて他の2つの輝度情報を正規化する処理である。PCA処理は、画像を構成する画素各々の特性を求める処理である。画素各々の特性は、一般にPCAスコアと呼ばれ、本発明では、特徴量Pと呼ばれる。
【0029】
次に、病変検出部110が特徴量に基づいて正常部と異常部とを判定する手段について詳細に説明する。病変検出部110は、既定の閾値に基づいて撮影画像に含まれる画素から異常部を判定する。より詳しく説明すると、閾値よりも大きい特徴量を有する画素を異常部、つまり病変部として判定する。異常部を構成する画素の位置を検出結果Rと呼ぶ。すなわち、検出結果Rとは、1フレームの静止画像内において異常部を構成する画素の位置情報であり、1フレーム毎に1つ検出される。
【0030】
次に、結果補正部120について説明する。
【0031】
まず、病変検出部110のみで異常部を検出する際に生じる問題点を説明する。対象静止画像にハレーションや陰影が発生すると、病変検出部110は異常部を正しく検出できない。ハレーションが発生した対象静止画像を図2に示す。異常部を正しく検出する場合、病変検出部110は異常部全体を検出するが、異常部にハレーションが発生している場合、ハレーション部分以外の異常部のみを検出する(図3参照)。
【0032】
これを防止して異常部全体を正確に検出するため、結果補正部120は、異常部の検出対象である対象静止画像と、対象静止画像とは異なる複数の参考静止画像とを用いて、対象静止画像の特徴量を補正する。対象静止画像の特徴量を対象特徴量、参考静止画像の特徴量を参考特徴量と呼ぶ。
【0033】
対象静止画像の特徴量を補正する補正処理の概略について説明する。補正処理を開始する前に、病変検出部110は、対象静止画像の対象特徴量P(0)及び複数の参考静止画像の参考特徴量P(t)、(tは1から10の整数)を算出し、対象静止画像及び複数の参考静止画像から異常部を検出している。対象静止画像は、現在撮影された1フレームの静止画像であって、内視鏡スコープ210からシステムコントローラ222を経て、病変検出部110に送信されている。参考静止画像は、動画撮影において対象静止画像が撮影された時よりも前、つまり過去に撮影された10枚の画像であって、記録部224に記憶されており、システムコントローラ222を経て病変検出部110に送信されている。補正処理を開始する前の、対象静止画像における異常部の対象特徴量P(0)及び対象検出結果R(0)を図3に示し、参考静止画像における異常部の参考特徴量P(t)及び参考検出結果R(t)を図4に示す。
【0034】
結果補正部120は、病変検出部110から対象静止画像及び参考静止画像の各検出結果Rを受信し、これらの検出結果Rを用いて、異常部の位置、大きさ、及び範囲を特定する。そして、参考検出結果R(t)が対象検出結果R(0)と1/4以上重複する参考静止画像を検出する。言い換えると、参考静止画像における異常部の位置、大きさ、範囲が対象静止画像における異常部の位置、大きさ、範囲と1/4以上重複する、つまり面積が1/4以上重複する参考静止画像を検出する。そして、重複する領域の画素数を参考重みG(t)とする。1/4以上重複しない参考静止画像に関しては、参考重みG(t)は0となる。1/4という値は、観察対象物や撮影条件、また経験則等から決定される。
【0035】
次に、結果補正部120は、参考重みG(t)の合計で各参考重みG(t)を除して、正規化重みg(t)を算出する。参考重みG(t)の合計で各参考重みG(t)を除することにより、各重みが正規化される。次に、参考静止画像の各画素の参考特徴量P(t)に当該参考静止画像の正規化重みg(t)を乗じる処理を全ての参考静止画像(本実施形態では10フレーム)に対して行う。そして、各画素毎にそれぞれ10個得られた上記乗算後の参考特徴量Pを、対象静止画像において対応する各画素の対象特徴量P(0)に加算し、加算特徴量S(0)を求める。以降、加算特徴量S(0)が対象特徴量P(0)として取り扱われる。これにより、対象特徴量P(0)が補正されることになる。加算特徴量S(0)によって構成される対象静止画像を図5に示す。
【0036】
病変検出部110は、加算特徴量S(0)を用いて、対象静止画像における異常部を検出する。これによる検出結果を加算検出結果と呼ぶ。これにより、図6に示すように、ハレーション部分を異常部として検出できる。
【0037】
加算検出結果はシステムコントローラ222を介して出力部225に送信され、異常部を破線で囲んだ画像を出力部225がモニタ240に送信する。
【0038】
他方、外部記録媒体230に記憶されている対象静止画像及び参考静止画像を用いて補正処理を実行してもよい。この場合、対象静止画像は、ユーザが指定した1フレームの静止画像であって、外部記録媒体230から読み出されて一時的に記録部224に記憶された後、システムコントローラ222を経て、病変検出部110に送信されている。参考静止画像は、対象静止画像が撮影された時よりも前に撮影された5枚の画像と、対象静止画像が撮影された時よりも後、つまり最近撮影された5枚の画像とから成り、外部記録媒体230から読み出されて一時的に記録部224に記憶された後、システムコントローラ222を経て病変検出部110に送信されている。これらの静止画像を用いて、前述と同様の手段により加算特徴量S(0)が求められ、対象静止画像における異常部が検出される。
【0039】
次に、図7を用いて、異常部検出処理について説明する。異常部検出処理は、内視鏡プロセッサ220にユーザが異常部を検出するように指示したときに実行される。異常部検出の指示は、内視鏡スコープ210若しくは内視鏡プロセッサ220に設けられるボタン(不図示)をユーザが操作することにより行う。
【0040】
まず、ステップS61において、動画像を構成する1フレーム分の静止画像を病変検出部110が取得する。スコープ使用中の場合は、記録部224を介して撮影動画入力処理部223から取得する。保存画像再生中の場合は、記録部224を介して保存済動画入力処理部227から取得する。この静止画像が対象静止画像である。次のステップS62では、対象静止画像に含まれる全ての画素の対象特徴量P(0)と対象検出結果R(0)とを病変検出部110が算出し、記録部224が記憶する。
【0041】
次のステップS63では、参考静止画像が既定の数だけ記録部224に記憶されているか否かを判断する。記憶されている場合、処理はステップS64に進み、対象特徴量P(0)を補正する。記憶されていない場合、対象特徴量P(0)を補正するための参考静止画像の数が足りないため、処理はステップS69に進み、対象特徴量を補正しない。
【0042】
ステップS64では、記録部224から他のフレームの検出結果を読み出す。言い換えると、参考静止画像の参考検出結果R(t)を記録部224から読み出す。次のステップS65では、参考検出結果R(t)を用いて、上述の補正処理を行う。これにより、加算特徴量S(0)と加算検出結果とを算出する。そして次のステップS66において、記録部224が加算特徴量S(0)と加算検出結果とを記憶する。
【0043】
次のステップS67では、出力部225が加算検出結果を用いて異常部を破線で囲んだ画像を作成し、作成した画像をモニタ240に表示させる。そして、処理はステップS70に進む。
【0044】
ステップS63において、参考静止画像が既定の数だけ記録部224に記憶されていない場合、対象特徴量を補正するための参考静止画像の数が足りない。そのため、ステップS70では対象特徴量を補正せずに異常部の検出を行い、検出結果をモニタ240に表示する。次のステップS69では、上述の経由した入力処理部を示す情報に基づいて対象静止画像が内視鏡スコープ210から現在入力されたものか否かを判断する。内視鏡スコープ210から入力されたものである場合、ユーザは被験者の体内を現在観察していると判断できるため、異常部の位置を示した画像をモニタ240に表示する必要がある。そこで、処理はステップS67に進んで、補正されない対象検出結果R(0)を用いて異常部をモニタ240に表示する。ステップS69において、対象静止画像が内視鏡スコープ210から入力されたものでない場合、ユーザは被験者の体内を現在観察しておらず、記録済みの画像を観察していると判断できるため、異常部の位置を示した画像をモニタ240に表示する必要がない。そこで、処理はステップS70に進む。
【0045】
ステップS70では、動画像の表示が終了したか否かを判断する。スコープ使用中の場合は、スコープの操作部の動画撮影ボタン(図示せず)が操作され、撮影終了の指示があったか否かを判断し、保存画像再生中の場合は、静止画像が最後まで再生されたか否かを判断する。撮影終了の指示が無い場合、または最後の静止画像が再生されていない場合、処理はステップS61に戻り、対象静止画像及び参考静止画像を再度取得して、対象特徴量P(0)の補正を行う。ステップS61からS70までを繰り返すことにより、動画像に含まれる各フレームにおいて対象特徴量P(0)を補正して、異常部を正確に指示する動画像をモニタ240に表示することができる。ステップS70において撮影終了の指示があった場合、または最後の静止画像の再生が終了している場合、処理は終了する。
【0046】
次に、図8を用いて、補正処理について説明する。補正処理は、異常部検出処理のステップS64からS66に相当する。
【0047】
まず、ステップS71では、現在のフレームtnにおける、検出結果R(tn)及び特徴量P(tn)を記録部224から読み出す。tnは、現在のフレームを示すフレーム番号である。フレーム番号は、時系列に1ずつ増やされる整数である。そして、次のステップS72では、上述の経由した入力処理部を示す情報に基づいて現在のフレームが内視鏡スコープ210から入力されたか否かを判断する。
【0048】
ステップS72において、現在のフレームが内視鏡スコープ210から入力された場合、ユーザは被験者の体内を現在観察していると判断できるため、現在のフレームよりも新しいフレームは存在しない。そこで、処理はステップS73からS75を実行して、現在の撮影動作において既に撮影済みのフレームを記録部224から読み出す。
【0049】
ステップS73からS75について説明する。ステップS73では、補正対象のフレームを決定する。すなわち対象静止画像のフレーム番号t0を現在のフレームのフレーム番号tnと決定する。これにより、ステップS71において記録部224から既に読み出されている検出結果R(tn)及び特徴量P(tn)が、対象検出結果R(t0)及び対象特徴量P(t0)として取り扱われる。そして、次のステップS74では、参考静止画像を特定するフレーム番号tにt0−1の値を代入する。これにより、以降のステップS79からS80にて処理される参考静止画像は、対象静止画像の1つ前に撮影された静止画像となる。そして、次のステップS75では、記録部224から参考検出結果R(t)と参考特徴量P(t)とを記録部224から読み出す。そして、ステップS79に進む。
【0050】
ステップS72において、現在のフレームが内視鏡スコープ210から入力されていないと判断された場合、ユーザは被験者の体内を現在観察しておらず、過去に記録済みのフレームを観察していると判断できるため、現在のフレームよりも古い静止画像及び新しい静止画像が存在する。そこで、処理はステップS76からS78を実行して、現在のフレームよりも古いフレーム及び新しいフレームを記録部224から読み出す。
【0051】
ステップS76からS78について説明する。ステップS76では、補正対象の静止画像を決定する。すなわち、対象静止画像のフレーム番号t0を現在のフレームのフレーム番号tnから5を引いた値とする。そして、次のステップS77では、参考静止画像を特定するフレーム番号tにtnの値を代入する。これにより、以降のステップS79からS80にて処理される参考静止画像は、対象静止画像の5つ後に撮影された静止画像となる。そして、次のステップS78では、記録部224から対象検出結果R(t0)、対象特徴量P(t0)を記録部224から読み出す。なお、参考検出結果R(t)及び参考特徴量P(t)はステップS71において記録部224から既に読み出されている。そして、ステップS79に進む。
【0052】
次のステップS79では、対象検出結果R(t0)と参考検出結果R(t)とにおいて重複する領域が、対象検出結果R(t0)において1/4以上の面積を占めているか否かを判断する。1/4以上の面積を占めている場合、処理はステップS80に進み、重複する領域の画素数を参考重みG(t)として、ステップS82に進む。占めていない場合、処理はステップS81に進み、参考重みG(t)を0として、ステップS82に進む。
【0053】
ステップS82では、フレーム番号tから1を減じる。これにより得られたフレーム番号を持つフレームが、次のステップS75からS80において処理する参考静止画像となる。
【0054】
次のステップS83では、フレーム番号tが対象静止画像のフレーム番号t0と等しいか否かを判断する。等しい場合、次のステップS75からS80において処理する参考静止画像が対象静止画像となってしまうため、これを防ぐため、処理は再度ステップS82を実行してフレーム番号tから1を減じる。等しくない場合、処理はステップS84に進む。
【0055】
ステップS84では、10フレーム分の参考重みG(t)を算出したか否かを判断する。算出した場合、処理はステップS85に進む。算出していない場合、処理はステップS75に戻り、記録部224から参考検出結果R(t)と参考特徴量P(t)とを記録部224から読み出す。ステップS75からS84を繰り返すことにより、現在のフレームが内視鏡スコープ210から入力されている場合には、現在のフレームよりも古い10枚の静止画像の参考重みG(t)を得る。また、現在のフレームが内視鏡スコープ210から入力されていない場合には、現在のフレームよりも古い5枚の静止画像の参考重みG(t)と、現在のフレームよりも新しい5枚の静止画像の参考重みG(t)を得る。
【0056】
次のステップS85では、参考重みG(t)の合計で各参考重みG(t)を除して、正規化重みg(t)を算出する。参考重みG(t)の合計で各参考重みG(t)を除することにより、各重みが正規化される。
【0057】
次のステップS86では、参考特徴量P(t)に正規化重みg(t)を乗じたものを全ての参考特徴量P(t)に関して求め、対象特徴量P(t0)に加え、加算特徴量S(t0)を求める。これにより、対象特徴量P(t0)が補正されることになる。
【0058】
次のステップS87では、病変検出部110が、加算特徴量S(t0)を用いて、対象静止画像における異常部を検出し、対象検出結果R(t0)を求める。
【0059】
そして、ステップS88では、加算特徴量S(t0)を対象特徴量P(t0)として、対象検出結果R(t0)と共に記録部224に記憶する。その後、処理が終了する。ステップS88において新たに記憶された対象特徴量P(t0)及び対象検出結果R(t0)を用いることにより、図6に示すように、結果補正部がハレーション部分を異常部として検出できる。
【0060】
本実施形態によれば、撮影条件の変化によって生じるハレーションや陰影などに左右されずに、正常部と異常部とを正確かつ明確に分別することができる。
【0061】
また、PCA処理でなく、フィッシャー判別法により分類された正規化信号に対してNN法又はベイズ識別法を適用することにより特徴量を求めても良い。
【0062】
撮像部はCCD212に限定されず、例えばCMOS等の撮像素子であっても良い。
【0063】
参考静止画像は、10枚に限定されず、対象静止画像よりも後に撮影された静止画像のみで構成されても良い。
【0064】
そして、参考検出結果R(t)が対象検出結果R(0)と重複する面積は、1/4以上に限定されない。
【0065】
異常部検出結果の表示方法は破線に限定されず、例えば実線や検出領域内を塗りつぶす等の方法であっても良い。
【符号の説明】
【0066】
100 画像処理装置
110 病変検出部
120 結果補正部
200 電子内視鏡システム
210 内視鏡スコープ
211 撮像レンズ
212 CCD
213 ライトガイド
220 内視鏡プロセッサ
221 主処理部
222 システムコントローラ
223 撮影動画入力処理部
224 記録部
225 出力部
226 光源
227 保存済動画入力処理部
230 外部記録媒体
240 モニタ
図1
図7
図8
図2
図3
図4
図5
図6