特許 6242072 画像処理装置、プログラム及び画像処理装置の作動方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6242072

(24)【登録日】2017年11月17日

(45)【発行日】2017年12月6日

(54)【発明の名称】画像処理装置、プログラム及び画像処理装置の作動方法

(51)【国際特許分類】

   A61B 1/045 20060101AFI20171127BHJP

   G06T 1/00 20060101ALI20171127BHJP

【ＦＩ】

   A61B1/045 619

   A61B1/045 618

   G06T1/00 290Z

【請求項の数】15

【全頁数】35

(21)【出願番号】特願2013-93347(P2013-93347)

(22)【出願日】2013年4月26日

(65)【公開番号】特開2014-79562(P2014-79562A)

(43)【公開日】2014年5月8日

【審査請求日】2016年1月20日

(31)【優先権主張番号】特願2012-214532(P2012-214532)

(32)【優先日】2012年9月27日

(33)【優先権主張国】JP

【前置審査】

(73)【特許権者】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(74)【代理人】

【識別番号】100104710

【弁理士】

【氏名又は名称】竹腰 昇

(74)【代理人】

【識別番号】100124682

【弁理士】

【氏名又は名称】黒田 泰

(74)【代理人】

【識別番号】100090479

【弁理士】

【氏名又は名称】井上 一

(74)【代理人】

【識別番号】100166523

【弁理士】

【氏名又は名称】西河 宏晃

(74)【代理人】

【識別番号】100187539

【弁理士】

【氏名又は名称】藍原 由和

(72)【発明者】

【氏名】矢口 陽一

【審査官】 原 俊文

(56)【参考文献】

【文献】 特開２０１１−１７５５９９（ＪＰ，Ａ）

【文献】 特開２０１０−１８３２９０（ＪＰ，Ａ）

【文献】 特開２０１０−１５８３０８（ＪＰ，Ａ）

【文献】 特開２００９−００５０２０（ＪＰ，Ａ）

【文献】 特開２００６−３２０６５０（ＪＰ，Ａ）

【文献】 特開２００６−２９６５６９（ＪＰ，Ａ）

【文献】 国際公開第２０１３／１３３３６８（ＷＯ，Ａ１）

【文献】 国際公開第２０１３／１３３３７０（ＷＯ，Ａ１）

【文献】 国際公開第２０１３／１５７３５４（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ １／００−１／３２

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

複数の構成画像を有する画像列を取得する画像列取得部と、
前記画像列取得部が取得した前記画像列の前記複数の構成画像の一部を削除して要約画像列を生成する画像要約処理を行う処理部と、
を含み、
前記処理部は、
前記複数の構成画像の各構成画像から観察対象領域を検出する処理を行い、
前記複数の構成画像から基準画像と判定対象画像を選択し、
前記基準画像の変形推定対象領域と、前記判定対象画像の変形推定対象領域との間の変形情報を算出し、
前記基準画像の前記観察対象領域に対して、前記変形情報を用いた変形処理を行うことで、前記判定対象画像のうち前記基準画像の前記観察対象領域により覆われる領域である観察対象被覆領域を求め、
求めた前記観察対象被覆領域と、前記判定対象画像の前記観察対象領域に基づいて、前記判定対象画像を削除することにより観察できなくなる前記観察対象領域の発生度合いが低い場合に前記判定対象画像を削除可能と判定し、前記発生度合いが高い場合に前記判定対象画像を削除不可と判定するように、前記判定対象画像の削除可否の判定を行うことを特徴とする画像処理装置。

【請求項2】

請求項１において、
前記処理部は、
前記観察対象被覆領域と、前記判定対象画像の前記観察対象領域との共通領域である観察対象共通領域を求め、
求めた前記観察対象共通領域が前記判定対象画像の前記観察対象領域に占める割合である観察対象被覆率を算出し、
前記観察対象被覆率が所定の閾値以上である場合は、前記判定対象画像を削除可能と判定し、
前記観察対象被覆率が前記所定の閾値未満である場合は、前記判定対象画像を削除不可と判定することを特徴とする画像処理装置。

【請求項3】

請求項１において、
前記処理部は、
前記判定対象画像の前記観察対象領域のうち、前記観察対象被覆領域ではない領域である観察対象喪失領域が、前記判定対象画像に占める割合である観察対象喪失領域占有率を算出し、
前記観察対象喪失領域占有率が所定の閾値未満である場合は、前記判定対象画像を削除可能と判定し、
前記観察対象喪失領域占有率が前記所定の閾値以上である場合は、前記判定対象画像を削除不可と判定することを特徴とする画像処理装置。

【請求項4】

請求項１において、
前記処理部は、
前記判定対象画像の前記観察対象領域のうち、前記観察対象被覆領域ではない領域である観察対象喪失領域を用いて、前記判定対象画像において注目領域を見逃す可能性の有無を判定し、前記可能性がある場合には前記判定対象画像を削除不可と判定することを特徴とする画像処理装置。

【請求項5】

請求項４において、
前記処理部は、
前記観察対象喪失領域に、前記注目領域に対応するサイズの領域が含まれるか否かの判定を行うことで、前記判定対象画像において前記注目領域を見逃す可能性の有無を判定することを特徴とする画像処理装置。

【請求項6】

請求項４又は５において、
前記処理部は、
前記観察対象喪失領域に対して、前記注目領域に対応する構造要素を用いた収縮処理を行い、
前記収縮処理の結果、残留領域がある場合に、前記注目領域を見逃す可能性があるとして、前記判定対象画像は削除不可であると判定し、
前記収縮処理の結果、前記残留領域が無い場合に、前記注目領域を見逃す可能性がないとして、前記判定対象画像は削除可能であると判定することを特徴とする画像処理装置。

【請求項7】

請求項１において、
前記処理部は、
前記観察対象被覆領域と、前記判定対象画像の前記観察対象領域との共通領域である観察対象共通領域を求め、求めた前記観察対象共通領域が前記判定対象画像の前記観察対象領域に占める割合である観察対象被覆率を算出し、
前記観察対象被覆率が所定の閾値以上である場合は、前記判定対象画像を削除可能と判定し、前記観察対象被覆率が前記所定の閾値未満である場合は、前記判定対象画像を削除不可と判定し、
前記判定対象画像の前記観察対象領域から前記観察対象共通領域を除いた領域である観察対象喪失領域が、前記判定対象画像に占める割合である観察対象喪失領域占有率を算出し、
前記観察対象喪失領域占有率が所定の閾値未満である場合は、前記判定対象画像を削除可能と判定し、前記観察対象喪失領域占有率が前記所定の閾値以上である場合は、前記判定対象画像を削除不可と判定することを特徴とする画像処理装置。

【請求項8】

請求項７において、
前記処理部は、
前記観察対象被覆率に基づく判定、及び前記観察対象喪失領域占有率に基づく判定の少なくとも一方の判定において、削除可能とされた前記判定対象画像を削除可能と判定することを特徴とする画像処理装置。

【請求項9】

請求項１乃至８のいずれかにおいて、
前記処理部は、
前記画像の遮蔽物領域を除いた領域を前記観察対象領域として検出することを特徴とする画像処理装置。

【請求項10】

請求項９において、
前記画像列は生体内を撮像した生体内画像列であり、
前記遮蔽物領域は、
前記画像の泡領域又は残渣領域であることを特徴とする画像処理装置。

【請求項11】

請求項１乃至１０のいずれかにおいて、
前記処理部は、
前記画像の画像信号が観察に適さない領域を除いた領域を前記観察対象領域として検出することを特徴とする画像処理装置。

【請求項12】

請求項１１において、
前記画像信号が観察に適さない領域は、
前記画像の暗部領域又はハレーション領域であることを特徴とする画像処理装置。

【請求項13】

請求項１乃至１２のいずれかにおいて、
前記画像列は生体内を撮像した生体内画像列であり、
前記処理部は、
前記画像の病変領域又は絨毛領域を前記観察対象領域として検出することを特徴とする画像処理装置。

【請求項14】

複数の構成画像を有する画像列を取得する画像列取得部と、
前記画像列取得部が取得した前記画像列の前記複数の構成画像の一部を削除して要約画像列を生成する画像要約処理を行う処理部として、
コンピュータを機能させ、
前記処理部は、
前記複数の構成画像の各構成画像から観察対象領域を検出する処理を行い、
前記複数の構成画像から基準画像と判定対象画像を選択し、
前記基準画像の変形推定対象領域と、前記判定対象画像の変形推定対象領域との間の変形情報を算出し、
前記基準画像の前記観察対象領域に対して、前記変形情報を用いた変形処理を行うことで、前記判定対象画像のうち前記基準画像の前記観察対象領域により覆われる領域である観察対象被覆領域を求め、
求めた前記観察対象被覆領域と、前記判定対象画像の前記観察対象領域に基づいて、前記判定対象画像を削除することにより観察できなくなる前記観察対象領域の発生度合いが低い場合に前記判定対象画像を削除可能と判定し、前記発生度合いが高い場合に前記判定対象画像を削除不可と判定するように、前記判定対象画像の削除可否の判定を行うことを特徴とするプログラム。

【請求項15】

画像列取得部と、処理部と、を含む画像処理装置の作動方法であって、
前記画像列取得部が、複数の構成画像を有する画像列を取得し、
前記処理部が、前記複数の構成画像の各構成画像から観察対象領域を検出する処理を行い、
前記処理部が、前記複数の構成画像から基準画像と判定対象画像を選択し、
前記処理部が、前記基準画像の変形推定対象領域と、前記判定対象画像の変形推定対象領域との間の変形情報を算出し、
前記処理部が、前記基準画像の前記観察対象領域に対して、前記変形情報を用いた変形処理を行うことで、前記判定対象画像のうち前記基準画像の前記観察対象領域により覆われる領域である観察対象被覆領域を求め、求めた前記観察対象被覆領域と、前記判定対象画像の前記観察対象領域に基づいて、前記判定対象画像を削除することにより観察できなくなる前記観察対象領域の発生度合いが低い場合に前記判定対象画像を削除可能と判定し、前記発生度合いが高い場合に前記判定対象画像を削除不可と判定するように、前記判定対象画像の削除可否の判定を行い、
前記処理部が、前記削除可否の判定結果に基づいて、前記画像列の前記複数の画像の一部を削除して要約画像列を取得する画像要約処理を行うことを特徴とする画像処理装置の作動方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、プログラム及び画像処理装置の作動方法等に関する。

【背景技術】

【0002】

所与の時間間隔により時系列的に静止画の撮像を継続した場合、空間的な広がりを持つ被写体を多数の画像により網羅した場合、或いは動画像を撮像した上で当該動画像を構成する各画像を静止画像としてとらえた場合等では、時間的或いは空間的に連続する非常に大量の画像（以下、画像列とも記載する）が取得されることになる。このような場合には、画像列中で近くにある（つまり時間的或いは空間的に近くにある）画像同士は似通った画像である可能性が高く、撮像した内容を把握するに当たって大量の画像のすべてをチェックする必要性は高くない。そもそも、画像の枚数は数万枚以上となることも珍しくなく、ユーザの手ですべてをチェックすること自体、負担が大きい。

【0003】

そのため、画像列から一部の画像を削除することで元の画像列より枚数の少ない画像列に要約する（以下、この処理を画像要約処理と記載する）需要がある。例えば特許文献１には、画像列の中のシーンが変化する境目の画像や、画像列を代表する画像を抽出することで、画像列の内容を把握しやすい画像を残す画像要約処理手法が開示されている。

【0004】

また、内視鏡装置により撮像した生体内画像等においては、当該生体内画像のうち病変領域の診断等での重要度は他の領域に比べて高いことが想定される。そのため、特許文献２に開示されたように、画像から病変領域を検出する手法が知られている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００９−５０２０号公報

【特許文献2】特開２０１０−１１３６１６号公報

【特許文献3】特開２０１１−２４７６３号公報

【特許文献4】特開２００７−３１３１１９号公報

【特許文献5】特開２０１０−１１５４１３号公報

【特許文献6】特開２０１２−１６４５４号公報

【特許文献7】特開２０１１−２３４９３１号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

生体内画像を対象とした場合、病変領域の重要度、注目度が高いのであるから、例えば特許文献２の手法により病変領域が検出された画像を要約画像列に残し、そうでない画像を削除する画像要約処理を行うことが考えられる。しかし症例によっては、取得された画像列の大部分の画像において病変領域が検出されることもあり、病変領域を検出したか否かだけで画像要約処理を行っても効率的でない（画像枚数の削減効果が低い）場合がある。

【0007】

そこで、病変領域が撮像された画像群について、特許文献１の手法により画像要約処理を行うことが考えられる。この際、例えば内視鏡観察のような医療分野において画像要約技術を適用する場合、疾患の見逃しを避ける観点から、画像を削除したことによって観察できなくなる病変領域の発生を抑える必要がある。

【0008】

また、観察できなくなることが好ましくない領域は病変領域に限定されるものではない。例えば、特許文献４には生体内画像のうち、泡領域を検出する手法が開示されており、特許文献５には残渣領域を検出する手法が開示されている。泡領域や残渣領域では、泡や残渣により粘膜が遮蔽されてしまうため、当該領域は観察に適しているとは言えない。つまり、生体内画像のうち泡領域や残渣領域でない領域は、当該泡領域、残渣領域に比べて観察の有用性が高い領域であり、画像を削除したことによって観察できなくなる可能性を抑止すべきである。

【0009】

また、特許文献６には画像中で極端に暗く撮像されてしまった暗部領域を検出する手法が開示されており、特許文献７には画像中で極端に明るく撮像されてしまったハレーション領域を検出する手法が開示されている。暗部領域やハレーション領域では、画素値が極端な値となるため、被写体の視認性が悪く、当該領域は観察に適しているとは言えない。つまり、画像のうち暗部領域やハレーション領域でない領域は、当該暗部領域、ハレーション領域に比べて観察の有用性が高い領域であり、画像を削除したことによって観察できなくなる可能性を抑止すべきである。

【0010】

以上のことより、病変領域や、粘膜が遮蔽されない領域、視認性が悪くない領域といった、画像中の他の領域に比べて観察する有用性が高い領域を観察対象領域として定義した場合に、画像を削除したことによって観察できなくなる観察対象領域の発生を抑える画像要約処理を行う必要があると言うことができる。

【0011】

しかし、シーンが変化する境目の画像だけを残す、或いは要約後の画像列が直感的に見やすいかどうかといった観点で画像要約を行うと、画像が削除される事によって観察できなくなる観察対象領域が発生し、その程度は画像の内容に依存する。つまり、画像の削除により観察できなくなる観察対象領域の発生度合いを制御することができないという問題が残る。

【0012】

本発明の幾つかの態様によれば、画像間の変形情報、及び各画像の観察対象領域に基づいて、画像の削除により観察できなくなる観察対象領域の発生を抑止する画像要約処理を実行する画像処理装置、プログラム及び画像処理方法等を提供することができる。

【課題を解決するための手段】

【0013】

本発明の一態様は、複数の構成画像を有する画像列を取得する画像列取得部と、前記画像列取得部が取得した前記画像列の前記複数の構成画像の一部を削除して要約画像列を生成する画像要約処理を行う処理部と、を含み、前記処理部は、前記複数の構成画像の各構成画像から観察対象領域を検出する処理を行い、前記複数の構成画像から基準画像と判定対象画像を選択し、前記基準画像の変形推定対象領域と、前記判定対象画像の前記変形推定対象領域との間の変形情報を算出し、前記基準画像の前記観察対象領域と、前記判定対象画像の前記観察対象領域と、前記変形情報に基づいて、前記判定対象画像の削除可否の判定を行う画像処理装置に関係する。

【0014】

本発明の一態様では、各画像から観察対象領域を検出した上で、基準画像の観察対象領域と、判定対象画像の観察対象領域と、基準画像と判定対象画像の間の変形情報とに基づいて、判定対象画像の削除可否判定を行う。よって、観察できなくなる観察対象領域の度合いに即した削除可否判定を行うことができ、観察対象領域を考慮せずに変形情報を用いた画像要約処理を行う場合に比べて適切な画像要約処理を行うこと等が可能になる。

【0015】

本発明の一態様では、前記処理部は、前記基準画像の前記観察対象領域に対して、前記変形情報を用いた変形処理を行うことで、前記判定対象画像のうち前記基準画像の前記観察対象領域により覆われる領域である観察対象被覆領域を求め、求めた前記観察対象被覆領域と、前記判定対象画像の前記観察対象領域に基づいて、前記判定対象画像の削除可否の判定を行ってもよい。

【0016】

これにより、判定対象画像のうち、基準画像の観察対象領域により被覆される領域に相当する観察対象被覆領域に基づいて、判定対象画像の削除可否判定を行うこと等が可能になる。

【0017】

本発明の一態様では、前記処理部は、前記観察対象被覆領域と、前記判定対象画像の前記観察対象領域との共通領域である観察対象共通領域を求め、求めた前記観察対象共通領域が前記判定対象画像の前記観察対象領域に占める割合である観察対象被覆率を算出し、算出した前記観察対象被覆率に基づいて前記判定対象画像の削除可否の判定を行ってもよい。

【0018】

これにより、観察対象被覆率に基づいて、判定対象画像の削除可否判定を行うことが可能になる。

【0019】

本発明の一態様では、前記処理部は、前記観察対象被覆率が所定の閾値以上である場合は、前記判定対象画像を削除可能と判定し、前記観察対象被覆率が前記所定の閾値未満である場合は、前記判定対象画像を削除不可と判定してもよい。

【0020】

これにより、観察対象被覆率を用いた閾値判定処理により、削除可否判定を行うことが可能になる。

【0021】

本発明の一態様では、前記処理部は、前記判定対象画像の前記観察対象領域のうち、前記観察対象被覆領域ではない領域である観察対象喪失領域が、前記判定対象画像に占める割合である観察対象喪失領域占有率を算出し、算出した前記観察対象喪失領域占有率に基づいて前記判定対象画像の削除可否の判定を行ってもよい。

【0022】

これにより、観察対象喪失領域占有率に基づいて、判定対象画像の削除可否判定を行うことが可能になる。

【0023】

本発明の一態様では、前記処理部は、前記観察対象喪失領域占有率が所定の閾値未満である場合は、前記判定対象画像を削除可能と判定し、前記観察対象喪失領域占有率が前記所定の閾値以上である場合は、前記判定対象画像を削除不可と判定してもよい。

【0024】

これにより、観察対象喪失領域占有率を用いた閾値判定処理により、削除可否判定を行うことが可能になる。

【0025】

本発明の一態様では、前記処理部は、前記判定対象画像の前記観察対象領域のうち、前期観察対象被覆領域ではない領域である観察対象喪失領域を用いて、前記判定対象画像において注目領域を見逃す可能性の有無を判定し、前記注目領域を見逃している可能性の有無に応じて、前記判定対象画像の削除可否の判定を行ってもよい。

【0026】

これにより、注目領域の見逃し可能性という観点から、判定対象画像の削除可否を判定すること等が可能になる。

【0027】

本発明の一態様では、前記処理部は、前記観察対象喪失領域に、前記注目領域に対応するサイズの領域が含まれるか否かの判定を行うことで、前記判定対象画像において前記注目領域を見逃す可能性の有無を判定してもよい。

【0028】

これにより、観察対象喪失領域に注目領域に対応するサイズの領域が含まれるか否かにより、注目領域の見逃し可能性を判定すること等が可能になる。

【0029】

本発明の一態様では、前記処理部は、前記観察対象喪失領域に対して、前記注目領域に対応する構造要素を用いた収縮処理を行い、前記収縮処理の結果、残留領域がある場合に、前記注目領域を見逃す可能性があるとして、前記判定対象画像は削除不可であると判定し、前記収縮処理の結果、前記残留領域が無い場合に、前記注目領域を見逃す可能性がないとして、前記判定対象画像は削除可能であると判定してもよい。

【0030】

これにより、構造要素を用いた収縮処理により、注目領域の見逃し可能性を判定すること等が可能になる。

【0031】

本発明の一態様では、前記処理部は、前記観察対象被覆領域と、前記判定対象画像の前記観察対象領域との共通領域である観察対象共通領域を求め、求めた前記観察対象共通領域が前記判定対象画像の前記観察対象領域に占める割合である観察対象被覆率を算出し、前記判定対象画像の前記観察対象領域から前記観察対象共通領域を除いた領域である観察対象喪失領域が、前記判定対象画像に占める割合である観察対象喪失領域占有率を算出し、算出した前記観察対象被覆率と、前記観察対象喪失領域占有率とに基づいて前記判定対象画像の削除可否の判定を行ってもよい。

【0032】

これにより、観察対象被覆率と観察対象喪失領域占有率の両方を組み合わせて用いることができるため、削除可否判定の判定精度向上等が可能になる。

【0033】

本発明の一態様では、前記処理部は、前記観察対象被覆率に基づく判定、及び前記観察対象喪失領域占有率に基づく判定の少なくとも一方の判定において、削除可能とされた前記判定対象画像を削除可能と判定してもよい。

【0034】

これにより、判定対象画像が削除可能と判定される可能性を向上させる組み合わせができるため、画像枚数の削減効果の向上等が可能になる。

【0035】

本発明の一態様では、前記処理部は、前記画像の遮蔽物領域を除いた領域を前記観察対象領域として検出してもよい。

【0036】

これにより、遮蔽物領域を除いた領域を観察対象領域として検出することが可能になる。

【0037】

本発明の一態様では、前記画像列は生体内を撮像した生体内画像列であり、前記遮蔽物領域は、前記画像の泡領域又は残渣領域であってもよい。

【0038】

これにより、泡領域又は残渣領域を遮蔽物領域とすることが可能になる。

【0039】

本発明の一態様では、前記処理部は、前記画像の画像信号が観察に適さない領域を除いた領域を前記観察対象領域として検出してもよい。

【0040】

これにより、画像信号が観察に適さない領域を除いた領域を観察対象領域として検出することが可能になる。

【0041】

本発明の一態様では、前記画像信号が観察に適さない領域は、前記画像の暗部領域又はハレーション領域であってもよい。

【0042】

これにより、暗部領域又はハレーション領域を画像信号が観察に適さない領域とすることが可能になる。

【0043】

本発明の一態様では、前記画像列は生体内を撮像した生体内画像列であり、前記処理部は、前記画像の病変領域又は絨毛領域を前記観察対象領域として検出してもよい。

【0044】

これにより、病変領域又は絨毛領域を観察対象領域として検出することが可能になる。

【0045】

本発明の他の態様は、上記の各部としてコンピュータを機能させるプログラムに関係する。

【0046】

本発明の他の態様は、複数の構成画像を有する画像列を取得し、前記複数の構成画像の各構成画像から観察対象領域を検出する処理を行い、前記複数の構成画像から基準画像と判定対象画像を選択し、前記基準画像の変形推定対象領域と、前記判定対象画像の前記変形推定対象領域との間の変形情報を算出し、前記基準画像の前記観察対象領域と、前記判定対象画像の前記観察対象領域と、前記変形情報に基づいて、前記判定対象画像の削除可否の判定を行い、前記削除可否の判定結果に基づいて、前記画像列の前記複数の画像の一部を削除して要約画像列を取得する画像要約処理を行う画像処理方法に関係する。

【図面の簡単な説明】

【0047】

【図1】図１（Ａ）〜図１（Ｃ）は画像要約処理に病変領域を用いる理由を説明する図。

【図2】画像要約処理に病変領域を用いる理由を説明する他の図。

【図3】本実施形態の処理を説明する図。

【図4】画像処理装置の構成例。

【図5】第１の実施形態の削除可否判定部の構成例。

【図6】本実施形態の処理を説明するフローチャート。

【図7】第１の実施形態の削除可否判定処理を説明するフローチャート。

【図8】図８（Ａ）〜図８（Ｃ）は基準画像と判定対象画像の選択手法を説明する図。

【図9】複数の基準画像に基づいて病変被覆領域を求める処理を説明する図。

【図10】図１０（Ａ）、図１０（Ｂ）は第１の基準画像と第２の基準画像を用いた削除可否判定処理を説明する図。

【図11】図１１（Ａ）〜図１１（Ｄ）は第２の実施形態の処理を説明する図。

【図12】第２の実施形態の削除可否判定部の構成例。

【図13】第２の実施形態の削除可否判定部の他の構成例。

【図14】第２の実施形態の削除可否判定処理を説明するフローチャート。

【図15】第３の実施形態の削除可否判定部の構成例。

【図16】第３の実施形態の画像要約処理を説明するフローチャート。

【図17】画像処理装置の基本的な構成例。

【図18】被覆領域に基づいて被覆率を求める手法を説明する図。

【図19】泡領域等に基づいて基準画像の観察対象領域及び観察対象被覆領域を求める処理の説明図。

【図20】泡領域等に基づいて判定対象画像の観察対象領域を求める処理の説明図。

【図21】図２１（Ａ）は観察対象共通領域の例、図２１（Ｂ）は観察対象喪失領域の例。

【図22】画像処理装置の他の構成例。

【図23】第４の実施形態の削除可否判定部の構成例。

【図24】図２４（Ａ）〜図２４（Ｅ）は観察対象喪失領域に対する構造要素による収縮処理を説明する図。

【図25】図２５（Ａ）、図２５（Ｂ）は構造要素を用いた他の処理を説明する図。

【発明を実施するための形態】

【0048】

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

【0049】

１．本実施形態の手法
まず本実施形態の手法について説明する。時間的或いは空間的に連続する大量の画像から構成される画像列が取得された場合、当該画像列を用いてユーザが何らかの処理（例えば内視鏡画像列であれば診断等の医療行為）を行う際に、画像要約処理を行うことが望ましい。なぜなら、画像列に含まれる画像の枚数は非常に多く、ユーザがその全てを見た上で判断を行うことは多大な労力を要するためである。また、画像列に含まれる画像の中には、互いに似通った画像が存在する可能性が高く、そのような似通った画像を全てチェックしたとしても取得できる情報量は限られ、労力に見合わない。

【0050】

具体例としては、カプセル内視鏡を用いて撮像される画像列が考えられる。カプセル内視鏡とは、小型カメラを内蔵したカプセル形状の内視鏡であり、所与の時間間隔（例えば１秒に２回等）で画像を撮像する。カプセル内視鏡は、内服から排出までに数時間（場合によっては十数時間）を要するため、１ユーザの１回の検査において数万枚の撮像画像が取得されることになる。また、カプセル内視鏡は生体内での移動の際に、当該生体の動きの影響を受けること等により、同じ場所にとどまったり、逆方向へ戻ったりする。そのため、大量の画像の中には他の画像と同じような被写体を撮像していて、診断等において有用性の高くない画像も多数存在してしまう。

【0051】

これに対して、画像中から病変領域を検出し、病変領域が検出された画像は要約処理後の要約画像列に残し、病変領域が検出されなかった画像は削除するという画像要約処理を行うことが考えられる。しかし症例によっては、取得された画像列の大部分の画像で病変領域が検出される場合がある。このような場合には、病変領域が検出されたか否かで画像要約処理を行ったとしても、大部分の画像が削除不可とされるため、画像枚数の削減効果が低くユーザ（ドクター）の負担軽減につながらない。

【0052】

よって、病変領域が検出された画像群に対して、従来の画像要約処理（例えば特許文献１で開示されている、シーンが変化する境目の画像や、画像列を代表する画像を抽出する処理）を行って画像枚数の削減効果を高めることが考えられる。しかしこのような手法では、画像を削除する際に、その削除対象となる画像に撮像されていた被写体と、残す画像に撮像されている被写体との関係は特に考慮していない。そのため、要約前の画像列に含まれる画像上に撮像されていた病変領域が、要約後の画像列に含まれるどの画像上にも撮像されていないということが起こりえる。また、画像要約処理により画像列のどの画像にも含まれなくなる病変領域がどの程度生じるかという度合いは、処理対象となる画像列に依存するため、従来手法においては当該度合いの制御が困難であった。

【0053】

このことは、医療分野ではその目的上、注目すべき領域（ここでは病変領域）の見落としは極力抑止しなくてはならないということに鑑みれば好ましくない。よって、画像要約処理において、所与の画像を削除することで観察できなくなる病変領域が生じることは、極力抑止すべきである。

【0054】

そこで本出願人は、基準画像（残す画像、実施形態によっては残す候補となる画像）と判定対象画像（削除するか否かの判定の対象画像）とを選択し、基準画像と判定対象画像の間の変形情報に基づいた画像要約処理を行う手法を提案する。

【0055】

基準画像と判定対象画像の間の変形情報を用いる画像要約処理の一例としては、図１８に示したように、基準画像を変形することで判定対象画像上に被覆領域を算出するものが考えられる。基準画像で撮像された被写体と、判定対象画像の被覆領域上に撮像された被写体とは対応することになる。つまり、判定対象画像における被覆領域外の範囲（以下、非被覆領域と表記する）は、当該判定対象画像を削除した場合、基準画像を残したとしてもカバーすることができない領域となる。

【0056】

よって、一例としては判定対象画像に占める被覆領域の割合等を被覆率として算出し、算出した被覆率に基づいて判定対象画像を削除するか否かを判定することで、観察できなくなる被写体範囲の発生度合いを制御する。例えば被覆率が閾値以上である際に判定対象画像を削除し、被覆率が閾値未満の際に判定対象画像を削除しないものとすれば、閾値の設定に応じてカバーできない領域の発生度合いを制御できる。

【0057】

しかし、本実施形態においては病変領域（広義には後述する観察領域）の検出処理を行うことが前提となっており、病変領域が画像中で注目すべき領域であることは上述したとおりである。注目すべき病変領域が検出されているのであれば、図１８に示したように画像全体を対象として処理を行って、病変領域とそうでない領域とを等価に扱うことは不合理である。

【0058】

図１（Ａ）〜図１（Ｃ）を用いて一例を示す。なお、図１（Ａ）〜図１（Ｃ）は説明のために極端な形状を設定している。基準画像を変形情報を用いて変形して判定対象画像上に射影した結果、図１（Ａ）に示したような被覆領域が得られたとする。この場合、被覆率はある程度高い値となるため、削除可否判定に用いる閾値等の設定にもよるが、判定対象画像は削除可能と判定されると考えられる。これは言い換えれば、判定対象画像を削除した場合、基準画像を残したとしてもカバーすることのできない領域（図１（Ａ）の非被覆領域）が、許容可能な程度に小さいということである。

【0059】

しかし、基準画像上の病変領域が図１（Ｂ）のＡ１に示した領域である場合、変形情報による変形処理後の基準画像の病変領域（以下、病変被覆領域とも表記する）は判定対象画像上ではＡ２に示した領域となる。ここで、判定対象画像の病変領域が図１（Ｃ）のＡ３に示した領域である場合、判定対象画像の病変領域Ａ３の大部分が非被覆領域に含まれることになり、その部分は判定対象画像を削除すると観察できない病変領域となる。

【0060】

つまり、図１（Ａ）〜図１（Ｃ）の場合、本来の病変部全体は図１（Ｃ）のＡ３に示した病変領域に対応するだけの大きさがあるにもかかわらず、基準画像においてはその左上の一部分を拡大して観察できるに過ぎない。しかしながら、画像全体を対象として被覆率を算出したのでは、図１（Ａ）に示したように判定対象画像は削除可能と判定されてしまう。つまり、病変領域を考慮しない被覆率判定では、本来削除不可とすべき所を、削除可能と判定してしまうことで、観察できない病変領域が多く発生してしまう可能性がある。

【0061】

逆に、図２に示したように、基準画像を変形することでＢ１の被覆領域が得られ、基準画像の病変領域がＢ２、判定対象画像の病変領域がＢ３である場合には、判定対象画像に占める被覆領域の割合は低いため、被覆率を用いた判定では判定対象画像は削除不可とされる。しかし、判定対象画像の病変領域Ｂ３はその大部分がＢ２を変形した病変被覆領域に含まれており、判定対象画像を削除したとしても観察できなくなる病変領域の発生度合いは低いものとなる。この場合、本来削除可能とすべき所を、病変領域を考慮しない被覆率判定では削除不可と判定してしまうことで、画像要約処理後の画像列に含まれる画像枚数が多くなり（画像枚数の削減効果が低くなり）、ユーザの負担が増大する可能性がある。

【0062】

以上のことから、本出願人は画像全体を変形情報による変形処理の対象とするのではなく、病変領域を基準とした削除可否判定を行って画像要約処理を行う手法を提案する。具体的には、図３に示したように基準画像の病変領域に対して変形情報による変形処理を行って、判定対象画像に射影することで、基準画像の病変領域の変形結果（病変被覆領域）を求める。そして、判定対象画像の病変領域と、求めた病変被覆領域とに基づいて、判定対象画像の削除可否判定を行う。このようにすれば、図１（Ａ）〜図２で説明したような問題が生じることを抑止し、判定対象画像を削除することで観察できなくなる病変領域の発生度合いを適切に制御することが可能になる。

【0063】

また、以上の説明では判定対象画像を削除することで観察できなくなることが好ましくない領域として、病変領域を例としたがこれに限定されるものではない。例えば、特許文献４、５にそれぞれ検出手法が開示されている泡領域や残渣領域では、泡や残渣が存在することにより、生体の粘膜が遮蔽されてしまう。もちろん泡や残渣を観察対象とする場合もあり得るが、一般的には観察の優先度は粘膜の方が高く、泡領域や残渣領域は観察の優先度が低い。つまり、判定対象画像において、当該判定対象画像の削除により泡領域や残渣領域が観察できなくなることは大きな問題とならないのに対して、泡領域や残渣領域以外の領域が観察できなくなることは大きな問題となる。

【0064】

同様に、特許文献６、７にそれぞれ検出手法が開示されている暗部領域やハレーション領域では、明るさが極端に暗い又は明るいことにより被写体の視認性が低く、観察の優先度は適正露光の領域に比べて低い。つまり、判定対象画像において、当該判定対象画像の削除により暗部領域やハレーション領域が観察できなくなることは大きな問題とならないのに対して、暗部領域やハレーション領域以外の領域が観察できなくなることは大きな問題となる。

【0065】

つまり、処理の対象は病変領域に限定する必要はなく、画像中に観察の優先度が高い第１の領域と、当該第１の領域に比べて優先度が低い第２の領域がある場合には、画像全体を変形情報による変形処理の対象とするのではなく、第１の領域を基準とした削除可否判定を行って画像要約処理を行えばよい。本実施形態では、病変領域、粘膜が遮蔽されない領域（泡領域や残渣領域でない領域）、視認性が相対的に高い領域（暗部領域やハレーション領域でない領域）を観察対象領域とし、当該観察対象領域を基準とした削除可否判定を行って画像要約処理を行う。

【0066】

ここでの画像処理装置の１つの実施形態としては、図１７に示したように処理部１００と、画像列取得部２００を含むものが考えられる。画像列取得部２００は、複数の構成画像を有する画像列を取得する。処理部１００は、画像列取得部２００が取得した画像列の複数の構成画像の一部を削除して要約画像列を生成する画像要約処理を行う。そして処理部１００は、複数の構成画像の各構成画像から観察対象領域を検出する処理を行い、複数の構成画像から基準画像と判定対象画像を選択し、基準画像の変形推定対象領域と、判定対象画像の変形推定対象領域との間の変形情報を算出し、基準画像の観察対象領域と、判定対象画像の観察対象領域と、変形情報に基づいて、判定対象画像の削除可否の判定を行う。

【0067】

以下、第１〜第３の実施形態では、病変領域を観察対象領域とした例について説明する。第１の実施形態では変形情報、基準画像の病変領域、判定対象画像の病変領域に基づいて、病変被覆率を指標値として求めて判定対象画像の削除可否判定を行う手法について説明する。また、第２の実施形態では病変喪失領域占有率を指標値として用いる手法について説明する。各指標値の詳細については後述する。さらに、第１の実施形態と第２の実施形態の組み合わせ、及びその変形例を第３の実施形態で説明する。また、第４の実施形態では観察できない領域を除外した領域を観察対象領域とした例について説明する。具体的には、観察できない領域とは泡領域、残渣領域、暗部領域、ハレーション領域等であり、観察対象領域とは画像のうち、それら以外の領域である。

【0068】

２．第１の実施形態
病変領域を観察対象領域とし、病変被覆率（広義には観察対象被覆率）に基づいて判定対象画像の削除可否判定処理を行う手法について説明する。具体的には、画像処理装置のシステム構成例を説明し、フローチャートを用いて処理の流れを説明する。

【0069】

２．１ システム構成例
図４に本実施形態における画像処理装置のシステム構成例を示す。画像処理装置は、処理部１００と、画像列取得部２００と、記憶部３００を含む。

【0070】

処理部１００は、画像列取得部２００が取得した画像列に対して、当該画像列に含まれる複数の画像の一部を削除することで、画像要約処理を行う。この処理部１００の機能は、各種プロセッサ（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムなどにより実現できる。

【0071】

画像列取得部２００は、画像要約処理の対象となる画像列を取得する。取得する画像列は、時系列順に並んだＲＧＢ３チャンネル画像が考えられる。或いは、横一列に並べられた撮像機器により撮影された、空間的に並んだ画像列のように空間的に連続する画像列であってもよい。なお、画像列を構成する画像はＲＧＢ３チャンネル画像に限定されるものではなく、Ｇｒａｙ１チャンネル画像等、他の色空間を用いてもよい。

【0072】

記憶部３００は、画像列取得部２００が取得した画像列を記憶する他、処理部１００等のワーク領域となるもので、その機能はＲＡＭ等のメモリーやＨＤＤ（ハードディスクドライブ）などにより実現できる。

【0073】

また、処理部１００は、図４に示したように病変領域検出部１００１と、変形推定対象領域選択部１００２と、変形情報取得部１００３と、基準画像選択部１００４と、判定対象画像選択部１００５と、削除可否判定部１００６と、を含んでもよい。なお処理部１００は、図４の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。また上述の各部は、処理部１００で実行される画像要約処理を複数のサブルーチンに分割した際に、各サブルーチンを説明するために設定したものであり、必ずしも処理部１００が上述の各部を構成要件として有するわけではない。

【0074】

病変領域検出部１００１は、画像列の各画像から病変領域を検出する。病変領域として対象とする疾患の種類、及び病変領域の検出手法については種々考えられる。例えば、特許文献２に開示されている手法を用いてもよいし、他の手法を用いてもよい。病変領域が検出されなかった画像は、病変観察等の処理において有用ではないため、画像要約処理後の画像列に残す必要はない。よって、画像列取得部２００が取得した画像列に対してまず病変領域検出処理を行い、これ以降の処理については病変領域が検出された画像を対象とすればよい。

【0075】

変形推定対象領域選択部１００２は、変形推定処理（具体的には変形情報を取得する処理）の対象となる領域を設定する。本実施形態においては、変形情報による変形処理の対象となるのは病変領域である。つまり、病変領域を変形するのに十分な変形情報（例えば、病変領域に含まれる各画素について、当該画素を判定対象画像上に射影する情報）があれば処理を行うことができる。しかし、変形情報を求める際に病変領域だけを用いるものとすると、病変領域の面積が小さい場合等には求めた変形情報の精度が問題となることも考えられる。よって本実施形態では変形推定処理に用いる領域を変形推定対象領域として選択してもよい。変形推定対象領域は、画像の全領域を選択してもよいし、病変領域の情報等を用いて動的に変形推定対象領域を選択してもよい。また、画像処理装置において選択処理を行わない構成としてもよく、例えば装置の出荷時等に設定された値をそのまま使う構成であってもよい。

【0076】

変形情報取得部１００３は、変形推定対象領域の情報を用いて、２つの画像間の変形情報を取得する。ここで変形情報とは、一方の画像において撮像された範囲が、他方の画像においてどのような形状（範囲）として撮像されているかを表すものであり、例えば特許文献３に開示されている変形パラメータ等であってもよい。判定対象画像の削除可否判定においては、変形情報取得部１００３は、基準画像選択部１００４で選択された基準画像と、判定対象画像選択部１００５で選択された判定対象画像の間の変形情報を取得し、取得した変形情報に基づいて削除可否判定処理が行われる。

【0077】

ただし、変形情報取得部１００３は、基準画像と判定対象画像の間の変形情報を直接求めるものに限定されない。例えば、処理対象となる画像列において、隣り合う画像間の変形情報を求めておき、隣り合わない画像間での変形情報は、隣り合う画像間の変形情報を組み合わせて算出するものであってもよい。この場合、基準画像と判定対象画像の間の変形情報は、基準画像、判定対象画像、及びその間の画像での隣り合う画像間の変形情報を（狭義には全て）組み合わせることで求めることになる。

【0078】

このようにすることで、変形情報の算出処理の負荷を軽くすることが可能になる。なぜなら、変形情報は特許文献３等で示した手法により算出できるが、一般的に変形情報を一から算出する処理に比べて、複数の変形情報を複合する処理は非常に軽いものとなるためである。例えば、変形情報が行列等であれば、２つの画像情報から当該行列を求める処理は負荷が大きいが、すでに求めてある複数の行列を合成することは（例えば行列の積を取るだけでよいため）非常に容易となる。

【0079】

例えば、画像列取得部２００により取得された画像列がＮ枚の画像を含んでいた場合、その中から２枚の画像を選択する組み合わせはＮ×（Ｎ−１）／２通り考えられるため、基準画像と判定対象画像の間の変形情報を直接求めるとすると、負荷の重い処理（変形情報を一から算出する処理）をＮ^２のオーダーの回数だけ行う可能性がある。それに対して、隣り合う画像間の変形情報を用いるようにすれば、負荷の重い処理はＮ−１回ですむ。

【0080】

基準画像選択部１００４は、部分画像列の複数の画像から基準画像を選択する。判定対象画像選択部１００５は、部分画像列の複数の画像のうち、基準画像とは異なる画像を判定対象画像として選択する。

【0081】

削除可否判定部１００６は、基準画像と判定対象画像の間の変形情報に基づいて、判定対象画像の削除可否判定処理を行う。本実施形態では、基準画像の病変領域により判定対象画像の病変領域が被覆される程度を表す病変被覆率に基づいて、判定対象画像の削除可否判定処理を行う。

【0082】

削除可否判定部１００６は、図５に示したように病変被覆領域算出部１００９と、病変共通領域算出部１０１０と、病変被覆率算出部１０１１と、閾値判定部１０１２と、を含んでもよい。ただし、削除可否判定部１００６は、図５の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。

【0083】

病変被覆領域算出部１００９は、２つの画像間の変形情報（変形パラメータ）を利用して、基準画像の病変領域を判定対象画像へ変形・射影して病変被覆領域を求める。病変共通領域算出部１０１０は、求めた病変被覆領域と、判定対象画像の病変領域との共通領域である病変共通領域を求める。

【0084】

病変被覆率算出部１０１１は、病変被覆領域に基づいて病変被覆率を算出する。病変被覆率は、判定対象画像の病変領域に占める病変共通領域の割合（言い換えれば判定対象画像の病変領域のうち、基準画像の病変領域によりカバーされる領域）であり、具体的には判定対象画像の病変領域の面積に対する、病変共通領域の面積の割合として求められる。

【0085】

閾値判定部１０１２は、算出された病変被覆率と所与の閾値との比較処理を行う。病変被覆率が閾値以上の場合には、判定対象画像の病変領域は、基準画像の病変領域により十分カバーされているということであるため、判定対象画像は削除可能と判定される。逆に、病変被覆率が閾値未満の場合には、判定対象画像を削除すると観察できなくなる病変領域の発生度合いが大きいということであるため、判定対象画像は削除不可と判定される。

【0086】

図３に削除可否判定部１００６での処理を示す。病変被覆領域算出部１００９では、基準画像の病変領域（Ｃ１）を変形、射影することで病変被覆領域（Ｃ２）を求める。病変共通領域算出部１０１０は、判定対象画像の病変領域（Ｃ３）と病変被覆領域（Ｃ２）の共通部分を病変共通領域（Ｃ４）として求める。病変被覆率算出部１０１１は、（Ｃ４の面積）／（Ｃ３の面積）を病変被覆率として求め、閾値判定部１０１２は、求めた病変被覆率と所与の閾値との比較処理を行う。

【0087】

２．２ 処理の流れ
次に、図６のフローチャートを用いて本実施形態の画像要約処理の流れを説明する。この処理が開始されると、まず画像列取得部２００で取得した画像列の各画像から病変領域を検出する（Ｓ１０１）。以降の処理は、Ｓ１０１で病変領域が検出された画像を対象として行われる。

【0088】

次に、変形推定処理に用いられる変形推定対象領域を選択する処理を行い（Ｓ１０２）、選択された変形推定対象領域を用いて変形推定処理が行われる（Ｓ１０３）。具体的には、上述したように変形推定対象領域に基づいて、隣接する２つの画像間での変形情報を求める処理に相当する。

【0089】

その後、画像列から基準画像を選択する（Ｓ１０４）。Ｓ１０４の処理が初めて行われる場合には、画像列の先頭の画像を基準画像として選択すればよい。また、２回目以降のＳ１０４の処理（Ｓ１０６からＳ１０４に戻った場合）では、Ｓ１０６での削除可否判定処理で削除不可と判定された判定対象画像を新たな基準画像として選択する。ここで選択された基準画像は、要約画像列に残されるものとなる。なお、エラー等により部分画像列から基準画像を選択できない場合には、画像要約処理を終了する。

【0090】

基準画像が選択された場合には、画像列に含まれる画像から判定対象画像を選択する（Ｓ１０５）。ここでは画像列において基準画像の後方の画像から判定対象画像を選択するものとする。具体的には、Ｓ１０４での基準画像の選択或いは更新処理後、初めてＳ１０５の処理が行われる場合には、基準画像の次の画像を判定対象画像として選択する。また、すでに基準画像を起点としてｋ番目の画像が判定対象画像として選択されていた場合には、選択位置を１つずらして基準画像を起点としてｋ＋１番目の画像を新たな判定対象画像として選択する。Ｓ１０５で選択する画像がない場合とは、画像列の最後の画像まで削除可否判定処理が行われたということであるため、画像要約処理を終了する。

【0091】

基準画像と判定対象画像が選択されたら、Ｓ１０３で求めた（或いはＳ１０３で求めた変形情報を組み合わせることで取得された）基準画像と判定対象画像の間の変形情報、及び基準画像と判定対象画像でそれぞれ検出された病変領域に基づいて、判定対象画像の削除可否判定処理を行う（Ｓ１０６）。

【0092】

Ｓ１０６の削除可否判定処理の流れを図７のフローチャートを用いて説明する。この処理が開始されると、まず、基準画像の病変領域を変形情報（変形パラメータ）を用いて変形することで病変被覆領域を求める（Ｓ２０１）。そして、判定対象画像の病変領域と、求めた病変被覆領域との共通領域を病変共通領域として求め（Ｓ２０２）、判定対象画像の病変領域に占める病変共通領域の割合を病変被覆率として算出する（Ｓ２０３）。算出した病変被覆率と所与の閾値との比較処理を行って（Ｓ２０４）、判定対象画像の削除可否を判定する。

【0093】

Ｓ１０６で削除可能と判定された場合には、Ｓ１０５に戻り判定対象画像の更新処理を行う。また、Ｓ１０６で削除不可と判定された場合には、その際の基準画像では判定対象画像の病変領域を十分にカバーできないということであるから、その際の判定対象画像は要約画像列に残す必要があるということになる。よって、Ｓ１０４に戻り、Ｓ１０６で削除不可と判定された判定対象画像を新たな基準画像として選択する。

【0094】

以上の画像列に対する画像要約処理を図示したものが図８（Ａ）〜図８（Ｃ）である。図８（Ａ）に示したように、Ｎ枚の画像を有する画像列に対して、まず１番目の画像が基準画像として選択され、２番目の画像が判定対象画像として選択される。そして、基準画像と判定対象画像の間で病変被覆率が算出され、判定対象画像の削除可否が判定される。

【0095】

判定対象画像が削除可能と判定された場合には、新たに判定対象画像を選択する。具体的には判定対象画像の位置を後ろにずらす処理となり、図８（Ｂ）に示したように３番目の画像が判定対象画像として選択される。そして、基準画像と新たな判定対象画像の間で判定対象画像の削除可否が判定され、削除不可と判定される判定対象画像が見つかるまで、判定対象画像として選択される画像を更新していく。

【0096】

図８（Ｃ）に示したように、２番目〜ｋ−１番目までの画像が削除可能と判定され、ｋ番目の画像が削除不可と判定された場合、２番目〜ｋ−１番目までの画像は当該画像を削除したとしても失われる病変領域はある程度（閾値に対応する程度）に押さえられているということであるから、削除処理を行い要約画像列には含めない。それに対して、ｋ番目の画像は、当該画像を削除すると基準画像を残したとしても多くの病変領域が失われるため、要約画像列に残す必要がある。そのために、ここではｋ番目の画像を新たな基準画像として設定する。

【0097】

そして、新たな基準画像が選択されたら、その１つ後方の画像を判定対象画像として選択し、再度図８（Ａ）〜図８（Ｃ）の処理を繰り返せばよい。その後も同様であり、判定対象画像が削除可能であれば、判定対象画像を１つ後方の画像に更新し、判定対象画像が削除不可であれば、その画像を新たな基準画像として選択する。そして、画像列の全ての画像について削除可否を判定したら処理を終了する。

【0098】

２．３ 変形例
なお、基準画像と判定対象画像の選択手法には種々の変形例が考えられる。例えば、基準画像を複数選択してもよい。その場合、基準画像として選択される画像の枚数に相当する数の病変領域が存在するが、そのいずれかによりカバーされている判定対象画像の病変領域は、当該判定対象画像を削除したとしても失われることはない。よって、図９に示したように各基準画像の病変領域を変形して求められた領域の和集合に相当する領域を病変被覆領域として処理を行えばよい。病変被覆領域算出後の、病変共通領域の算出、病変被覆率の算出、閾値判定の各処理は上述した例と同様である。

【0099】

基準画像を複数選択する手法としては、図１０（Ａ）、図１０（Ｂ）に示したように、判定対象画像の前方から１枚、後方から１枚の計２枚の基準画像を選択する手法が考えられる。この場合、２枚の基準画像の間の画像を順次判定対象画像として選択する。そして、２枚の基準画像の間の画像が全て削除可能であれば、当該２枚の基準画像を要約画像列に残し、間の画像を削除することで、画像を削除したとしても失われる病変領域の度合いが一定以下であることを保証する削除可否判定処理を行えることになる。

【0100】

ただし、要約画像の枚数を少なくするという観点で削除可否判定処理を行うのであれば、第１の基準画像（前方）と第２の基準画像（後方）により間の画像を全て削除できるという条件を満たし、且つその中で第１の基準画像と第２の基準画像が最も離れている位置を探索するとよい。その場合、第１の基準画像が確定している場合には、図１０（Ａ）、図１０（Ｂ）に示したように、ｋ番目の画像を第２の基準画像とした場合には間の画像を全て削除できるが、ｋ＋１番目の画像を第２の基準画像とした場合には間の画像の少なくとも１枚が削除できないようなｋを探索することになる。条件を満たすｋが見つかった場合には、ｋ番目の画像を新たな第１の基準画像として選択し、その後方から第２の基準画像を選択する。そして、その間の画像を順次判定対象画像として選択して削除可否判定処理を行い、上述したように、間の画像が全て削除可能で、且つ新たな第１の基準画像から最も遠い第２の基準画像を探索する処理を繰り返せばよい。この手法では、探索中の第２の基準画像は、要約画像列に残す画像の候補であり、実際に要約画像列に残す画像は第１の基準画像となる。

【0101】

その他、基準画像と判定対象画像の選択は種々の手法により実現可能である。

【0102】

以上の本実施形態では、画像処理装置は図４に示したように、複数の構成画像を有する画像列を取得する画像列取得部２００と、画像列取得部２００が取得した画像列の複数の構成画像の一部を削除して要約画像列を生成する画像要約処理を行う処理部１００を含む。そして処理部１００は、複数の構成画像の各構成画像から観察対象領域を検出する処理を行い、複数の構成画像から基準画像と判定対象画像を選択し、基準画像の変形推定対象領域と、判定対象画像の変形推定対象領域との間の変形情報を算出する。さらに処理部１００は、基準画像の観察対象領域と、判定対象画像の観察対象領域と、変形情報に基づいて、判定対象画像の削除可否の判定を行う。

【0103】

ここで観察対象領域とは、画像のうち他の領域に比べて観察すべき領域、或いは観察することができる領域を表す。具体的には、観察対象領域は本実施形態で上述した病変領域であってもよいし、第４の実施形態で後述するように、泡領域、残渣領域、暗部領域、ハレーション領域以外の領域であってもよい。

【0104】

ここで変形推定対象領域とは、画像間（特に基準画像と判定対象画像の間）の変形情報を求める際に処理対象となる領域である。変形推定対象領域は、画像全体であってもよいし、その一部の領域であってもよい。また、処理部１００において変形推定対象領域を選択する構成であってもよいし、事前に設定された変形推定対象領域を用いてもよい。

【0105】

これにより、基準画像及び判定対象画像のそれぞれで検出された観察対象領域と、変形情報とに基づいて、判定対象画像の削除可否判定を行うことが可能になる。変形情報を用いることで、画像を削除した場合に観察できなくなる被写体の発生度合いを適切に制御することが可能になり、特に内視鏡装置による生体内画像を対象とする場合には病変部の見逃しを抑止することができる。また、観察対象領域を用いない場合、図１（Ａ）〜図１（Ｃ）に示したように削除すべきでない画像を削除してしまうことや、図２に示したように削除すべき画像を削除できないことが考えられるが、本実施形態の手法によればこれらの問題に対処できる。

【0106】

また、処理部１００は、基準画像の観察対象領域に対して、変形情報を用いた変形処理を行うことで、判定対象画像のうち基準画像の観察対象領域により覆われる領域である観察対象被覆領域を求めてもよい。そして処理部１００は、求めた観察対象被覆領域と、判定対象画像の観察対象領域に基づいて、判定対象画像の削除可否の判定を行う。

【0107】

ここで、観察対象被覆領域とは狭義には上述した病変被覆領域に対応するが、第４の実施形態で後述する手法により求められた基準画像の観察対象領域を、変形情報により変形した領域であってもよい。また、病変被覆領域を観察対象被覆領域へと拡張して考えることができるように、病変領域に基づいて求められる他の情報についても、病変領域を含む概念である観察領域に基づいて求められる情報へと拡張可能である。

【0108】

これにより、基準画像の観察対象領域（図３の例ではＣ１）を変形することで観察対象被覆領域（図３の例ではＣ２）を求め、求めた観察対象被覆領域と、判定対象画像の観察対象領域（図３の例ではＣ３）とに基づいて削除可否判定を行うことが可能になる。観察対象被覆領域は、判定対象画像を削除したとしても、基準画像を残すことで観察可能な観察対象領域に対応するため、観察対象被覆領域と判定対象画像の観察対象領域を用いることで、観察できなくなる観察対象領域の発生度合いを制御することが可能になる。

【0109】

また、処理部１００は、観察対象被覆領域と、判定対象画像の観察対象領域との共通領域である観察対象共通領域を求め、求めた観察対象共通領域が判定対象画像の観察対象領域に占める割合である観察対象被覆率を算出してもよい。そして、算出した観察対象被覆率に基づいて判定対象画像の削除可否の判定を行う。

【0110】

具体的には、処理部１００は、観察対象被覆率が所定の閾値以上である場合は、判定対象画像を削除可能と判定してもよい。また処理部１００は、観察対象被覆率が所定の閾値未満である場合は、判定対象画像を削除不可と判定してもよい。

【0111】

ここで、観察対象共通領域とは狭義には上述した観察対象被覆領域に対応し、観察対象被覆率は上述した病変被覆率に対応する。

【0112】

これにより、観察対象共通領域（図３の例ではＣ４）に基づいて観察対象被覆率を求めて、判定対象画像の削除可否判定を行うことが可能になる。観察対象共通領域は、判定対象画像の観察対象領域のうち、基準画像の観察対象領域によりカバーされる領域を表すため、観察対象被覆率は、基準画像の観察対象領域による判定対象画像の観察対象領域のカバー度合いを表す指標値となる。よって、観察対象被覆率が高ければ判定対象画像は削除可能であり、低ければ判定対象画像は削除不可となる。具体的には所与の閾値を基準とし、当該閾値以上か、閾値未満かの判定を行えばよい。

【0113】

また、画像列は生体内を撮像した生体内画像列であり、処理部１００は、画像の病変領域又は絨毛領域を観察対象領域として検出してもよい。

【0114】

ここで、絨毛とは腸内壁に存在する突起のことであり、絨毛領域とは画像のうち絨毛が撮像されたと判定された領域を表す。

【0115】

これにより、病変領域や絨毛領域を観察対象領域として、画像の削除により当該病変領域や絨毛領域が観察できなくなることを抑止する画像要約処理を行うことが可能になる。上述したように、病変領域は被験者の診断、治療において非常に重要な部分となるため、画像要約処理を行っても観察できるようにする利点は大きい。また、絨毛が萎縮している場合には細菌への耐性が低下すること等が知られていることから、被検者の状態把握に絨毛領域の観察は有用であり、絨毛領域についても病変領域と同様に考えることができる。

【0116】

なお、本実施形態の画像処理装置等は、その処理の一部又は大部分をプログラムにより実現してもよい。この場合には、ＣＰＵ等のプロセッサがプログラムを実行することで、本実施形態の画像処理装置等が実現される。具体的には、情報記憶媒体に記憶されたプログラムが読み出され、読み出されたプログラムをＣＰＵ等のプロセッサが実行する。ここで、情報記憶媒体（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＤＶＤ、ＣＤ等）、ＨＤＤ（ハードディスクドライブ）、或いはメモリ（カード型メモリー、ＲＯＭ等）などにより実現できる。そして、ＣＰＵ等のプロセッサは、情報記憶媒体に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち、情報記憶媒体には、本実施形態の各部としてコンピュータ（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。

【0117】

３．第２の実施形態
次に、病変領域を観察対象領域とし、病変喪失領域占有率（広義には観察対象喪失領域占有率）を指標値として用いた削除可否判定処理の手法について説明する。本実施形態の画像処理装置の構成例は、削除可否判定部１００６での処理内容が異なるものの、図４と同様であるため、削除可否判定部１００６以外については詳細な説明を省略する。また、処理の流れについても、Ｓ１０６の処理内容以外は図６のフローチャートと同様であるため、詳細な説明は省略する。

【0118】

３．１ 病変喪失領域占有率を用いた削除可否判定
まず、病変喪失領域占有率を用いた削除可否判定処理を行う理由について、図１１（Ａ）〜図１１（Ｄ）を用いて説明する。図１１（Ａ）及び図１１（Ｂ）は、基準画像と判定対象画像の病変領域が図に示したような領域である場合に、図３と同様に病変被覆領域、病変共通領域を求めた例である。図１１（Ａ）の場合には、判定対象画像の病変領域に占める病変共通領域の割合が大きい（ここでは８０％）ため、病変被覆領域に基づく判定では、判定対象画像は削除可能と判定される。一方、図１１（Ｂ）の場合には、判定対象画像の病変領域に占める病変共通領域の割合が小さい（ここでは５０％）ため、病変被覆領域に基づく判定では、判定対象画像は削除不可と判定される。

【0119】

しかし、判定対象画像の病変領域のうち、病変共通領域ではない領域（判定対象画像を削除すると基準画像では観察できない病変領域であるため、以下病変喪失領域と表記する）のサイズを考えると、上記判断には疑問が残る。図１１（Ａ）の場合の病変喪失領域を図１１（Ｃ）に、図１１（Ｂ）の場合の病変喪失領域を図１１（Ｄ）に示す。図１１（Ｃ）、図１１（Ｄ）から明らかなように、図１１（Ｃ）の方が図１１（Ｄ）に比べて病変喪失領域は大きいことになる。つまり、病変被覆率に基づく判定では、図１１（Ａ）の判定対象画像を削除することで、図１１（Ｃ）に示した大きいサイズの病変喪失領域が失われることを許容する一方で、図１１（Ｂ）の判定対象画像を削除不可とすることで、図１１（Ｄ）に示した小さいサイズの病変喪失領域を保護するために画像枚数の削減効果を低くしている。

【0120】

本実施形態では、この問題に対応するために病変被覆率とは異なる観点の指標値を用いて判定対象画像の削除可否判定を行うものとする。具体的には、図１１（Ｃ）、図１１（Ｄ）に示したように病変喪失領域を求め、求めた病変喪失領域のサイズを用いた判定を行えばよい。ただし、領域の面積（例えば当該領域に含まれる画素の数）は、画像全体の面積が異なればその相対的な広さは異なる。例えば合計画素数が１０万ピクセルの画像における５万ピクセルの領域は、画像の半分を覆う広い領域であると考えられるが、合計画素数１００万ピクセルの画像における５万ピクセルの領域は、画像のごく一部を占めるに過ぎない狭い領域と解釈される。よって本実施形態でも、病変喪失領域の面積そのものではなく、判定対象画像に占める病変喪失領域の割合を病変喪失領域占有率として削除可否判定に用いるものとする。

【0121】

３．２ システム構成例
上述したように、画像処理装置の構成例は図４と同様である。図１２に本実施形態の削除可否判定部１００６の構成例を示す。削除可否判定部１００６は、図１２に示したように病変被覆領域算出部１００９と、病変喪失領域算出部１０１３と、病変喪失領域占有率算出部１０１４と、閾値判定部１０１５と、を含んでもよい。ただし、削除可否判定部１００６は、図１２の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。

【0122】

病変被覆領域算出部１００９は、第１の実施形態と同様に、基準画像の病変領域を変形、射影して病変被覆領域を求める。病変喪失領域算出部１０１３は、求めた病変被覆領域と、判定対象画像の病変領域とから病変喪失領域を求める。病変喪失領域は、判定対象画像の病変領域のうち、病変被覆領域に含まれる領域を除いた領域として求めることができる。

【0123】

病変喪失領域占有率算出部１０１４は、病変喪失領域に基づいて病変喪失領域占有率を算出する。病変喪失領域占有率は、判定対象画像に占める病変喪失領域の割合（言い換えれば判定対象画像の病変領域のうち、基準画像の病変領域によりカバーされない領域）であり、具体的には判定対象画像の面積に対する、病変喪失領域の面積の割合として求められる。

【0124】

閾値判定部１０１５は、算出された病変喪失領域占有率と所与の閾値との比較処理を行う。病変喪失領域占有率が閾値未満の場合には、判定対象画像を削除したとしても、判定対象画像の病変領域のうち観察できなくなる領域のサイズ（厳密には判定対象画像全体のサイズを基準とした場合の相対サイズ）は、十分小さいということであるため、判定対象画像は削除可能と判定される。逆に、病変喪失領域占有率が閾値以上の場合には、判定対象画像を削除すると観察できなくなる病変領域の発生度合いが大きいということであるため、判定対象画像は削除不可と判定される。

【0125】

或いは、本実施形態の削除可否判定部１００６は病変喪失領域を直接求めない構成であってもよい。具体的には、削除可否判定部１００６は、図１３に示したように病変被覆領域算出部１００９と、病変共通領域算出部１０１０と、病変喪失領域占有率算出部１０１４と、閾値判定部１０１５と、を含んでもよい。

【0126】

この場合、図３に示したように、第１の実施形態と同様に病変被覆領域算出部１００９では、基準画像の病変領域（Ｃ１）を変形、射影することで病変被覆領域（Ｃ２）を求め、病変共通領域算出部１０１０は、判定対象画像の病変領域（Ｃ３）と病変被覆領域（Ｃ２）の共通部分を病変共通領域（Ｃ４）として求める。ここで、病変喪失領域の面積とは、判定対象画像の病変領域の面積から、病変共通領域の面積を減算したものとなる。よって、病変喪失領域占有率算出部１０１４は、（Ｃ３の面積−Ｃ４の面積）／（判定対象画像の面積）を病変喪失領域占有率として求め、閾値判定部１０１５は、求めた病変喪失領域占有率と所与の閾値との比較処理を行えばよい。

【0127】

３．３ 処理の流れ
本実施形態の削除可否判定処理の流れを図１４のフローチャートを用いて説明する。この処理が開始されると、まず、基準画像の病変領域を変形情報（変形パラメータ）を用いて変形することで病変被覆領域を求める（Ｓ３０１）。そして、判定対象画像の病変領域のうち、求めた病変被覆領域に含まれない領域を病変喪失領域として求め（Ｓ３０２）、判定対象画像に占める病変喪失領域の割合を病変喪失領域占有率として算出する（Ｓ３０３）。算出した病変喪失領域占有率と所与の閾値との比較処理を行って（Ｓ３０４）、判定対象画像の削除可否を判定する。

【0128】

以上の本実施形態では、処理部１００は、判定対象画像の観察対象領域のうち、観察対象被覆領域ではない領域である観察対象喪失領域が、判定対象画像に占める割合である観察対象喪失領域占有率を算出する。そして処理部１００は、算出した観察対象喪失領域占有率に基づいて判定対象画像の削除可否の判定を行う。

【0129】

具体的には、処理部１００は、観察対象喪失領域占有率が所定の閾値未満である場合は、判定対象画像を削除可能と判定してもよい。また処理部１００は、観察対象喪失領域占有率が所定の閾値以上である場合は、判定対象画像を削除不可と判定してもよい。

【0130】

これにより、観察対象喪失領域占有率に基づく削除可否判定を行うことが可能になる。図１１（Ａ）〜図１１（Ｄ）に示したように、観察対象被覆率を用いた判定では、判定対象画像の観察対象領域を基準にしているため、判定対象画像を削除することで実際に観察できなくなる観察対象領域のサイズが考慮されていない。結果として、図１１（Ｃ）に示した比較的広い領域が観察できなくなることを許容しつつ、図１１（Ｄ）に示した比較的狭い領域が観察できなくなることが許容されない。その点、観察対象喪失領域占有率を用いれば、判定対象画像に占める観察対象喪失領域の割合による判定となるため、適切な判定が可能になる。なお、観察対象喪失領域占有率は、判定対象画像を削除することで観察できなくなる領域を表す指標値である。よって、観察対象喪失領域占有率が高ければ判定対象画像は削除可能であり、低ければ判定対象画像は削除不可となる。具体的には所与の閾値を基準とし、当該閾値以上か、閾値未満かの判定を行えばよい。

【0131】

４．第３の実施形態
次に、病変領域を観察対象領域とし、病変被覆率と病変喪失領域占有率（広義には観察対象被覆率と観察対象喪失領域占有率）の両方を指標値として用いた削除可否判定処理の手法について説明する。本実施形態の画像処理装置の構成例は、削除可否判定部１００６での処理内容が異なるものの、図４と同様であるため、削除可否判定部１００６以外については詳細な説明を省略する。また、処理の流れについても、Ｓ１０６の処理内容以外は図６のフローチャートと同様であるため、詳細な説明は省略する。

【0132】

４．１ システム構成例と処理の流れ
上述したように、画像処理装置の構成例は図４と同様である。図１５に本実施形態の削除可否判定部１００６の構成例を示す。削除可否判定部１００６は、図１５に示したように病変被覆領域算出部１００９と、病変共通領域算出部１０１０と、病変被覆率算出部１０１１と、病変喪失領域占有率算出部１０１４と、閾値判定部１０１６と、を含んでもよい。ただし、削除可否判定部１００６は、図１５の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。

【0133】

図３に示したように、第１の実施形態と同様に病変被覆領域算出部１００９では、基準画像の病変領域（Ｃ１）を変形、射影することで病変被覆領域（Ｃ２）を求め、病変共通領域算出部１０１０は、判定対象画像の病変領域（Ｃ３）と病変被覆領域（Ｃ２）の共通部分を病変共通領域（Ｃ４）として求める。そして、病変被覆率算出部１０１１は、判定対象画像の病変領域（Ｃ３）に占める病変共通領域（Ｃ４）の割合を病変被覆率として求め、病変喪失領域占有率算出部１０１４は、判定対象画像に占める病変喪失領域（Ｃ３−Ｃ４）の割合を病変喪失領域占有率として求める。

【0134】

閾値判定部１０１６は、第１の閾値と病変被覆率との比較処理である第１の閾値判定処理と、第２の閾値と病変喪失領域占有率との比較処理である第２の閾値判定処理の両方を行えばよい。

【0135】

病変被覆率を用いる手法と、病変喪失領域占有率を用いる手法の組み合わせ方は種々考えられるが、病変喪失領域占有率を用いる第２の実施形態は、図１１（Ｂ）に示したように、病変喪失領域のサイズを考慮すれば削除してしかるべき判定対象画像が、病変被覆率を用いた処理では削除できないという問題に対応することを想定している。つまり、まず病変被覆率を用いた手法により画像要約処理を行って、中間画像列を出力し、当該中間画像列を対象として病変喪失領域占有率を用いた手法により再度画像要約処理を行って、最終的な要約画像列を求めればよい。

【0136】

具体的な処理の流れを図１６のフローチャートを用いて説明する。図１６のＳ４０１〜Ｓ４０６については図６のＳ１０１〜Ｓ１０６と同様である。Ｓ４０６は図６のＳ１０６と同様に、図７のＳ２０１〜Ｓ２０４に対応する病変被覆率を用いた削除可否判定処理となる。Ｓ４０４或いはＳ４０５において選択する画像がなかった場合には、病変被覆率を用いた画像要約処理が終了し、中間画像列が取得される。

【0137】

そして、取得された中間画像列に対してＳ４０７〜Ｓ４０９に示した処理を行う。ここでＳ４０９の削除可否判定処理は、図１４のＳ３０１〜Ｓ３０４に対応する病変喪失領域占有率を用いた削除可否判定処理となる。病変領域の検出、変形推定対象領域の選択、変形情報の取得はＳ４０２〜Ｓ４０３の結果を用いればよいため、Ｓ４０７〜Ｓ４０９の処理は、中間画像列を対象とした病変喪失領域占有率を用いた画像要約処理に他ならない。

【0138】

或いは、１回の削除可否判定処理において、病変被覆率と病変喪失領域占有率の両方を算出し、病変被覆率を用いた第１の閾値判定処理と、病変喪失領域占有率を用いた第２の閾値判定処理を行って、少なくとも一方の判定において削除可能と判定された判定対象画像を削除するという手法を用いてもよい。その他、第１，第２の実施形態の組み合わせ手法は、種々の変形実施が可能である。

【0139】

４．２ 変形例
また、病変喪失領域占有率の代わりに簡易的な指標値を用いてもよい。上述したように、第２の実施形態は、図１１（Ｂ）に示したような、病変喪失領域のサイズを考慮すれば削除してしかるべき判定対象画像が、病変被覆率を用いた処理では削除できないという問題に対応することを想定している。そのためには、厳密な判定をするのであれば病変喪失領域を用いることが望ましい。

【0140】

しかし、図１１（Ｂ）の様な状況は、判定対象画像に占める判定対象画像の病変領域の割合が小さい（判定対象画像の病変領域のサイズが小さい）場合に起こりやすいと考えられる。つまり、病変喪失領域占有率の代わりに、判定対象画像に占める判定対象画像の病変領域の割合（例えば判定対象画像の病変領域の面積／判定対象画像の面積）である病変領域占有率を指標値として用いてもよい。

【0141】

ただし、これだけでは変形情報を用いた画像要約処理とならず、画像間での被写体の関係を考慮せずに画像要約処理を行う従来手法と同様の問題が生じてしまう。よって、第２の実施形態の変形例として病変領域占有率を用いることは適切ではなく、第１の実施形態の病変被覆率と組み合わせて用いる必要がある。つまり、第３の実施形態における病変喪失領域占有率の代わりに、病変領域占有率を用いる形態となり、この場合病変領域占有率を用いる処理においては変形情報が不要となるため、第３の実施形態の基本的な手法に比べて処理負荷の軽減等が可能になる。

【0142】

具体的には、病変被覆率に基づいて削除可否判定処理を行い、その結果削除不可と判定されたとしても、当該判定対象画像での病変領域占有率が所与の閾値未満であれば、図１１（Ｂ）のようなケースであると考え、当該判定対象画像を削除可能と判定すればよい。

【0143】

上述したように、病変領域占有率を単体で用いることは好ましくないため、まず主として病変被覆率による判定を行い、病変領域占有率による判定は補助的に用いるとよい。

【0144】

以上の本実施形態では、処理部１００は、観察対象被覆領域と、判定対象画像の観察対象領域との共通領域である観察対象共通領域を求め、求めた観察対象共通領域が判定対象画像の観察対象領域に占める割合である観察対象被覆率を算出する。また処理部１００は、判定対象画像の観察対象領域から観察対象共通領域を除いた領域である観察対象喪失領域が、判定対象画像に占める割合である観察対象喪失領域占有率を算出する。そして処理部１００は、算出した観察対象被覆率と、観察対象喪失領域占有率とに基づいて判定対象画像の削除可否の判定を行う。

【0145】

具体的には、処理部１００は、観察対象被覆率に基づく判定、及び観察対象喪失領域占有率に基づく判定の少なくとも一方の判定において、削除可能とされた判定対象画像を削除可能と判定してもよい。

【0146】

これにより、観察対象被覆率と観察対象喪失領域占有率の両方を組み合わせて削除可否判定を行うことが可能になる。組み合わせ方は種々考えられるが、例えば少なくとも一方の判定において、削除可能とされた判定対象画像を削除可能と判定すれば、それぞれを単体で用いる場合に比べて画像枚数の削減効率を高めることができ、ユーザの負担を軽減することが可能になる。

【0147】

また、処理部１００は、観察対象被覆領域と、判定対象画像の観察対象領域との共通領域である観察対象共通領域を求め、求めた観察対象共通領域が判定対象画像の観察対象領域に占める割合である観察対象被覆率を算出する。さらに処理部１００は、判定対象画像の観察対象領域が判定対象画像に占める割合である観察対象領域占有率を算出する。そして処理部１００は、算出した観察対象被覆率と、観察対象領域占有率とに基づいて判定対象画像の削除可否の判定を行ってもよい。

【0148】

具体的には、処理部１００は、観察対象被覆率に基づく判定により、判定対象画像が削除不可と判定された場合にも、観察対象領域占有率が所与の閾値未満である場合には、判定対象画像を削除可能と判定してもよい。

【0149】

これにより、第３の実施形態の手法を簡易的に実行することが可能になる。観察対象喪失領域占有率を求めることで、判定対象画像を削除することで観察できなくなる観察対象領域のサイズを正確に算出することができる。しかし、削除することが望ましい画像が削除できない状況とは、図１１（Ｂ）に示したように判定対象画像に占める判定対象画像の観察対象領域の割合が小さい状況が想定されることから、容易に算出可能な観察対象領域占有率を用いることでも、同様の効果が期待できる。ただし、観察対象領域占有率の算出には変形情報が用いられないことから、観察対象領域占有率を単体で用いた場合には変形情報による利点（観察できなくなる観察対象領域の発生度合いが制御可能である点）が失われる。よって、この手法では、変形情報に基づく観察対象被覆率を用いる判定を前提として行った上で、補助的に観察対象領域占有率を用いるとよい。

【0150】

５．第４の実施形態
次に、遮蔽物領域を除いた領域、又は観察に適さない領域を除いた領域を観察対象領域とする例について説明する。具体的には、遮蔽物領域とは泡領域や残渣領域であり、観察に適さない領域とは暗部領域やハレーション領域である。なお、観察対象領域検出後の処理は、第１〜第３の実施形態のいずれかを適用してもよく、その場合の処理は上述した通りであるため詳細な説明は省略する。また、第２の実施形態と同様に観察対象喪失領域を求め、その後当該観察対象喪失領域に対して構造要素を用いた収縮処理を行うことで、判定対象画像の削除可否判定を行ってもよい。構造要素を用いた処理の詳細は後述する。

【0151】

５．１ 観察対象領域の検出
本実施形態の画像処理装置の構成例を図２２に示す。画像処理装置の処理部１００は、観察対象領域検出部１０１７と、変形推定対象領域選択部１００２と、変形情報取得部１００３と、基準画像選択部１００４と、判定対象画像選択部１００５と、削除可否判定部１００６と、を含む。また、不図示ではあるが、削除可否判定部１００６等の詳細な構成については、図５等の病変領域に関するブロックを観察対象領域に拡張して考えればよい。

【0152】

観察対象領域検出部１０１７は観察対象領域を検出する。特許文献４〜７に示したように、画像中の遮蔽物領域や観察に適さない領域を検出する手法は種々知られている。この場合、第１〜第３の実施形態で上述した病変領域の例とは逆になり、検出された領域は相対的に重要度が低い。つまり、本実施形態の観察対象領域検出部１０１７は、遮蔽物領域や観察に適さない領域を検出した上で、取得した画像のうち、遮蔽物領域や観察に適さない領域を除外した領域を観察対象領域として検出すればよい。

【0153】

具体例を図１９に示す。図１９のように、基準画像において泡領域が検出され、基準画像全体及び泡領域がそれぞれ変形情報により変形されて、判定対象画像上に射影されたとする。その場合、基準画像においては泡領域が遮蔽物領域となり、泡領域以外の領域が観察対象領域となる。

【0154】

判定対象画像への射影後の領域を考えれば、基準画像全体が射影された領域以外の領域については、そもそも基準画像ではカバーされない領域となる。また、泡領域が射影された領域については、基準画像によりカバーはされているが、当該領域に対応する基準画像には泡が撮像されることで粘膜等が遮蔽されてしまっている。つまり、泡領域が射影された領域についても有用な領域とは言えない。以上を踏まえれば、判定対象画像のうち基準画像によりカバーされ且つ有用な領域、すなわち観察対象被覆領域は、図１９の網掛けで示したＡの領域となる。

【0155】

また、判定対象画像においても観察対象領域の検出処理が行われる。例えば、図２０に示したように泡領域が検出された場合には、判定対象画像のうち泡領域以外の領域であるＢの領域を判定対象画像の観察対象領域として検出する。

【0156】

観察対象被覆領域、及び判定対象画像の観察対象領域の情報が取得された後の処理は、第１〜第３の実施形態と同様である。具体的には、第１の実施形態と同様に、図２１（Ａ）に示したように観察対象被覆領域（Ａ）と、判定対象画像の観察対象領域（Ｂ）の共通部分を、観察対象共通領域として処理を行ってもよい。或いは、第２の実施形態と同様に、図２１（Ｂ）に示したように、判定対象画像の観察対象領域（Ｂ）のうち、観察対象被覆領域でない領域（Ａでない領域）を観察対象喪失領域として処理を行ってもよい。或いは第３の実施形態のように、観察対象共通領域と観察対象喪失領域の両方を用いてもよい。これらの処理については上述した通りであるため、詳細な説明は省略する。

【0157】

５．２ 構造要素を用いた収縮処理
本実施形態では、画像を削除することで、所定サイズの注目領域を見逃す可能性があるか否かという観点から、判定対象画像の削除可否判定を行ってもよい。これは、判定対象画像を削除することで観察できなくなる領域に、所定サイズの注目領域が完全に収まってしまうか否かを判定すればよい。観察できなくなる領域内に注目領域が完全に収まってしまう場合とは、判定対象画像の当該部分に注目領域が存在した場合には当該判定対象画像を削除すると注目領域の情報が失われることに対応し、注目領域の見逃し可能性があると言える。一方、観察できなくなる領域内に注目領域が完全に収まらなければ、はみ出した部分については基準画像によりカバーできるため、基準画像を残しておけば注目領域の少なくとも一部は観察可能である。

【0158】

このための判定手法の１つとして注目領域に対応する構造要素を用いた収縮処理が考えられる。以下、注目領域に対応した構造要素を用いた処理を行う例について説明する。図２３に示したように、削除可否判定部１００６は、構造要素生成部１０１８と、観察対象喪失領域算出部１０１９と、注目領域見逃し可能性判定部１０２０と、を含んでもよい。ただし、削除可否判定部１００６は、図２３の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。

【0159】

構造要素生成部１０１８は、注目領域に基づいて、注目領域見逃し可能性判定部１０２０での処理に用いられる構造要素を生成する。ここでは、見逃しが好ましくない注目領域と同一形状、同一サイズの領域を設定するが、これに限定されるものではない。

【0160】

観察対象喪失領域算出部１０１９は、判定対象画像の削除により観察できなくなる領域を算出する。これは図２１（Ｂ）に示したように、観察対象喪失領域を算出する処理に他ならない。

【0161】

注目領域見逃し可能性判定部１０２０は、判定対象画像を削除した場合に、判定対象画像上に撮像された注目領域が、基準画像では撮像されない状況となる（つまり注目領域を見逃す状況となる）可能性についての判定処理を行う。

【0162】

具体的な処理の流れを説明する。構造要素生成部１０１８は、注目領域に基づいて構造要素を生成しておく。ここでは、注目領域の典型的な大きさ等を考慮して、見逃すことが好ましくないサイズ、形状の領域を構造要素として設定する。例えば、注目領域が病変部であり、画像上で直径３０ピクセルの円よりも大きい病変は深刻度が高く見逃すべきではない、ということがわかっているのであれば、構造要素は直径３０ピクセルの円を設定することになる。

【0163】

基準画像と判定対象画像が選択されたら、観察対象喪失領域算出部１０１９は、図２１（Ｂ）を用いて上述したように、観察対象喪失領域を算出する。

【0164】

注目領域見逃し可能性判定部１０２０は、注目領域の見逃し可能性を判定する。具体的には、観察対象喪失領域に対して、構造要素を用いた収縮処理を行い、図２４（Ｄ）を用いて後述するような残留領域があるか否かの判定を行う。

【0165】

収縮処理の具体例について図２４（Ａ）〜図２４（Ｅ）を用いて説明する。観察対象喪失領域は図２４（Ａ）に示したように、必ず閉じた領域となり、その境界を設定することができる。例えば、図２４（Ａ）では外側境界であるＢＯ１と、内側境界であるＢＯ２を設定することになる。なお、図２１（Ｂ）に示した例のように、観察対象喪失領域が連続しない複数の領域から構成される場合も考えられるが、そのような場合には各領域に対して収縮処理を行えばよい。よって、図２４（Ａ）〜図２４（Ｅ）では連続した１つの領域を観察対象喪失領域とする例について説明する。

【0166】

この際、構造要素による収縮処理とは、当該構造要素の基準点を観察対象喪失領域の境界上に設定した場合に、観察対象喪失領域と構造要素の重複領域を削る処理となる。例えば、構造要素として円形状の領域を設定し、その基準点を円の中心とした場合には、観察対象喪失領域の境界上に中心を有する円を描き、当該円と観察対象喪失領域とが重なる部分を観察対象喪失領域から除外する処理を行うことになる。具体的には、図２４（Ａ）に示したように、観察対象喪失領域の外側境界ＢＯ１上の点を中心とする円を描き、観察対象喪失領域との重複領域（ここでは、斜線で示した半円形状の領域）を除外する。

【0167】

外側境界ＢＯ１は離散的に処理されることを考えれば複数の点から構成されていることになるため、当該複数の点の各点について上述した処理を行えばよい。一例としては、図２４（Ａ）に示したように境界上の一点を起点として、所与の方向において順次境界ＢＯ１上の点を中心とする円を描き、観察対象喪失領域との重複領域を観察対象喪失領域から除外していけばよい。

【0168】

観察対象喪失領域の境界の一部が判定対象画像の境界と一致する場合等では、観察対象喪失領域の境界は１つの場合も考えられ、その際には当該１つの境界について上述の処理を行えばよい。また、図２４（Ａ）のＢＯ１、ＢＯ２に示したように、喪失領域の境界として複数の境界が考えられる場合には、それぞれについて上述の処理を行う。具体的には、図２４（Ｂ）に示したように、内側境界ＢＯ２についても、ＢＯ２上に中心を有する円を描き、観察対象喪失領域との重複領域を除外する処理を行い、この処理をＢＯ２を構成する各点について繰り返せばよい。

【0169】

このような収縮処理を行うことで、観察対象喪失領域の面積は小さくなる。例えば、図２４（Ａ）の観察対象喪失領域の左部に着目した場合、図２４（Ａ）で示したＢＯ１での収縮処理、及び図２４（Ｂ）で示したＢＯ２での収縮処理により、観察対象喪失領域は完全に削除され、残留する領域は存在しない。一方、観察対象喪失領域の右下部分に着目した場合、図２４（Ｃ）に示したように、ＢＯ１での収縮処理でもＢＯ２での収縮処理でも除外対象とならずに残存する残留領域ＲＥが生じる。よって、ここでの観察対象喪失領域全体に対して構造要素による収縮処理を行った結果は、図２４（Ｄ）のようになり、残留領域ＲＥが生じることになる。

【0170】

ここで、半径ｒの円を構造要素とした場合の収縮処理の持つ意味について考える。閉じた領域である観察対象喪失領域は、境界（ＢＯ１とＢＯ２のように異なる境界であってもよいし、１つの境界であってもよい）の内側にある領域と考えることができる。この境界について上述の収縮処理を行うことで、観察対象喪失領域に含まれる点のうち、上記境界上の点から距離ｒ以内にある点は削除の対象となる。つまり、削除対象とならなかった残留領域に含まれる点を考えた場合、当該点からは境界上の任意の点までの距離がｒより大きくなるということである。よって、残留領域上の任意の点を中心とする半径ｒの円を描いた場合に、当該円の円周はどの境界とも交差することがない。これは言い換えれば、半径ｒの円で表される注目領域が、残留領域中の点をその中心とすることで、観察対象喪失領域の中に完全に収まってしまうという状況を表す。なお、構造要素として円以外の形状（四角形等）を用いた場合であっても、基本的な考え方は同一である。

【0171】

つまり、残留領域が存在する場合とは、図２４（Ｅ）の右下に示したように、構造要素に対応する領域が観察対象喪失領域に含まれる場合となり、そのような位置に病変部等の注目領域があった場合には、判定対象画像を削除してしまうと、基準画像を残したとしても注目領域を観察できない可能性が生じてしまう。逆に、残留領域が存在しない場合とは、図２４（Ｅ）の左上に示したように、注目領域の少なくとも一部は失われない領域に含まれることになり、判定対象画像を削除したとしても、注目領域の少なくとも一部は基準画像に残すことができる。なお、ここでの失われない領域とは、観察対象被覆領域に含まれることで基準画像によりカバーされ且つ有用である領域、又は判定対象画像の観察対象領域でないため基準画像によりカバーされる必要がない領域に対応する。

【0172】

以上のことより、注目領域見逃し可能性判定部１０２０では、観察対象喪失領域に対して構造要素による収縮処理を行い、残留領域が存在するか否かに基づいて、判定対象画像の削除可否判定を行う。

【0173】

また、構造要素を用いた削除可否判定処理は収縮処理を用いるものに限定されず、観察対象喪失領域に構造要素が含まれるか否かを判定する処理であればよい。例えば、図２５（Ａ）や図２５（Ｂ）に示したように、観察対象喪失領域以外の領域の境界上の点（ｐ１〜ｐ６等）から判定対象画像の境界までの距離（ｋ１〜ｋ６等）、或いは判定対象画像の境界上の点から上記観察対象喪失領域以外の領域の境界までの距離に基づいて、観察対象喪失領域の最大径に相当する値を求め、求めた値と構造要素（この場合注目領域と同等のサイズ）の最小径との比較処理を行うような、簡易的な手法であってもよい。なお、図２５（Ａ）は判定対象画像が四角形の例、図２５（Ｂ）は判定対象画像が円形状である例を示したものである。なお、構造要素を用いた処理については本実施形態で説明したが、第１〜第３の実施形態における観察対象喪失領域（病変喪失領域）を対象としてもよい。

【0174】

以上の本実施形態では、処理部１００は、判定対象画像の観察対象領域のうち、観察対象被覆領域ではない領域である観察対象喪失領域を用いて、判定対象画像において注目領域を見逃す可能性の有無を判定し、注目領域を見逃している可能性の有無に応じて、判定対象画像の削除可否の判定を行う。

【0175】

ここで、注目領域とは、ユーザにとって観察の優先順位が他の領域よりも相対的に高い領域であり、例えば、ユーザが医者であり治療を希望した場合、粘膜部や病変部を写した領域を指す。

【0176】

また、他の例として、医者が観察したいと欲した対象が泡や便であれば、注目領域は、その泡部分や便部分を写した領域になる。この場合には、泡や残渣が観察上、有用な被写体と言うことになるため、上述した泡領域や残渣領域は不要領域として扱われないことは言うまでもない。すなわち、ユーザが注目すべき対象は、その観察目的によって異なるが、いずれにしても、その観察に際し、ユーザにとって観察の優先順位が他の領域よりも相対的に高い領域が注目領域となる。

【0177】

これにより、注目領域を見逃す可能性があるか否かという観点から判定対象画像の削除可否判定を行うことが可能になる。判定対象画像を削除しなければ注目領域を見逃さないのに、判定対象画像を削除してしまうと基準画像を残したとしても注目領域を見逃すことになる場合に、判定対象画像を削除不可と判定することになる。注目領域の見逃し可能性の判定手法は種々考えられるが、例えば判定対象画像では注目領域が大きく撮像されているのに、基準画像では注目領域が小さくしか撮像され得ない（或いは全く撮像されない可能性がある）等の場合に、見逃し可能性があると判定すればよい。

【0178】

また、処理部１００は、観察対象喪失領域に、注目領域に対応するサイズの領域が含まれるか否かの判定を行うことで、判定対象画像において注目領域を見逃す可能性の有無を判定してもよい。

【0179】

これにより、観察対象喪失領域と、注目領域に対応するサイズの領域との包含関係に基づいて、注目領域の見逃し可能性を判定し、判定対象画像の削除可否判定を行うことが可能になる。注目領域に対応するサイズの領域が観察対象喪失領域に含まれる場合とは、判定対象画像上に所与のサイズの注目領域が撮像されていながら、基準画像上では当該注目領域が全く撮像されていない可能性がある状況に対応する。この場合、注目領域を見逃す可能性があるため、判定対象画像は削除不可とする。逆に、注目領域に対応するサイズの領域が観察対象喪失領域に含まれることがないのであれば、判定対象画像上に撮像された注目領域の少なくとも一部が、基準画像に撮像されていることが保証できるため、判定対象画像は削除可能である。

【0180】

また、処理部１００は、観察対象喪失領域に対して、注目領域に対応する構造要素を用いた収縮処理を行い、収縮処理の結果、残留領域がある場合に、注目領域を見逃す可能性があるとして、判定対象画像は削除不可であると判定し、収縮処理の結果、残留領域が無い場合に、注目領域を見逃す可能性がないとして、判定対象画像は削除可能であると判定してもよい。

【0181】

ここで構造要素とは、収縮処理における処理単位を表す要素であり、図２４（Ａ）等における円形状の要素を表す。また、収縮処理とは、図２４（Ａ）〜図２４（Ｅ）に示したように、対象となる領域から構造要素に対応する領域を削り取る処理である。

【0182】

これにより、観察対象喪失領域に構造要素（ここでは注目領域と同等のサイズ）が完全に収まってしまうか否かを精度よく判定することが可能になる。図２４（Ａ）〜図２４（Ｅ）を用いて上述したように、残留領域の有無は、観察対象喪失領域に構造要素が完全に収まってしまうか否かに対応することになる。ここでの判定は厳密なものとなるため、図２５（Ａ）、図２５（Ｂ）等の手法等に比べると、削除可否判定の精度を高くすることができる。ただし、処理負荷の軽減等が重要視されるケースにおいては、図２５（Ａ）、図２５（Ｂ）等の手法を用いることを妨げるものではない。

【0183】

また、処理部１００は、画像の遮蔽物領域を除いた領域を観察対象領域として検出してもよい。

【0184】

具体的には、画像列は生体内を撮像した生体内画像列であり、遮蔽物領域は、画像の泡領域又は残渣領域であってもよい。

【0185】

これにより、遮蔽物領域を除いた領域を観察対象領域とすることが可能になる。遮蔽物領域とは、泡や残渣が撮像されることで、粘膜等の本来観察したい被写体が遮蔽されてしまっている領域である。一方、遮蔽物領域を除いた領域とは、第１〜第３の実施形態の病変領域、絨毛領域のように積極的に観察すべき領域とは限らないが、少なくとも遮蔽物が撮像されていないことが期待される。つまり、遮蔽物領域を除いた領域は相対的に観察の優先度が高いことになるため、当該領域が観察できなくなることを抑止する画像要約処理は有用である。

【0186】

また、処理部１００は、画像の画像信号が観察に適さない領域を除いた領域を観察対象領域として検出してもよい。

【0187】

具体的には、画像信号が観察に適さない領域は、画像の暗部領域又はハレーション領域であってもよい。

【0188】

これにより、観察に適さない領域を除いた領域を観察対象領域とすることが可能になる。観察に適さない領域とは、暗部やハレーションのように画素値が極端に大きい、或いは小さい値となることで黒つぶれや白飛びが発生し、本来観察したい被写体が十分観察できない領域である。この場合も、遮蔽物領域と同様に、他の領域の優先度が相対的に高まるため、観察に適さない領域以外の領域を観察対象領域とするとよい。

【0189】

以上、本発明を適用した４つの実施の形態１〜４およびその変形例について説明したが、本発明は、各実施の形態１〜４やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態１〜４や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態１〜４や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。また、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。

【符号の説明】

【0190】

１００ 処理部、２００ 画像列取得部、３００ 記憶部、１００１ 病変領域検出部、
１００２ 変形推定対象領域選択部、１００３ 変形情報取得部、
１００４ 基準画像選択部、１００５ 判定対象画像選択部、
１００６ 削除可否判定部、１００９ 病変被覆領域算出部、
１０１０ 病変共通領域算出部、１０１１ 病変被覆率算出部、
１０１２，１０１５，１０１６ 閾値判定部、１０１３ 病変喪失領域算出部、
１０１４ 病変喪失領域占有率算出部、１０１７ 観察対象領域検出部、
１０１８ 構造要素生成部、１０１９ 観察対象喪失領域算出部、
１０２０ 注目領域見逃し可能性判定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】