特許 5948200 画像処理装置、プログラム及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5948200

(24)【登録日】2016年6月10日

(45)【発行日】2016年7月6日

(54)【発明の名称】画像処理装置、プログラム及び画像処理方法

(51)【国際特許分類】

   G06T 1/00 20060101AFI20160623BHJP

   H04N 5/91 20060101ALI20160623BHJP

   A61B 1/00 20060101ALI20160623BHJP

【ＦＩ】

   G06T1/00 290Z

   H04N5/91 N

   A61B1/00 300B

   A61B1/00 320B

【請求項の数】11

【全頁数】23

(21)【出願番号】特願2012-214531(P2012-214531)

(22)【出願日】2012年9月27日

(65)【公開番号】特開2014-71470(P2014-71470A)

(43)【公開日】2014年4月21日

【審査請求日】2015年8月27日

(73)【特許権者】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(74)【代理人】

【識別番号】100104710

【弁理士】

【氏名又は名称】竹腰 昇

(74)【代理人】

【識別番号】100124682

【弁理士】

【氏名又は名称】黒田 泰

(74)【代理人】

【識別番号】100090479

【弁理士】

【氏名又は名称】井上 一

(72)【発明者】

【氏名】矢口 陽一

【審査官】 真木 健彦

(56)【参考文献】

【文献】 特開２０１０−１８３２９０（ＪＰ，Ａ）

【文献】 特開２０１０−１５８３０８（ＪＰ，Ａ）

【文献】 特開２０１０−０９４１８５（ＪＰ，Ａ）

【文献】 特表２００９−５０８５６７（ＪＰ，Ａ）

【文献】 特開２００９−２９７３６５（ＪＰ，Ａ）

【文献】 特開２００９−０５０３２１（ＪＰ，Ａ）

【文献】 特開２００９−００５０２０（ＪＰ，Ａ）

【文献】 特開２００６−３２０６５０（ＪＰ，Ａ）

【文献】 特開２００６−２９６５６９（ＪＰ，Ａ）

【文献】 特開２００５−１２４９６５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００

Ａ６１Ｂ １／００ − １／３２

Ａ６１Ｂ ６／００ − ６／１４

Ｇ０８Ｂ １３／１９４ − １３／１９６

(57)【特許請求の範囲】

【請求項1】

複数の構成画像を有する画像列を取得する画像列取得部と、
前記画像列取得部が取得した前記画像列の前記複数の構成画像の一部を削除して要約画像列を生成する画像要約処理を行う処理部と、
を含み、
前記処理部は、
前記複数の構成画像から基準画像と判定対象画像を選択し、
前記判定対象画像の不要領域を検出し、
前記基準画像と前記判定対象画像の間の変形情報、及び前記不要領域に基づいて、前記判定対象画像を削除した場合に失われる領域である喪失領域を求め、
求めた前記喪失領域に基づいて、前記判定対象画像の削除可否の判定を行うことを特徴とする画像処理装置。

【請求項2】

請求項１において、
前記処理部は、
前記基準画像と前記判定対象画像の間の前記変形情報に基づいて、前記基準画像により前記判定対象画像が覆われる領域である被覆領域を求め、
前記判定対象画像のうち、前記被覆領域ではなく且つ前記不要領域でもない領域を、前記喪失領域として求めることを特徴とする画像処理装置。

【請求項3】

請求項１又は２において、
前記処理部は、
前記喪失領域に基づいて、前記判定対象画像を削除した場合に失われる領域の割合を表す喪失率を算出し、算出した前記喪失率に基づいて、前記判定対象画像の削除可否の判定を行うことを特徴とする画像処理装置。

【請求項4】

請求項３において、
前記処理部は、
前記判定対象画像に占める前記喪失領域の割合を、前記喪失率として算出することを特徴とする画像処理装置。

【請求項5】

請求項１乃至４のいずれかにおいて、
前記処理部は、
前記喪失領域を用いて、前記判定対象画像において注目領域を見逃す可能性の有無を判定し、前記注目領域を見逃している可能性の有無に応じて、前記判定対象画像の削除可否の判定を行うことを特徴とする画像処理装置。

【請求項6】

請求項５において、
前記処理部は、
前記喪失領域に、前記注目領域に対応するサイズの領域が含まれるか否かの判定を行うことで、前記判定対象画像において前記注目領域を見逃す可能性の有無を判定することを特徴とする画像処理装置。

【請求項7】

請求項５又は６において、
前記処理部は、
前記喪失領域に対して、前記注目領域に対応する構造要素を用いた収縮処理を行い、
前記収縮処理の結果、残留領域がある場合に、前記注目領域を見逃す可能性があるとして、前記判定対象画像は削除不可であると判定し、
前記収縮処理の結果、前記残留領域がない場合に、前記注目領域を見逃す可能性がないとして、前記判定対象画像は削除可能であると判定することを特徴とする画像処理装置。

【請求項8】

請求項１乃至７のいずれかにおいて、
前記画像列は生体内を撮像した生体内画像列であり、
前記処理部は、
前記判定対象画像の泡領域又は残渣領域を前記不要領域として検出することを特徴とする画像処理装置。

【請求項9】

請求項１乃至８のいずれかにおいて、
前記処理部は、
前記判定対象画像の暗部領域又はハレーション領域を前記不要領域として検出することを特徴とする画像処理装置。

【請求項10】

複数の構成画像を有する画像列を取得する画像列取得部と、
前記画像列取得部が取得した前記画像列の前記複数の構成画像の一部を削除して要約画像列を生成する画像要約処理を行う処理部として、
コンピュータを機能させ、
前記処理部は、
前記複数の構成画像から基準画像と判定対象画像を選択し、
前記判定対象画像の不要領域を検出し、
前記基準画像と前記判定対象画像の間の変形情報、及び前記不要領域に基づいて、前記判定対象画像を削除した場合に失われる領域である喪失領域を求め、
求めた前記喪失領域に基づいて、前記判定対象画像の削除可否の判定を行うことを特徴とするプログラム。

【請求項11】

複数の構成画像を有する画像列を取得し、
前記複数の構成画像から基準画像と判定対象画像を選択し、
前記判定対象画像の不要領域を検出し、
前記基準画像と前記判定対象画像の間の変形情報、及び前記不要領域に基づいて、前記判定対象画像を削除した場合に失われる領域である喪失領域を求め、
求めた前記喪失領域に基づいて、前記判定対象画像の削除可否の判定を行い、
前記削除可否の判定結果に基づいて、前記画像列の前記複数の画像の一部を削除して要約画像列を取得する画像要約処理を行うことを特徴とする画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、プログラム及び画像処理方法等に関する。

【背景技術】

【0002】

所与の時間間隔により時系列的に静止画の撮像を継続した場合、空間的な広がりを持つ被写体を多数の画像により網羅した場合、或いは動画像を撮像した上で当該動画像を構成する各画像を静止画像としてとらえた場合等では、時間的或いは空間的に連続する非常に大量の画像（以下、画像列とも記載する）が取得されることになる。このような場合には、画像列中で近くにある（つまり時間的或いは空間的に近くにある）画像同士は似通った画像である可能性が高く、撮像した内容を把握するに当たって大量の画像のすべてをチェックする必要性は高くない。そもそも、画像の枚数は数万枚以上となることも珍しくなく、ユーザの手ですべてをチェックすること自体、負担が大きい。

【0003】

そのため、画像列から一部の画像を削除することで元の画像列より枚数の少ない画像列に要約する（以下、この処理を画像要約処理と記載する）需要がある。例えば特許文献１には、画像列の中のシーンが変化する境目の画像や、画像列を代表する画像を抽出することで、画像列の内容を把握しやすい画像を残す画像要約処理手法が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００９−５０２０号公報

【特許文献2】特開２０１１−２４７６３号公報

【特許文献3】特開２００７−３１３１１９号公報

【特許文献4】特開２０１０−１１５４１３号公報

【特許文献5】特開２０１２−１６４５４号公報

【特許文献6】特開２０１１−２３４９３１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

例えば医学分野に画像要約技術を適用する場合、疾患の見逃しを避ける観点から、画像を削除したことによって観察できなくなる領域の発生を抑える必要がある。特に病変領域や異常領域のような重要領域は観察できなくなる領域に含まれてはならない。

【0006】

しかし特許文献１の手法のようにシーンが変化する境目の画像だけを残したり、或いは要約後の画像列が直感的に見やすいかどうかといった観点で画像要約を行ったりすると、画像が削除される事によって観察できなくなる領域が発生する可能性があり好ましくない。また、観察できなくなる領域の発生の程度は画像の内容に依存するため、従来の画像要約処理の手法では疾患の見逃し等の程度を制御することが困難であった。

【0007】

本発明の幾つかの態様によれば、変形情報を用いることで画像の削除により観察できなくなる領域の発生を抑止する画像要約処理を行い、その際に不要領域を用いることで当該画像要約処理の効率を向上させる画像処理装置、プログラム及び画像処理方法等を提供することができる。

【課題を解決するための手段】

【0008】

本発明の一態様は、複数の構成画像を有する画像列を取得する画像列取得部と、前記画像列取得部が取得した前記画像列の前記複数の構成画像の一部を削除して要約画像列を生成する画像要約処理を行う処理部と、を含み、前記処理部は、前記複数の構成画像から基準画像と判定対象画像を選択し、前記判定対象画像の不要領域を検出し、前記基準画像と前記判定対象画像の間の変形情報、及び前記不要領域に基づいて、前記判定対象画像を削除した場合に失われる領域である喪失領域を求め、求めた前記喪失領域に基づいて、前記判定対象画像の削除可否の判定を行う画像処理装置に関係する。

【0009】

本発明の一態様では、基準画像と判定対象画像の間の変形情報、及び不要領域から喪失領域を求め、求めた喪失領域に基づいて判定対象画像の削除可否判定を行う。不要領域を考慮することで、喪失領域としては基準画像ではカバーされず、且つカバーされることが望ましい（不要ではない）領域等を求めることができるため、適切な削除可否判定を行うこと等が可能になる。

【0010】

また、本発明の一態様では、前記処理部は、前記基準画像と前記判定対象画像の間の前記変形情報に基づいて、前記基準画像により前記判定対象画像が覆われる領域である被覆領域を求め、前記判定対象画像のうち、前記被覆領域ではなく且つ前記不要領域でもない領域を、前記喪失領域として求めてもよい。

【0011】

これにより、判定対象画像のうちの被覆領域でも不要領域でもない領域を喪失領域として算出し、削除可否判定に用いることが可能になる。

【0012】

また、本発明の一態様では、前記処理部は、前記喪失領域に基づいて、前記基準画像と比較した前記判定対象画像の喪失率を算出し、算出した前記喪失率に基づいて、前記判定対象画像の削除可否の判定を行ってもよい。

【0013】

これにより、喪失率に基づいて削除可否判定を行うこと等が可能になる。

【0014】

また、本発明の一態様では、前記処理部は、前記判定対象画像に占める前記喪失領域の割合を、前記喪失率として算出してもよい。

【0015】

これにより、判定対象画像に占める喪失領域の割合を、喪失率として求めることが可能になる。

【0016】

また、本発明の一態様では、前記処理部は、前記喪失領域を用いて、前記判定対象画像において注目領域を見逃す可能性の有無を判定し、前記注目領域を見逃している可能性の有無に応じて、前記判定対象画像の削除可否の判定を行ってもよい。

【0017】

これにより、喪失領域との関係において、注目すべき領域である注目領域の見逃し可能性があるか否かという観点により、削除可否判定を行うこと等が可能になる。

【0018】

また、本発明の一態様では、前記処理部は、前記喪失領域に、前記注目領域に対応するサイズの領域が含まれるか否かの判定を行うことで、前記判定対象画像において前記注目領域を見逃す可能性の有無を判定してもよい。

【0019】

これにより、喪失領域に注目領域に対応するサイズの領域が含まれるか否かに基づいて、見逃し可能性の有無を判定することが可能になる。

【0020】

また、本発明の一態様では、前記処理部は、前記喪失領域に対して、前記注目領域に対応する構造要素を用いた収縮処理を行い、前記収縮処理の結果、残留領域がある場合に、前記注目領域を見逃す可能性があるとして、前記判定対象画像は削除不可であると判定し、前記収縮処理の結果、前記残留領域がない場合に、前記注目領域を見逃す可能性がないとして、前記判定対象画像は削除可能であると判定してもよい。

【0021】

これにより、喪失領域に対して構造要素を用いた収縮処理を行い、当該収縮処理の結果、残留領域があるか否かに基づいて、削除可否判定を行うこと等が可能になる。

【0022】

また、本発明の一態様では、前記画像列は生体内を撮像した生体内画像列であり、前記処理部は、前記判定対象画像の泡領域又は残渣領域を前記不要領域として検出してもよい。

【0023】

これにより、生体内画像における泡領域又は残渣領域を、不要領域として検出することが可能になる。

【0024】

また、本発明の一態様では、前記処理部は、前記判定対象画像の暗部領域又はハレーション領域を前記不要領域として検出してもよい。

【0025】

これにより、暗部領域又はハレーション領域を、不要領域として検出することが可能になる。

【0026】

本発明の他の態様は、上記の各部として、コンピュータを機能させるプログラムに関係する。

【0027】

本発明の他の態様は、複数の構成画像を有する画像列を取得し、前記複数の構成画像から基準画像と判定対象画像を選択し、前記判定対象画像の不要領域を検出し、前記基準画像と前記判定対象画像の間の変形情報、及び前記不要領域に基づいて、前記判定対象画像を削除した場合に失われる領域である喪失領域を求め、求めた前記喪失領域に基づいて、前記判定対象画像の削除可否の判定を行い、前記削除可否の判定結果に基づいて、前記画像列の前記複数の画像の一部を削除して要約画像列を取得する画像要約処理を行う画像処理方法に関係する。

【図面の簡単な説明】

【0028】

【図1】図１（Ａ）〜図１（Ｃ）は不要領域を考慮する場合としない場合の差異を説明する図。

【図2】画像処理装置の構成例。

【図3】削除可否判定部の構成例。

【図4】第１の実施形態の処理を説明する図。

【図5】本実施形態の画像要約処理を説明するフローチャート。

【図6】削除可否判定処理を説明するためのフローチャート。

【図7】図７（Ａ）〜図７（Ｃ）は基準画像と判定対象画像の選択手法を説明する図。

【図8】複数の基準画像に基づいて被覆領域を求める処理を説明する図。

【図9】図９（Ａ）、図９（Ｂ）は第１の基準画像と第２の基準画像を用いた削除可否判定処理を説明する図。

【図10】削除可否判定部の他の構成例。

【図11】第２の実施形態の処理を説明する図。

【図12】図１２（Ａ）〜図１２（Ｆ）は喪失領域に対する構造要素による収縮処理を説明する図。

【図13】図１３（Ａ）、図１３（Ｂ）は判定対象画像のうち不要領域以外の領域に対する構造要素による収縮処理を説明する図。

【図14】図１４（Ａ）、図１４（Ｂ）は基準画像と要被覆領域の包含判定の例。

【図15】図１５（Ａ）、図１５（Ｂ）は構造要素を用いた他の処理を説明する図。

【図16】画像処理装置の基本的な構成例。

【図17】被覆領域に基づいて被覆率を求める手法を説明する図。

【発明を実施するための形態】

【0029】

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

【0030】

１．本実施形態の手法
まず本実施形態の手法について説明する。時間的或いは空間的に連続する大量の画像から構成される画像列が取得された場合、当該画像列を用いてユーザが何らかの処理（例えば内視鏡画像列であれば診断等の医療行為）を行う際に、画像要約処理を行うことが望ましい。なぜなら、画像列に含まれる画像の枚数は非常に多く、ユーザがその全てを見た上で判断を行うことは多大な労力を要するためである。また、画像列に含まれる画像の中には、互いに似通った画像が存在する可能性が高く、そのような似通った画像を全てチェックしたとしても取得できる情報量は限られ、労力に見合わない。

【0031】

具体例としては、カプセル内視鏡を用いて撮像される画像列が考えられる。カプセル内視鏡とは、小型カメラを内蔵したカプセル形状の内視鏡であり、所与の時間間隔（例えば１秒に２回等）で画像を撮像する。カプセル内視鏡は、内服から排出までに数時間（場合によっては十数時間）を要するため、１ユーザの１回の検査において数万枚の撮像画像が取得されることになる。また、カプセル内視鏡は生体内での移動の際に、当該生体の動きの影響を受けること等により、同じ場所にとどまったり、逆方向へ戻ったりする。そのため、大量の画像の中には他の画像と同じような被写体を撮像していて、病変の発見等において有用性の高くない画像も多数存在してしまう。

【0032】

従来の画像要約処理では、シーンが変化する境目の画像や、画像列を代表する画像を抽出していた。しかしこのような手法では、画像を削除する際に、その削除対象となる画像に撮像されていた被写体と、残す画像に撮像されている被写体との関係は特に考慮していない。そのため、要約前の画像列に含まれる画像上に撮像されていた被写体が、要約後の画像列に含まれるどの画像上にも撮像されていないということが起こりえる。また、画像要約処理により画像列のどの画像にも含まれなくなる被写体がどの程度生じるかという度合いは、処理対象となる画像列に依存するため、従来手法においては当該度合いの制御が困難であった。

【0033】

このことは特に医療分野での画像要約処理においては好ましくない。医療分野では、その目的上、注目すべき領域（例えば病変部）の見落としは極力抑止しなくてはならない。そのためには、生体内のできるだけ広い範囲を撮像することが望ましく、画像要約処理において、所与の画像を削除することで観察できなくなる被写体範囲が生じることは抑止すべきである。

【0034】

そこで本出願人は、基準画像（残す画像、実施形態によっては残す候補となる画像）と判定対象画像（削除するか否かの判定の対象画像）とを選択し、基準画像と判定対象画像の間の変形情報に基づいた画像要約処理を行う手法を提案する。

【0035】

変形情報を用いる画像要約処理の一例としては、図１７に示したように、基準画像を変形することで判定対象画像上に被覆領域を算出することが考えられる。この場合、基準画像で撮像された被写体と、判定対象画像の被覆領域上に撮像された被写体とは対応することになる。つまり、判定対象画像における被覆領域外の範囲（以下、非被覆領域と表記する）は、当該判定対象画像を削除した場合、基準画像を残したとしてもカバーすることができない領域となる。

【0036】

よって、一例としては判定対象画像に占める被覆領域の割合等を被覆率として算出し、算出した被覆率に基づいて判定対象画像を削除するか否かを判定することで、観察できなくなる被写体範囲の発生度合いを制御する。例えば被覆率が閾値以上である際に判定対象画像を削除し、被覆率が閾値未満の際に判定対象画像を削除しないものとすれば、閾値の設定に応じてカバーできない領域の発生度合いを制御できる。

【0037】

変形情報を用いた画像要約処理の別の例としては、非被覆領域に対する構造要素（注目領域に対応する）による収縮処理の結果に基づいて、判定対象画像の削除可否を判定してもよい。収縮処理は図１２（Ａ）〜図１２（Ｆ）に示す処理である（ただし図１２（Ａ）〜図１２（Ｆ）は対象が非被覆領域ではない）。詳細については後述するが、この場合、判定対象画像を削除したとしても当該判定対象画像上に撮像された構造要素のサイズ以上の領域の少なくとも一部は、基準画像上に撮像されることを保証できる。そのため、判定対象画像に注目領域全体が撮像されていた場合に、当該注目領域の判定対象画像上の位置によらず、その少なくとも一部を基準画像により観察できるため、注目領域の見逃し可能性を抑止することが可能になる。

【0038】

しかし、判定対象画像上に不要領域が存在する場合には、上述の被覆領域に基づいた画像要約処理では効率が悪い（残す必要のない画像まで要約処理後の画像列に残ってしまう）可能性がある。ここで不要領域とは、取得された画像を用いた処理を考えた場合に、当該処理において不要な被写体が撮像された領域、或いは暗部やハレーションのようにそもそも被写体が十分に撮像できていない領域を表す。どのような被写体が不要であるかは、その画像を用いて行われる処理によって異なるが、例えば内視鏡装置で撮像された生体内画像の例であれば、泡や残渣が不要な被写体と考えられる。なぜなら、生体内画像を用いて行われる診断等では、生体表面の粘膜や血管構造等が観察の対象であることが想定され、泡や残渣が重要となる可能性が低いためである。よって、そのような場合には、画像上において泡が撮像された泡領域、或いは残渣が撮像された残渣領域が不要領域となる。ただし、観察態様によっては泡等が観察対象となる可能性もあり、その場合には泡領域等も不要領域とはならない。

【0039】

図１（Ａ）〜図１（Ｃ）を用いて、不要領域を考慮することによる利点を説明する。なお、図１（Ａ）〜図１（Ｃ）は説明のために極端な形状を設定している。基準画像を変形情報を用いて変形して判定対象画像上に射影した結果、図１（Ａ）に示したような被覆領域が得られたとする。この場合、被覆率は５０％になり、判定対象画像に撮像された被写体の５０％が基準画像に撮像されていることになる。これは、判定対象画像を削除した場合、基準画像を残したとしても判定対象画像の５０％は観察できなくなる可能性があることを示している。例えば、削除可否判定に用いる被覆率の閾値を７０％とした場合（観察できなくなる被写体の割合を３０％まで許容する場合）であれば、図１（Ａ）の場合には判定対象画像は削除不可能と判定される。

【0040】

しかし、判定対象画像上に図１（Ｂ）に示したように不要領域が存在していた場合、当該不要領域にはそもそも価値のある被写体が撮像されていないのであるから、不要領域については判定対象画像を削除することで観察できなくなったとしても問題は生じない。言い換えれば、不要領域が基準画像によってカバーされない（被覆領域に含まれない）場合であっても、そのことは当該判定対象画像を削除できないとする理由にはならないということである。

【0041】

図１（Ｃ）のように、判定対象画像に被覆領域と不要領域とを考える。この場合、被覆領域については、対応する被写体が基準画像に撮像されているため、判定対象画像を削除したとしても当該被覆領域に撮像された被写体は基準画像において観察可能である。また、不要領域については上述したように、判定対象画像を削除することで観察できなくなったとしても差し支えない領域である。つまり、判定対象画像を削除した場合に観察できなくなり、且つ観察できなくなることで支障が生じる領域は、図１（Ｃ）の喪失領域を考えればよい。

【0042】

つまり、図１（Ａ）〜図１（Ｃ）の判定対象画像では、図１（Ａ）のように被覆領域だけを考慮したのでは削除不可と判定すべきとも考えられるが、図１（Ｃ）のように不要領域まで考えれば、削除したとしてもそのことで失われる被写体領域は、判定対象画像の２５％にとどまる以上、削除可能と判定してよい。よってここでは、判定対象画像に占める喪失領域の割合を喪失率と定義し、当該喪失率に基づいて削除可否判定を行う。このようにすれば、図１（Ａ）〜図１（Ｃ）に示したように、被覆率を用いた判定では削除不可とされてしまう判定対象画像についても、適切に削除可能と判定することができる。そのため、画像要約処理により削除可能と判定される可能性が向上するため、画像枚数の削減効果を向上させ、ユーザによる診断等を容易にすることが可能になる。

【0043】

これは、構造要素を用いた収縮処理についても同様である。構造要素を用いた処理では、判定対象画像を削除した場合に失われる領域（被覆領域だけ考えれば上述した非被覆領域）に所与のサイズ、形状の注目領域（例えば病変部）が完全に内包される可能性の有無を判定している。内包される場合には、判定対象画像においてその全体が撮像されていた注目領域が、判定対象画像を削除することで全て失われる（基準画像にはその一部も残らない）可能性があるためである。

【0044】

しかし不要領域とは上述したような泡領域等であるから、当該不要領域には病変部等の注目領域が含まれることはない。よって、収縮処理の対象として非被覆領域全体を考える必要はない。具体的には、非被覆領域のうち注目領域が撮像されうる領域だけを考慮すればよく、これは非被覆領域から不要領域を除いた領域であり図１（Ｃ）に示した喪失領域に他ならない。つまり、構造要素を用いる場合にも、被覆率の代わりに喪失率を求める例と同様に喪失領域を求め、求めた喪失領域を対象として処理を行えばよい。

【0045】

喪失領域は、非被覆領域と同じかそれ以下の面積の領域となるため、注目領域が喪失領域に内包される可能性は、注目領域が非被覆領域に内包される可能性よりも低くなる。これは判定対象画像を削除可能と判定される可能性の向上につながるため、この場合にも画像枚数の削減効果の向上が可能となる。

【0046】

ここでの画像処理装置の１つの実施形態としては、図１６に示したように処理部１００と、画像列取得部２００を含むものが考えられる。画像列取得部２００は、複数の構成画像を有する画像列を取得する。処理部１００は、画像列取得部２００が取得した画像列の複数の構成画像の一部を削除して要約画像列を生成する画像要約処理を行う。そして処理部１００は、複数の構成画像から基準画像と判定対象画像を選択し、判定対象画像の不要領域を検出し、基準画像と判定対象画像の間の変形情報、及び不要領域に基づいて、基準画像と比較した判定対象画像の喪失領域を求め、求めた喪失領域に基づいて、判定対象画像の削除可否の判定を行う。

【0047】

以下、第１の実施形態では喪失率に基づいて、判定対象画像の削除可否判定処理を行う手法について説明する。また、第２の実施形態では構造要素を用いた収縮処理に基づいて、判定対象画像の削除可否判定処理を行う手法について説明する。

【0048】

２．第１の実施形態
喪失率に基づいて判定対象画像の削除可否判定処理を行う手法について説明する。具体的には、画像処理装置のシステム構成例を説明し、フローチャートを用いて処理の流れを説明する。

【0049】

２．１ システム構成例
図２に本実施形態における画像処理装置のシステム構成例を示す。画像処理装置は、処理部１００と、画像列取得部２００と、記憶部３００を含む。

【0050】

処理部１００は、画像列取得部２００が取得した画像列に対して、当該画像列に含まれる複数の画像の一部を削除することで、画像要約処理を行う。この処理部１００の機能は、各種プロセッサ（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムなどにより実現できる。

【0051】

画像列取得部２００は、画像要約処理の対象となる画像列を取得する。取得する画像列は、時系列順に並んだＲＧＢ３チャンネル画像が考えられる。或いは、横一列に並べられた撮像機器により撮影された、空間的に並んだ画像列のように空間的に連続する画像列であってもよい。なお、画像列を構成する画像はＲＧＢ３チャンネル画像に限定されるものではなく、Ｇｒａｙ１チャンネル画像等、他の色空間を用いてもよい。

【0052】

記憶部３００は、画像列取得部２００が取得した画像列を記憶する他、処理部１００等のワーク領域となるもので、その機能はＲＡＭ等のメモリーやＨＤＤ（ハードディスクドライブ）などにより実現できる。

【0053】

また、処理部１００は、図２に示したように変形情報取得部１００１と、不要領域検出部１００２と、基準画像選択部１００３と、判定対象画像選択部１００４と、削除可否判定部１００５と、を含んでもよい。なお処理部１００は、図２の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。また上述の各部は、処理部１００で実行される画像要約処理を複数のサブルーチンに分割した際に、各サブルーチンを説明するために設定したものであり、必ずしも処理部１００が上述の各部を構成要件として有するわけではない。

【0054】

変形情報取得部１００１は、２つの画像間の変形情報を取得する。ここで変形情報とは、一方の画像において撮像された範囲が、他方の画像においてどのような形状（範囲）として撮像されているかを表すものであり、例えば特許文献２に開示されている変形パラメータ等であってもよい。判定対象画像の削除可否判定においては、変形情報取得部１００１は、基準画像選択部１００３で選択された基準画像と、判定対象画像選択部１００４で選択された判定対象画像の間の変形情報を取得し、取得した変形情報に基づいて削除可否判定処理が行われる。

【0055】

ただし、変形情報取得部１００１は、基準画像と判定対象画像の間の変形情報を直接求めるものに限定されない。例えば、処理対象となる画像列において、隣り合う画像間の変形情報を求めておき、隣り合わない画像間での変形情報は、隣り合う画像間の変形情報を組み合わせて算出するものであってもよい。この場合、基準画像と判定対象画像の間の変形情報は、基準画像、判定対象画像、及びその間の画像での隣り合う画像間の変形情報を（狭義には全て）組み合わせることで求めることになる。

【0056】

このようにすることで、変形情報の算出処理の負荷を軽くすることが可能になる。なぜなら、変形情報は特許文献２等で示した手法により算出できるが、一般的に変形情報を一から算出する処理に比べて、複数の変形情報を複合する処理は非常に軽いものとなるためである。例えば、変形情報が行列等であれば、２つの画像情報から当該行列を求める処理は負荷が大きいが、すでに求めてある複数の行列を合成することは（例えば行列の積を取るだけでよいため）非常に容易となる。

【0057】

例えば、画像列取得部２００により取得された画像列がＮ枚の画像を含んでいた場合、その中から２枚の画像を選択する組み合わせはＮ×（Ｎ−１）／２通り考えられるため、基準画像と判定対象画像の間の変形情報を直接求めるとすると、負荷の重い処理（変形情報を一から算出する処理）をＮ^２のオーダーの回数だけ行う可能性がある。それに対して、隣り合う画像間の変形情報を用いるようにすれば、負荷の重い処理はＮ−１回ですむ。

【0058】

不要領域検出部１００２は、取得した画像列に含まれる各画像の不要領域を検出する。不要領域としては泡領域、残渣領域、暗部領域、ハレーション領域が考えられる。なお、暗部領域とは画像が黒つぶれしている領域のことであり、例えばＲＧＢの各画素値から算出される輝度値の値が所与の閾値よりも小さい画素により構成される領域である。また、ハレーション領域とは画像が白飛びしている領域のことであり、例えばＲＧＢの各画素値から算出される輝度値の値が所与の閾値よりも大きい画素により構成される領域である。

【0059】

泡領域、残渣領域、暗部領域、ハレーション領域の各領域の検出手法は種々考えられるが、例えばそれぞれ特許文献３〜６に開示された手法を用いればよい。なお、不要領域としては泡領域等のうちいずれか１つを用いてもよいし、複数を組み合わせてもよい。複数を組み合わせる場合には、各領域の和領域を不要領域とすればよい。ここで、画像上における領域Ａと領域Ｂの和領域とは、画像を構成する画素のうち領域Ａ及び領域Ｂの少なくとも一方の領域に含まれる画素の集合である領域のことである。

【0060】

基準画像選択部１００３は、部分画像列の複数の画像から基準画像を選択する。判定対象画像選択部１００４は、部分画像列の複数の画像のうち、基準画像とは異なる画像を判定対象画像として選択する。

【0061】

削除可否判定部１００５は、基準画像と判定対象画像の間の変形情報、及び不要領域に基づいて、判定対象画像の削除可否判定処理を行う。本実施形態では、判定対象画像を削除した場合に喪失される領域の割合を表す喪失率に基づいて、判定対象画像の削除可否判定処理を行う。

【0062】

削除可否判定部１００５は、図３に示したように被覆領域算出部１００９と、喪失領域算出部１０１０と、喪失率算出部１０１１と、閾値判定部１０１２と、を含んでもよい。ただし、削除可否判定部１００５は、図３の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。

【0063】

被覆領域算出部１００９は、２つの画像間の変形情報（変形パラメータ）を利用して、基準画像を判定対象画像へ射影して被覆領域を求める。

【0064】

喪失領域算出部１０１０は、被覆領域と不要領域とから喪失領域を求める。図１（Ａ）〜図１（Ｃ）では被覆領域と不要領域が重なり合わない例を示したが、重なり合ったとしても喪失領域は同様に求めることができる。具体的には図４に示したように、判定対象画像のうち、被覆領域に含まれず、且つ不要領域にも含まれない領域を喪失領域とすればよい。

【0065】

喪失率算出部１０１１は、喪失領域に基づいて喪失率を算出する。具体的には、判定対象画像の面積に対する喪失領域の面積の割合を喪失率として求めればよい。領域の面積としては、当該領域に含まれる画素の数をそのまま用いることもできる。

【0066】

閾値判定部１０１２は、算出された喪失率と所与の閾値との比較処理を行う。喪失率は、判定対象画像を削除した場合に失われる被写体の面積の割合を表す指標値であるから、大きい場合には判定対象画像は削除不可と判定し、小さい場合には判定対象画像は削除可能と判定する。具体的には、所与の閾値Ｔｈを設定し、喪失率がＴｈ未満であれば判定対象画像を削除可能と判定し、Ｔｈ以上であれば判定対象画像を削除不可と判定すればよい。

【0067】

２．２ 処理の流れ
次に、図５のフローチャートを用いて本実施形態の画像要約処理の流れを説明する。この処理が開始されると、まず変形推定処理が行われる（Ｓ１０１）。具体的には、上述したように隣接する２つの画像間での変形情報を求める処理に相当する。

【0068】

そして、取得した画像列の各画像から不要領域を検出する（Ｓ１０２）。不要領域として複数の領域を考える場合には、上述したように各領域の和領域を求めておいてもよい。

【0069】

その後、画像列から基準画像を選択する（Ｓ１０３）。Ｓ１０３の処理が初めて行われる場合には、画像列の先頭の画像を基準画像として選択すればよい。また、２回目以降のＳ１０３の処理（Ｓ１０５からＳ１０３に戻った場合）では、Ｓ１０５での削除可否判定処理で削除不可と判定された判定対象画像を新たな基準画像として選択する。ここで選択された基準画像は、要約画像列に残されるものとなる。なお、エラー等により部分画像列から基準画像を選択できない場合には、画像要約処理を終了する。

【0070】

基準画像が選択された場合には、画像列に含まれる画像から判定対象画像を選択する（Ｓ１０４）。ここでは画像列において基準画像の後方の画像から判定対象画像を選択するものとする。具体的には、Ｓ１０３での基準画像の選択或いは更新処理後、初めてＳ１０４の処理が行われる場合には、基準画像の次の画像を判定対象画像として選択する。また、すでに基準画像を起点としてｋ番目の画像が判定対象画像として選択されていた場合には、選択位置を１つずらして基準画像を起点としてｋ＋１番目の画像を新たな判定対象画像として選択する。Ｓ１０４で選択する画像がない場合とは、画像列の最後の画像まで削除可否判定処理が行われたということであるため、画像要約処理を終了する。

【0071】

基準画像と判定対象画像が選択されたら、Ｓ１０１で求めた（或いはＳ１０１で求めた変形情報を組み合わせることで取得された）基準画像と判定対象画像の間の変形情報、及びＳ１０２で検出された不要領域に基づいて判定対象画像の削除可否判定処理を行う（Ｓ１０５）。

【0072】

Ｓ１０５の削除可否判定処理の流れを図６のフローチャートを用いて説明する。この処理が開始されると、まず、基準画像を変形情報（変形パラメータ）を用いて変形することで被覆領域を求める（Ｓ２０１）。そして、判定対象画像のうち、被覆領域でも不要領域でもない領域を喪失領域として求め（Ｓ２０２）、判定対象画像に占める喪失領域の割合を喪失率として算出する（Ｓ２０３）。算出した喪失率と所与の閾値との比較処理を行って（Ｓ２０４）、判定対象画像の削除可否を判定する。

【0073】

Ｓ１０５で削除可能と判定された場合には、Ｓ１０４に戻り判定対象画像の更新処理を行う。また、Ｓ１０５で削除不可と判定された場合には、その際の基準画像では判定対象画像をカバーできないということであるから、その際の判定対象画像は要約画像列に残す必要があるということになる。よって、Ｓ１０３に戻り、Ｓ１０５で削除不可と判定された判定対象画像を新たな基準画像として選択する。

【0074】

以上の画像列に対する画像要約処理を図示したものが図７（Ａ）〜図７（Ｃ）である。図７（Ａ）に示したように、Ｎ枚の画像を有する画像列に対して、まず１番目の画像が基準画像として選択され、２番目の画像が判定対象画像として選択される。そして、基準画像と判定対象画像の間で喪失率が算出され、判定対象画像の削除可否が判定される。

【0075】

判定対象画像が削除可能と判定された場合には、新たに判定対象画像を選択する。具体的には判定対象画像の位置を後ろにずらす処理となり、図７（Ｂ）に示したように３番目の画像が判定対象画像として選択される。そして、基準画像と新たな判定対象画像の間で判定対象画像の削除可否が判定され、削除不可と判定される判定対象画像が見つかるまで、判定対象画像として選択される画像を更新していく。

【0076】

図７（Ｃ）に示したように、２番目〜ｋ−１番目までの画像が削除可能と判定され、ｋ番目の画像が削除不可と判定された場合、２番目〜ｋ−１番目までの画像は当該画像を削除したとしても失われる被写体はある程度（閾値に対応する程度）に押さえられているということであるから、削除処理を行い要約画像列には含めない。それに対して、ｋ番目の画像は、当該画像を削除すると基準画像を残したとしても多くの被写体が失われるため、要約画像列に残す必要がある。そのために、ここではｋ番目の画像を新たな基準画像として設定する。

【0077】

そして、新たな基準画像が選択されたら、その１つ後方の画像を判定対象画像として選択し、再度図７（Ａ）〜図７（Ｃ）の処理を繰り返せばよい。その後も同様であり、判定対象画像が削除可能であれば、判定対象画像を１つ後方の画像に更新し、判定対象画像が削除不可であれば、その画像を新たな基準画像として選択する。そして、画像列の全ての画像について削除可否を判定したら処理を終了する。

【0078】

２．３ 変形例
なお、基準画像と判定対象画像の選択手法には種々の変形例が考えられる。例えば、基準画像を複数選択してもよい。その場合、複数の基準画像のいずれかによりカバーされている判定対象画像の領域は、当該判定対象画像を削除したとしても失われることはない。よって、図８に示したように各基準画像を変形して求められた領域の和集合に相当する領域を被覆領域として処理を行えばよい。被覆領域算出後の、喪失領域の算出、喪失率の算出、閾値判定の各処理は上述した例と同様である。

【0079】

基準画像を複数選択する手法としては、図９（Ａ）、図９（Ｂ）に示したように、判定対象画像の前方から１枚、後方から１枚の計２枚の基準画像を選択する手法が考えられる。この場合、２枚の基準画像の間の画像を順次判定対象画像として選択する。そして、２枚の基準画像の間の画像が全て削除可能であれば、当該２枚の基準画像を要約画像列に残し、間の画像を削除することで、画像を削除したとしても失われる被写体の度合いが一定以下であることを保証する削除可否判定処理を行えることになる。

【0080】

ただし、要約画像の枚数を少なくするという観点で削除可否判定処理を行うのであれば、第１の基準画像（前方）と第２の基準画像（後方）により間の画像を全て削除できるという条件を満たし、且つその中で第１の基準画像と第２の基準画像が最も離れている位置を探索するとよい。その場合、第１の基準画像が確定している場合には、図９（Ａ）、図９（Ｂ）に示したように、ｋ番目の画像を第２の基準画像とした場合には間の画像を全て削除できるが、ｋ＋１番目の画像を第２の基準画像とした場合には間の画像の少なくとも１枚が削除できないようなｋを探索することになる。条件を満たすｋが見つかった場合には、ｋ番目の画像を新たな第１の基準画像として選択し、その後方から第２の基準画像を選択する。そして、その間の画像を順次判定対象画像として選択して削除可否判定処理を行い、上述したように、間の画像が全て削除可能で、且つ新たな第１の基準画像から最も遠い第２の基準画像を探索する処理を繰り返せばよい。この手法では、探索中の第２の基準画像は、要約画像列に残す画像の候補であり、実際に要約画像列に残す画像は第１の基準画像となる。

【0081】

その他、基準画像と判定対象画像の選択は種々の手法により実現可能である。

【0082】

以上の本実施形態では、画像処理装置は図２に示したように、複数の構成画像を有する画像列を取得する画像列取得部２００と、画像列取得部２００が取得した画像列の複数の構成画像の一部を削除して要約画像列を生成する画像要約処理を行う処理部１００を含む。そして処理部１００は、複数の構成画像から基準画像と判定対象画像を選択し、判定対象画像の不要領域を検出する。さらに処理部１００は、基準画像と判定対象画像の間の変形情報、及び不要領域に基づいて、判定対象画像を削除した場合に失われる領域である喪失領域を求め、求めた喪失領域に基づいて、判定対象画像の削除可否の判定を行う。

【0083】

ここで、不要領域とは、画像列に含まれる画像を用いた処理（内視鏡装置で撮像された生体内画像であればドクターによる診断等）において不要となる画像上の領域を指す。例えば、画像列として生体内を撮像した生体内画像列を取得した場合には、処理部１００は、判定対象画像の泡領域又は残渣領域を不要領域として検出してもよい。ここで泡領域とは、画像において泡が撮像されている領域を表す。生体内では例えば細菌等の活動により生じるガスに起因して泡が生じることが考えられる。泡領域の検出は例えば特許文献３の手法等を用いればよい。また、残渣領域とは、画像において残渣が撮像されている領域を表す。残渣としては消化しきれなかった食物等が考えられる。残渣領域の検出は例えば特許文献４の手法等を用いればよい。

【0084】

或いは、処理部１００は、判定対象画像の暗部領域又はハレーション領域を不要領域として検出してもよい。暗部領域とは、当該領域においては被写体が十分観察できない程度に画像が黒つぶれしている領域を表す。逆にハレーション領域とは、当該領域においては被写体が十分観察できない程度に画像が白飛びしている領域を表す。このような領域では、診断等の処理に有用な被写体を対象に撮像が行われていたとしても、画像上では当該有用な被写体を観察することができない以上、診断等の処理において何ら有用ではない。よって本実施形態では暗部領域やハレーション領域を不要領域としてもよい。

【0085】

これにより不要領域を考慮した上で、画像間の変形情報を用いた画像要約処理を行うことが可能になる。変形情報を用いることで、画像を削除した場合に観察できなくなる被写体の発生度合いを適切に制御することが可能になり、特に内視鏡装置による生体内画像を対象とする場合には病変部の見逃しを抑止することができる。不要領域を用いない場合、図１（Ａ）、図１（Ｂ）に示したように実質的に残す意義が認められない画像まで削除不可と判定される可能性があったが、不要領域を用いることで、図１（Ｃ）に示したようにそのような画像を適切に削除することができる。つまり、不要領域を用いない場合に比べて、画像要約処理後の要約画像列に含まれる画像枚数を削減することができ、ユーザの負担軽減等が可能になる。

【0086】

また、処理部１００は、基準画像と判定対象画像の間の変形情報に基づいて、基準画像により判定対象画像が覆われる領域である被覆領域を求めてもよい。そして、判定対象画像のうち、被覆領域ではなく且つ不要領域でもない領域を喪失領域として求める。

【0087】

これにより、図１或いは図４に示したように、被覆領域及び不要領域から喪失領域を求めて、判定対象画像の削除可否判定を行うことが可能になる。ここで被覆領域に撮像されている被写体と、基準画像に撮像されている被写体とは対応する（変形情報等に誤差が生じない理想的な状況では一致する）ことから、被覆領域とは、判定対象画像を削除したとしても基準画像を残すことでカバーされる領域となる。一方、不要領域は上述したように、そもそも有用な被写体は撮像されていないのであるから、カバーされる必要がない。つまり、判定対象画像を削除することで観察できなくなり、且つ有用である可能性のある領域が喪失領域と言うことになる。

【0088】

また、処理部１００は、喪失領域に基づいて、基準画像と比較した判定対象画像の喪失率を算出し、算出した喪失率に基づいて、判定対象画像の削除可否の判定を行ってもよい。この際、処理部１００は、判定対象画像に占める喪失領域の割合を、喪失率として算出してもよい。

【0089】

これにより、喪失率に基づいて判定対象画像の削除可否判定を行うことが可能になる。例えば、判定対象画像に占める喪失領域の割合（さらに具体的には、判定対象画像の面積に対する、喪失領域の面積の割合）として喪失率を求めてもよく、喪失領域が求まればその後は容易な演算により削除可否判定を行うことができる。ただし、喪失率は判定対象画像を削除した場合に喪失する（基準画像を残したとしても観察できなくなる）被写体の程度を表す情報であればよく、割合・比率等に限定されるものではない。

【0090】

なお、本実施形態の画像処理装置等は、その処理の一部または大部分をプログラムにより実現してもよい。この場合には、ＣＰＵ等のプロセッサがプログラムを実行することで、本実施形態の画像処理装置等が実現される。具体的には、情報記憶媒体に記憶されたプログラムが読み出され、読み出されたプログラムをＣＰＵ等のプロセッサが実行する。ここで、情報記憶媒体（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＤＶＤ、ＣＤ等）、ＨＤＤ（ハードディスクドライブ）、或いはメモリ（カード型メモリー、ＲＯＭ等）などにより実現できる。そして、ＣＰＵ等のプロセッサは、情報記憶媒体に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち、情報記憶媒体には、本実施形態の各部としてコンピュータ（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。

【0091】

３．第２の実施形態
次に、喪失領域と構造要素を用いた削除可否判定処理の手法について説明する。本実施形態の画像処理装置の構成例は、削除可否判定部１００５での処理内容が異なるものの、図２と同様であるため詳細な説明は省略する。また、処理の流れについても、Ｓ１０５での処理内容が異なるものの、図５のフローチャートと同様であるため詳細な説明は省略する。

【0092】

３．１ 構造要素を用いた削除可否判定
まず、削除可否判定処理として、注目領域に対応した構造要素を用いた処理を行う例について説明する。図１０に示したように、削除可否判定部１００５は、構造要素生成部１０１７と、被覆領域算出部１００９と、喪失領域算出部１０１０と、注目領域見逃し可能性判定部１０１８と、を含んでもよい。ただし、削除可否判定部１００５は、図１０の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。

【0093】

構造要素生成部１０１７は、注目領域に基づいて、注目領域見逃し可能性判定部１０１８での処理に用いられる構造要素を生成する。ここでは、見逃しが好ましくない注目領域と同一形状、同一サイズの領域を設定するが、これに限定されるものではない。

【0094】

被覆領域算出部１００９は、被覆領域を算出し、喪失領域算出部１０１０は、被覆領域及び不要領域に基づいて喪失領域を算出する。

【0095】

注目領域見逃し可能性判定部１０１８は、判定対象画像を削除した場合に、判定対象画像上に撮像された注目領域が、基準画像では撮像されない状況となる（つまり注目領域を見逃す状況となる）可能性についての判定処理を行う。

【0096】

具体的な処理の流れを説明する。構造要素生成部１０１７は、注目領域に基づいて構造要素を生成しておく。ここでは、注目領域の典型的な大きさ等を考慮して、見逃すことが好ましくないサイズ、形状の領域を構造要素として設定する。例えば、注目領域が病変部であり、画像上で直径３０ピクセルの円よりも大きい病変は深刻度が高く見逃すべきではない、ということがわかっているのであれば、構造要素は直径３０ピクセルの円を設定することになる。

【0097】

基準画像と判定対象画像が選択されたら、変形情報取得部１００１は、基準画像と判定対象画像の間の変形情報を取得する。被覆領域算出部１００９は、取得された変形情報を利用して、基準画像を判定対象画像上へ射影し、被覆領域を求める。被覆領域が算出されたら、喪失領域算出部１０１０は、判定対象画像のうち被覆領域でも不要領域でもない領域を喪失領域として求める。

【0098】

注目領域見逃し可能性判定部１０１８は、注目領域の見逃し可能性を判定する。具体的には、喪失領域に対して、構造要素を用いた収縮処理を行い、図１１に示したように残留領域があるか否かの判定を行う。

【0099】

収縮処理の具体例について図１２（Ａ）〜図１２（Ｆ）を用いて説明する。喪失領域は図１２（Ａ）に示したように、必ず閉じた領域となり、その境界を設定することができる。例えば、図１２（Ａ）では外側境界であるＢＯ１と、内側境界であるＢＯ２を設定することになる。

【0100】

この際、構造要素による収縮処理とは、当該構造要素の基準点を喪失領域の境界上に設定した場合に、喪失領域と構造要素の重複領域を削る処理となる。例えば、構造要素として円形状の領域を設定し、その基準点を円の中心とした場合には、喪失領域の境界上に中心を有する円を描き、当該円と喪失領域とが重なる部分を喪失領域から除外する処理を行うことになる。具体的には、図１２（Ａ）に示したように、喪失領域の外側境界ＢＯ１上の点を中心とする円を描き、喪失領域との重複領域（ここでは、斜線で示した半円形状の領域）を除外する。

【0101】

外側境界ＢＯ１は離散的に処理されることを考えれば複数の点から構成されていることになるため、当該複数の点の各点について上述した処理を行えばよい。一例としては、図１２（Ａ）に示したように境界上の一点を起点として、所与の方向において順次境界ＢＯ１上の点を中心とする円を描き、喪失領域との重複領域を喪失領域から除外していけばよい。

【0102】

喪失領域の境界の一部が判定対象画像の境界と一致する場合等では、喪失領域の境界は１つの場合も考えられ、その際には当該１つの境界について上述の処理を行えばよい。また、図１２（Ａ）のＢＯ１、ＢＯ２に示したように、喪失領域の境界として複数の境界が考えられる場合には、それぞれについて上述の処理を行う。具体的には、図１２（Ｂ）に示したように、内側境界ＢＯ２についても、ＢＯ２上に中心を有する円を描き、喪失領域との重複領域を除外する処理を行い、この処理をＢＯ２を構成する各点について繰り返せばよい。

【0103】

このような収縮処理を行うことで、喪失領域の面積は小さくなる。例えば、図１２（Ａ）の喪失領域の左部に着目した場合、図１２（Ａ）で示したＢＯ１での収縮処理、及び図１２（Ｂ）で示したＢＯ２での収縮処理により、喪失領域は完全に削除され、残留する領域は存在しない。一方、喪失領域の右下部分に着目した場合、図１２（Ｃ）に示したように、ＢＯ１での収縮処理でもＢＯ２での収縮処理でも除外対象とならずに残存する残留領域ＲＥが生じる。よって、ここでの喪失領域全体に対して構造要素による収縮処理を行った結果は、図１２（Ｄ）のようになり、残留領域ＲＥが生じることになる。

【0104】

ここで、半径ｒの円を構造要素とした場合の収縮処理の持つ意味について考える。閉じた領域である喪失領域は、境界（ＢＯ１とＢＯ２のように異なる境界であってもよいし、１つの境界であってもよい）の内側にある領域と考えることができる。この境界について上述の収縮処理を行うことで、喪失領域に含まれる点のうち、上記境界上の点から距離ｒ以内にある点は削除の対象となる。つまり、削除対象とならなかった残留領域に含まれる点を考えた場合、当該点からは境界上の任意の点までの距離がｒより大きくなるということである。よって、残留領域上の任意の点を中心とする半径ｒの円を描いた場合に、当該円の円周はどの境界とも交差することがない。これは言い換えれば、半径Ｒ（＝ｒ）の円で表される注目領域が、残留領域中の点をその中心とすることで、喪失領域の中に完全に収まってしまうという状況を表す。なお、構造要素として円以外の形状（四角形等）を用いた場合であっても、基本的な考え方は同一である。

【0105】

つまり、残留領域が存在する場合とは、図１２（Ｅ）の右下に示したように、構造要素に対応する領域が喪失領域に含まれる場合となり、そのような位置に病変部等の注目領域があった場合には、判定対象画像を削除してしまうと、基準画像を残したとしても注目領域を観察できない可能性が生じてしまう。逆に、残留領域が存在しない場合とは、図１２（Ｅ）の左上に示したように、注目領域の少なくとも一部は被覆領域に含まれることになり、判定対象画像を削除したとしても、注目領域の少なくとも一部は基準画像に残すことができる。また、図１２（Ｆ）に示したように、注目領域の少なくとも一部が不要領域に含まれるように見える箇所も存在しうるが、不要領域にはそもそも注目領域が撮像されることはない。よって、判定対象画像上の図１２（Ｆ）の点線で示した位置に注目領域が存在するという可能性は考慮しなくてもよく、この場合も判定対象画像を削除しても注目領域を見逃すことはないと考えることができる。

【0106】

以上のことより、注目領域見逃し可能性判定部１０１８では、喪失領域に対して構造要素による収縮処理を行い、残留領域が存在するか否かに基づいて、判定対象画像の削除可否判定を行う。

【0107】

ただし、構造要素による収縮処理の対象は喪失領域に限定されるものではない。例えば、図１３（Ａ）に示したように、判定対象画像のうち、不要領域を除いた領域を対象として構造要素による収縮処理を行ってもよい。この場合、収縮処理により削られる領域内に注目領域が完全に収まってしまわないように設定する（典型的には構造要素として注目領域の２倍のサイズの要素を設定する）ことで、図１３（Ｂ）に示したように、残存領域は基準画像により被覆されることが求められる要被覆領域となる。つまりこの場合、要被覆領域全体が基準画像により被覆されているか否かにより削除可否判定を行えばよく、具体的には図１４（Ａ）、図１４（Ｂ）に示したように、基準画像及び要被覆領域の一方を変形情報により変形し、変形後の領域を用いた包含判定を行えばよい。要被覆領域が基準画像に包含される場合には、判定対象画像は削除可能となり、包含されない部分があれば判定対象画像は削除不可となる。

【0108】

また、構造要素を用いた削除可否判定処理は収縮処理を用いるものに限定されず、喪失領域に構造要素が含まれるか否かを判定する処理であればよい。例えば、図１５（Ａ）や図１５（Ｂ）に示したように、被覆領域と不要領域との和領域の境界上の点（ｐ１〜ｐ６等）から判定対象画像の境界までの距離（ｋ１〜ｋ６等）、或いは判定対象画像の境界上の点から上記和領域の境界までの距離に基づいて、喪失領域の最大径に相当する値を求め、求めた値と構造要素（この場合注目領域と同等のサイズ）の最小径との比較処理を行うような、簡易的な手法であってもよい。なお、図１５（Ａ）は判定対象画像が四角形の例、図１５（Ｂ）は判定対象画像が円形状である例を示したものである。

【0109】

３．２ 削除可否判定の変形例
上述したように、削除可否判定処理としては、喪失率を用いたものや構造要素を用いたものが考えられる。ただし、削除可否判定処理はそれらを単体で用いる処理に限定されず、複数を組み合わせてもよい。

【0110】

例えば、削除可否判定処理として、喪失率を用いた処理と構造要素を用いた処理の両方を行ってもよい。この場合、観察できなくなる領域の発生を抑止し、且つ注目領域の見落とし可能性を抑止することで要約画像列の有用性を高めるという観点から考えれば、喪失率に基づく判定で削除可能とされ、且つ構造要素に基づく判定で削除可能とされた場合に、判定対象画像を削除可能と判定して、それ以外の場合には削除不可と判定すればよい。

【0111】

以上の本実施形態では、処理部１００は、喪失領域を用いて、判定対象画像において注目領域を見逃す可能性の有無を判定し、注目領域を見逃している可能性の有無に応じて、判定対象画像の削除可否の判定を行う。

【0112】

ここで、注目領域とは、ユーザにとって観察の優先順位が他の領域よりも相対的に高い領域であり、例えば、ユーザが医者であり治療を希望した場合、粘膜部や病変部を写した領域を指す。

【0113】

また、他の例として、医者が観察したいと欲した対象が泡や便であれば、注目領域は、その泡部分や便部分を写した領域になる。この場合には、泡や残渣が観察上、有用な被写体と言うことになるため、上述した泡領域や残渣領域は不要領域として扱われないことは言うまでもない。すなわち、ユーザが注目すべき対象は、その観察目的によって異なるが、いずれにしても、その観察に際し、ユーザにとって観察の優先順位が他の領域よりも相対的に高い領域が注目領域となる。

【0114】

これにより、注目領域を見逃す可能性があるか否かという観点から判定対象画像の削除可否判定を行うことが可能になる。判定対象画像を削除しなければ注目領域を見逃さないのに、判定対象画像を削除してしまうと基準画像を残したとしても注目領域を見逃すことになる場合に、判定対象画像を削除不可と判定することになる。注目領域の見逃し可能性の判定手法は種々考えられるが、例えば判定対象画像では注目領域が大きく撮像されているのに、基準画像では注目領域が小さくしか撮像され得ない（或いは全く撮像されない可能性がある）等の場合に、見逃し可能性があると判定すればよい。

【0115】

また、処理部１００は、喪失領域に、注目領域に対応するサイズの領域が含まれるか否かの判定を行うことで、判定対象画像において注目領域を見逃す可能性の有無を判定してもよい。

【0116】

これにより、喪失領域と、注目領域に対応するサイズの領域との包含関係に基づいて、注目領域の見逃し可能性を判定し、判定対象画像の削除可否判定を行うことが可能になる。ここで喪失領域とは、上述したように判定対象画像を削除した場合に基準画像では観察できない領域であり、且つ不要領域でもないことから注目領域が含まれうる領域である。つまり、注目領域に対応するサイズの領域が喪失領域に含まれる場合とは、判定対象画像上に所与のサイズの注目領域が撮像されていながら、基準画像上では当該注目領域が全く撮像されていない可能性がある状況に対応する。この場合、注目領域を見逃す可能性があるため、判定対象画像は削除不可とする。逆に、注目領域に対応するサイズの領域が喪失領域に含まれることがないのであれば、判定対象画像上に撮像された注目領域の少なくとも一部が、基準画像に撮像されていることが保証できるため、判定対象画像は削除可能である。

【0117】

また、処理部１００は、喪失領域に対して、注目領域に対応する構造要素を用いた収縮処理を行ってもよい。そして、収縮処理の結果、残留領域がある場合に、注目領域を見逃す可能性があるとして、判定対象画像は削除不可であると判定する。また、収縮処理の結果、残留領域がない場合に、注目領域を見逃す可能性がないとして、判定対象画像は削除可能であると判定する。

【0118】

ここで構造要素とは、収縮処理における処理単位を表す要素であり、図１２（Ａ）等における円形状の要素を表す。また、収縮処理とは、図１２（Ａ）〜図１２（Ｆ）に示したように、対象となる領域から構造要素に対応する領域を削り取る処理である。

【0119】

これにより、喪失領域に構造要素（ここでは注目領域と同等のサイズ）が完全に収まってしまうか否かを精度よく判定することが可能になる。図１２（Ａ）〜図１２（Ｆ）を用いて上述したように、残留領域の有無は、喪失領域に構造要素が完全に収まってしまうか否かに対応することになる。ここでの判定は厳密なものとなるため、図１３（Ａ）〜図１５（Ｂ）等の手法等に比べると、削除可否判定の精度を高くすることができる。ただし、処理負荷の軽減等が重要視されるケースにおいては、図１３（Ａ）〜図１５（Ｂ）等の手法を用いることを妨げるものではない。

【0120】

また、本実施形態の処理部１００は、変形例において上述したように、喪失率に基づく判定と、喪失領域に対する構造要素を用いた判定の両方を組み合わせてもよい。

【0121】

以上、本発明を適用した２つの実施の形態１〜２およびその変形例について説明したが、本発明は、各実施の形態１〜２やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態１〜２や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態１〜２や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。

【符号の説明】

【0122】

１００ 処理部、２００ 画像列取得部、３００ 記憶部、
１００１ 変形情報取得部、１００２ 不要領域検出部、１００３ 基準画像選択部、
１００４ 判定対象画像選択部、１００５ 削除可否判定部、
１００９ 被覆領域算出部、１０１０ 喪失領域算出部、１０１１ 喪失率算出部、
１０１２ 閾値判定部、１０１７ 構造要素生成部、
１０１８ 注目領域見逃し可能性判定部、
ＢＯ１ 外側境界、ＢＯ２ 内側境界、ＲＥ 残留領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】