特許 6006112 画像処理装置、画像処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6006112

(24)【登録日】2016年9月16日

(45)【発行日】2016年10月12日

(54)【発明の名称】画像処理装置、画像処理方法及びプログラム

(51)【国際特許分類】

   A61B 1/04 20060101AFI20160929BHJP

   G06T 1/00 20060101ALI20160929BHJP

   A61B 1/00 20060101ALI20160929BHJP

【ＦＩ】

   A61B1/04 370

   G06T1/00 290Z

   A61B1/00 320B

【請求項の数】14

【全頁数】32

(21)【出願番号】特願2012-287572(P2012-287572)

(22)【出願日】2012年12月28日

(65)【公開番号】特開2014-128390(P2014-128390A)

(43)【公開日】2014年7月10日

【審査請求日】2015年9月4日

(73)【特許権者】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(74)【代理人】

【識別番号】100104710

【弁理士】

【氏名又は名称】竹腰 昇

(74)【代理人】

【識別番号】100124682

【弁理士】

【氏名又は名称】黒田 泰

(74)【代理人】

【識別番号】100090479

【弁理士】

【氏名又は名称】井上 一

(72)【発明者】

【氏名】矢口 陽一

(72)【発明者】

【氏名】朝戸 呂仁

【審査官】 北島 拓馬

(56)【参考文献】

【文献】 特開２００７−１９５５８６（ＪＰ，Ａ）

【文献】 特開２０１０−１６６２８８（ＪＰ，Ａ）

【文献】 特開平１１−２２０６８９（ＪＰ，Ａ）

【文献】 特開２００７−２５７２８７（ＪＰ，Ａ）

【文献】 特開２０１０−１８３２９０（ＪＰ，Ａ）

【文献】 特開２０１０−１５８３０８（ＪＰ，Ａ）

【文献】 特開２０１０−９４１８５（ＪＰ，Ａ）

【文献】 特表２００９−５０８５６７（ＪＰ，Ａ）

【文献】 特開２００９−５０３２１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ １／００−１／３２

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

第１〜第Ｎ（Ｎは２以上の整数）の画像を構成画像として有する画像列を取得する画像列取得部と、
前記画像列取得部が取得した前記画像列の前記第１〜第Ｎの画像の一部を削除して要約画像列を生成する画像要約処理を行う処理部と、
を含み、
前記処理部は、
前記入力画像列の第ｓ（ｓは０≦ｓ≦Ｎ＋１を満たす整数）の画像を仮定要約画像として選択し、
前記入力画像列の第ｔ（ｔは０≦ｔ≦ｓ−１を満たす整数）の画像を仮定直前要約画像として選択し、
前記入力画像列の第ｕ（ｕはｔ＜ｕ＜ｓを満たす整数）の画像を判定対象画像として選択し、
前記仮定要約画像と前記判定対象画像の間の変形情報、及び前記仮定直前要約画像と前記判定対象画像の間の前記変形情報に基づいて、前記判定対象画像の削除評価値を求め、
第ｔ＋１〜第ｓ−１の画像の前記削除評価値に基づいて、前記第ｔ＋１〜第ｓ−１の画像を削除した場合の評価値である要約区間評価値Ｇ（ｔ，ｓ）を求め、
前記要約区間評価値に基づいて、前記画像要約処理を行うことを特徴とする画像処理装置。

【請求項2】

請求項１において、
前記処理部は、
前記要約区間評価値に基づいて、前記第１〜第Ｎの画像の各画像の累計評価値Ｅ（１）〜Ｅ（Ｎ）を求め、前記累計評価値に基づいて前記画像要約処理を行うことを特徴とする画像処理装置。

【請求項3】

請求項２において、
前記処理部は、
仮想画像である第０の画像の前記累計評価値をＥ（０）＝０とし、
第ｖ（ｖは１≦ｖ≦Ｎ＋１を満たす整数）の画像の前記累計評価値を、第ｗ（ｗは０≦ｗ≦ｖ−１を満たす整数）の画像の前記累計評価値Ｅ（ｗ）、及び第ｗ＋１〜第ｖ−１の画像を削除した場合の前記要約区間評価値Ｇ（ｗ，ｖ）を用いて、
Ｅ（ｖ）＝ｍａｘ（Ｅ（ｗ）＋Ｇ（ｗ，ｖ））
として求めることを特徴とする画像処理装置。

【請求項4】

請求項３において、
前記処理部は、

【数2】

を満たす第ｘの画像を、前記第ｖの画像の最適直前要約画像として選択することを特徴とする画像処理装置。

【請求項5】

請求項４において、
前記処理部は、
前記仮想画像である第Ｎ＋１の画像の前記累計評価値Ｅ（Ｎ＋１）を求め、
前記第Ｎ＋１の画像を要約画像列決定処理における最初の処理対象画像とし、
前記処理対象画像の前記最適直前要約画像が前記第０の画像でない場合には、前記最適直前要約画像を前記要約画像列に含める処理を行うとともに、前記最適直前要約画像を新たな前記処理対象画像とする更新処理を行って前記要約画像列決定処理を継続し、
前記処理対象画像の前記最適直前要約画像が前記第０の画像である場合には、前記要約画像列決定処理を終了することを特徴とする画像処理装置。

【請求項6】

請求項１乃至５のいずれかにおいて、
前記処理部は、
前記第ｓの画像と前記第ｕの画像の間の前記変形情報、及び前記第ｔの画像と前記第ｕの画像の間の前記変形情報に基づいて、前記第ｓの画像及び前記第ｔの画像により前記第ｕの画像が被覆される割合である前記第ｕの画像の被覆率を算出し、
前記被覆率に基づいて前記削除評価値を算出し、
前記第ｔ＋１〜第ｓ−１の画像についての前記削除評価値を合計した値を前記第ｔ＋１〜第ｓ−１の画像を削除した場合の前記要約区間評価値Ｇ（ｔ，ｓ）として求めることを特徴とする画像処理装置。

【請求項7】

請求項１乃至６のいずれかにおいて、
前記処理部は、
前記第ｓの画像と前記第ｕの画像の間の前記変形情報、及び前記第ｔの画像と前記第ｕの画像の間の前記変形情報に基づいて、前記第ｕの画像の削除可否の判定を行い、
前記第ｔ＋１〜第ｓ−１の画像のうち、少なくとも１枚の前記構成画像が削除不可と判定された場合は、前記第ｔ＋１〜第ｓ−１の画像を削除した場合の前記要約区間評価値Ｇ（ｔ，ｓ）として、第１の値を設定することを特徴とする画像処理装置。

【請求項8】

請求項７において、
前記処理部は、
前記第ｔ＋１〜第ｓ−１の画像の全てが削除可能と判定された場合は、前記第ｔ＋１〜第ｓ−１の画像の画像枚数に基づいて、前記第ｔ＋１〜第ｓ−１の画像を削除した場合の前記要約区間評価値Ｇ（ｔ，ｓ）を求めることを特徴とする画像処理装置。

【請求項9】

請求項１乃至８のいずれかにおいて、
前記処理部は、
ｔ＝ｓ−１からｔ＝０まで、−１ずつｔを更新しながら前記第ｔの画像を前記仮定直前要約画像として選択し、
前記第ｔの画像と前記第ｕの画像の間の前記変形情報、及び前記第ｓの画像と前記第ｕの画像の間の前記変形情報に基づいて打ち切り判定処理を行い、
前記打ち切り判定処理によって打ち切り判定されたｔについて、第ｘ（ｘは０≦ｘ≦ｔを満たす整数）の画像と前記第ｓの画像との間の前記構成画像を削除したときの前記要約区間評価値Ｇ（ｘ，ｓ）として、第１の値を設定し、
前記第ｓの画像を前記仮定要約画像とした処理を終了することを特徴とする画像処理装置。

【請求項10】

請求項７乃至９のいずれかにおいて、
前記処理部は、
前記第１の値として、負の無限大、又は前記累計評価値に基づいて決定される所与の閾値以下の値を設定することを特徴とする画像処理装置。

【請求項11】

請求項１乃至１０のいずれかにおいて、
前記処理部は、
第０〜第ｓ−１の画像のうち、第ｓ−α〜第ｓ−１の画像（αは正の整数）の画像を前記仮定直前要約画像として選択することを特徴とする画像処理装置。

【請求項12】

請求項１乃至１１のいずれかにおいて、
前記処理部は、
前記画像列からシーンチェンジを検出し、
前記画像列から第ｉ（ｉは整数）のシーンチェンジと、前記第ｉのシーンチェンジの次の第ｉ＋１のシーンチェンジを検出した場合に、
前記画像列の複数の前記構成画像のうち、前記第ｉのシーンチェンジの後方で、且つ前記第ｉ＋１のシーンチェンジの前方の前記構成画像を部分画像列として設定し、
設定した前記部分画像列に対して前記画像要約処理を行うことを特徴とする画像処理装置。

【請求項13】

第１〜第Ｎ（Ｎは２以上の整数）の画像を構成画像として有する画像列を取得し、
前記入力画像列の第ｓ（ｓは０≦ｓ≦Ｎ＋１を満たす整数）の画像を仮定要約画像として選択し、
前記入力画像列の第ｔ（ｔは０≦ｔ≦ｓ−１を満たす整数）の画像を仮定直前要約画像として選択し、
前記入力画像列の第ｕ（ｕはｔ＜ｕ＜ｓを満たす整数）の画像を判定対象画像として選択し、
前記仮定要約画像と前記判定対象画像の間の変形情報、及び前記仮定直前要約画像と前記判定対象画像の間の前記変形情報に基づいて、前記判定対象画像の削除評価値を求め、
第ｔ＋１〜第ｓ−１の画像の前記削除評価値に基づいて、前記第ｔ＋１〜第ｓ−１の画像を削除した場合の評価値である要約区間評価値Ｇ（ｔ，ｓ）を求め、
前記要約区間評価値に基づいて、前記画像列の前記第１〜第Ｎの画像の一部を削除して要約画像列を生成する画像要約処理を行うことを特徴とする画像処理方法。

【請求項14】

第１〜第Ｎ（Ｎは２以上の整数）の画像を構成画像として有する画像列を取得する画像列取得部と、
前記画像列取得部が取得した前記画像列の前記第１〜第Ｎの画像の一部を削除して要約画像列を生成する画像要約処理を行う処理部として、
コンピュータを機能させ、
前記処理部は、
前記入力画像列の第ｓ（ｓは０≦ｓ≦Ｎ＋１を満たす整数）の画像を仮定要約画像として選択し、
前記入力画像列の第ｔ（ｔは０≦ｔ≦ｓ−１を満たす整数）の画像を仮定直前要約画像として選択し、
前記入力画像列の第ｕ（ｕはｔ＜ｕ＜ｓを満たす整数）の画像を判定対象画像として選択し、
前記仮定要約画像と前記判定対象画像の間の変形情報、及び前記仮定直前要約画像と前記判定対象画像の間の前記変形情報に基づいて、前記判定対象画像の削除評価値を求め、
第ｔ＋１〜第ｓ−１の画像の前記削除評価値に基づいて、前記第ｔ＋１〜第ｓ−１の画像を削除した場合の評価値である要約区間評価値Ｇ（ｔ，ｓ）を求め、
前記要約区間評価値に基づいて、前記画像要約処理を行うことを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法及びプログラム等に関する。

【背景技術】

【0002】

所与の時間間隔により時系列的に静止画の撮像を継続した場合、空間的な広がりを持つ被写体を多数の画像により網羅した場合、或いは動画像を撮像した上で当該動画像を構成する各画像を静止画像としてとらえた場合等では、時間的或いは空間的に連続する非常に大量の画像（以下、画像列とも記載する）が取得されることになる。このような場合には、画像列中で近くにある（つまり時間的或いは空間的に近くにある）画像同士は似通った画像である可能性が高く、撮像した内容を把握するに当たって大量の画像のすべてをチェックする必要性は高くない。そもそも、画像の枚数は数万枚以上となることも珍しくなく、ユーザの手ですべてをチェックすること自体、負担が大きい。

【0003】

そのため、画像列から一部の画像を削除することで元の画像列より枚数の少ない画像列に要約する（以下、この処理を画像要約処理と記載する）需要がある。例えば特許文献１には、画像列の中のシーンが変化する境目の画像や、画像列を代表する画像を抽出することで、画像列の内容を把握しやすい画像を残す画像要約処理手法が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００９−５０２０号公報

【特許文献2】特開２００７−２５７２８７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

例えば医学分野に画像要約技術を適用する場合、疾患の見逃しを避ける観点から、画像を削除したことによって観察できなくなる領域の発生を抑える必要がある。特に病変領域や異常領域のような重要領域は観察できなくなる領域に含まれてはならない。

【0006】

しかし特許文献１の手法のようにシーンが変化する境目の画像だけを残したり、或いは要約後の画像列が直感的に見やすいかどうかといった観点で画像要約を行ったりすると、画像が削除される事によって観察できなくなる領域が発生する可能性があり好ましくない。また、観察できなくなる領域の発生の程度は画像の内容に依存するため、従来の画像要約処理の手法では疾患の見逃し等の程度を制御することが困難であった。

【0007】

本発明の幾つかの態様によれば、画像間の変形情報に基づいて、画像を削除することで観察できなくなる領域の発生を抑止し、且つ大域的に最適化された画像要約処理を行う画像処理装置、画像処理方法及びプログラム等を提供することができる。

【課題を解決するための手段】

【0008】

本発明の一態様は、第１〜第Ｎ（Ｎは２以上の整数）の画像を構成画像として有する画像列を取得する画像列取得部と、前記画像列取得部が取得した前記画像列の前記第１〜第Ｎの画像の一部を削除して要約画像列を生成する画像要約処理を行う処理部と、を含み、前記処理部は、前記入力画像列の第ｓ（ｓは０≦ｓ≦Ｎ＋１を満たす整数）の画像を仮定要約画像として選択し、前記入力画像列の第ｔ（ｔは０≦ｔ≦ｓ−１を満たす整数）の画像を仮定直前要約画像として選択し、前記入力画像列の第ｕ（ｕはｔ＜ｕ＜ｓを満たす整数）の画像を判定対象画像として選択し、前記仮定要約画像と前記判定対象画像の間の変形情報、及び前記仮定直前要約画像と前記判定対象画像の間の前記変形情報に基づいて、前記判定対象画像の削除評価値を求め、第ｔ＋１〜第ｓ−１の画像の前記削除評価値に基づいて、前記第ｔ＋１〜第ｓ−１の画像を削除した場合の評価値である要約区間評価値Ｇ（ｔ，ｓ）を求め、前記要約区間評価値に基づいて、前記画像要約処理を行う画像処理装置に関係する。

【0009】

本発明の一態様では、第ｔ＋１〜第ｓ−１の画像を削除した場合の評価値である要約区間評価値Ｇ（ｔ，ｓ）を求め、求めた要約区間評価値に基づいて画像要約処理を行う。よって、要約画像列の候補が複数あった場合に、各候補について入力画像列から削除される画像に対応する要約区間評価値を用いることで、当該候補の評価値を算出することができ、これらを比較することで、最適な要約画像列を決定する（つまりは大域的に最適化された画像要約処理を行う）こと等が可能になる。

【0010】

また、本発明の一態様では、前記処理部は、前記要約区間評価値に基づいて、前記第１〜第Ｎの画像の各画像の累計評価値Ｅ（１）〜Ｅ（Ｎ）を求め、前記累計評価値に基づいて前記画像要約処理を行ってもよい。

【0011】

これにより、各画像の累計評価値に基づいた画像要約処理が可能になる。

【0012】

また、本発明の一態様では、前記処理部は、仮想画像である第０の画像の前記累計評価値をＥ（０）＝０とし、第ｖ（ｖは１≦ｖ≦Ｎ＋１を満たす整数）の画像の前記累計評価値を、第ｗ（ｗは０≦ｗ≦ｖ−１を満たす整数）の画像の前記累計評価値Ｅ（ｗ）、及び第ｗ＋１〜第ｖ−１の画像を削除した場合の前記要約区間評価値Ｇ（ｗ，ｖ）を用いて、Ｅ（ｖ）＝ｍａｘ（Ｅ（ｗ）＋Ｇ（ｗ，ｖ））として求めてもよい。

【0013】

これにより、ある画像の累計評価値を、当該画像よりも画像列において前方にある画像の累計評価値を用いて求めること等が可能になる。

【0014】

また、本発明の一態様では、前記処理部は、下式（１）を満たす第ｘの画像を、前記第ｖの画像の最適直前要約画像として選択してもよい。

【0015】

これにより、処理対象の画像の累計評価値を求めるだけでなく、当該画像の最適直前要約画像を求めること等が可能になる。

【0016】

また、本発明の一態様では、前記処理部は、前記仮想画像である第Ｎ＋１の画像の前記累計評価値Ｅ（Ｎ＋１）を求め、前記第Ｎ＋１の画像を要約画像列決定処理における最初の処理対象画像とし、前記処理対象画像の前記最適直前要約画像が前記第０の画像でない場合には、前記最適直前要約画像を前記要約画像列に含める処理を行うとともに、前記最適直前要約画像を新たな前記処理対象画像とする更新処理を行って前記要約画像列決定処理を継続し、前記処理対象画像の前記最適直前要約画像が前記第０の画像である場合には、前記要約画像列決定処理を終了してもよい。

【0017】

これにより、終点から始点に向かって、最適直前要約画像をたどっていくことで要約画像列を決定すること等が可能になる。

【0018】

また、本発明の一態様では、前記処理部は、前記第ｓの画像と前記第ｕの画像の間の前記変形情報、及び前記第ｔの画像と前記第ｕの画像の間の前記変形情報に基づいて、前記第ｓの画像及び前記第ｔの画像により前記第ｕの画像が被覆される割合である前記第ｕの画像の被覆率を算出し、前記被覆率に基づいて前記削除評価値を算出し、前記第ｔ＋１〜第ｓ−１の画像についての前記削除評価値を合計した値を前記第ｔ＋１〜第ｓ−１の画像を削除した場合の前記要約区間評価値Ｇ（ｔ，ｓ）として求めてもよい。

【0019】

これにより、被覆率に基づいて要約区間評価値を求めること等が可能になる。

【0020】

また、本発明の一態様では、前記処理部は、前記第ｓの画像と前記第ｕの画像の間の前記変形情報、及び前記第ｔの画像と前記第ｕの画像の間の前記変形情報に基づいて、前記第ｕの画像の削除可否の判定を行い、前記第ｔ＋１〜第ｓ−１の画像のうち、少なくとも１枚の前記構成画像が削除不可と判定された場合は、前記第ｔ＋１〜第ｓ−１の画像を削除した場合の前記要約区間評価値Ｇ（ｔ，ｓ）として、第１の値を設定してもよい。

【0021】

これにより、第ｔの画像と第ｓの画像により間の画像を十分カバーできない場合には、要約区間評価値として有意ではない値（狭義には第ｔの画像が第ｓの画像の最適直前要約画像として選択される可能性がない程度の値）を設定すること等が可能になる。

【0022】

また、本発明の一態様では、前記処理部は、前記第ｔ＋１〜第ｓ−１の画像の全てが削除可能と判定された場合は、前記第ｔ＋１〜第ｓ−１の画像の画像枚数に基づいて、前記第ｔ＋１〜第ｓ−１の画像を削除した場合の前記要約区間評価値Ｇ（ｔ，ｓ）を求めてもよい。

【0023】

これにより、削除可能となる画像の枚数に基づいて要約区間評価値を求めること等が可能になる。

【0024】

また、本発明の一態様では、前記処理部は、ｔ＝ｓ−１からｔ＝０まで、−１ずつｔを更新しながら前記第ｔの画像を前記仮定直前要約画像として選択し、前記第ｔの画像と前記第ｕの画像の間の前記変形情報、及び前記第ｓの画像と前記第ｕの画像の間の前記変形情報に基づいて打ち切り判定処理を行い、前記打ち切り判定処理によって打ち切り判定されたｔについて、第ｘ（ｘは０≦ｘ≦ｔを満たす整数）の画像と前記第ｓの画像との間の前記構成画像を削除したときの前記要約区間評価値Ｇ（ｘ，ｓ）として、第１の値を設定し、前記第ｓの画像を前記仮定要約画像とした処理を終了してもよい。

【0025】

これにより、仮定直前要約画像の更新処理を打ち切ることで、計算量を削減すること等が可能になる。

【0026】

また、本発明の一態様では、前記処理部は、前記第１の値として、負の無限大、又は前記累計評価値に基づいて決定される所与の閾値以下の値を設定してもよい。

【0027】

これにより、上記第１の値を具体的に設定すること等が可能になる。

【0028】

また、本発明の一態様では、前記処理部は、第０〜第ｓ−１の画像のうち、第ｓ−α〜第ｓ−１の画像（αは正の整数）の画像を前記仮定直前要約画像として選択してもよい。

【0029】

これにより、仮定直前要約画像として選択される画像の枚数を限定することで、計算量を削減すること等が可能になる。

【0030】

また、本発明の一態様では、前記処理部は、前記画像列からシーンチェンジを検出し、前記画像列から第ｉ（ｉは整数）のシーンチェンジと、前記第ｉのシーンチェンジの次の第ｉ＋１のシーンチェンジを検出した場合に、前記画像列の複数の前記構成画像のうち、前記第ｉのシーンチェンジの後方で、且つ前記第ｉ＋１のシーンチェンジの前方の前記構成画像を部分画像列として設定し、設定した前記部分画像列に対して前記画像要約処理を行ってもよい。

【0031】

これにより、シーンチェンジに基づいて設定した部分画像列を対象とすることで、計算量を削減すること等が可能になる。

【0032】

また、本発明の他の態様は、第１〜第Ｎ（Ｎは２以上の整数）の画像を構成画像として有する画像列を取得し、前記入力画像列の第ｓ（ｓは０≦ｓ≦Ｎ＋１を満たす整数）の画像を仮定要約画像として選択し、前記入力画像列の第ｔ（ｔは０≦ｔ≦ｓ−１を満たす整数）の画像を仮定直前要約画像として選択し、前記入力画像列の第ｕ（ｕはｔ＜ｕ＜ｓを満たす整数）の画像を判定対象画像として選択し、前記仮定要約画像と前記判定対象画像の間の変形情報、及び前記仮定直前要約画像と前記判定対象画像の間の前記変形情報に基づいて、前記判定対象画像の削除評価値を求め、第ｔ＋１〜第ｓ−１の画像の前記削除評価値に基づいて、前記第ｔ＋１〜第ｓ−１の画像を削除した場合の評価値である要約区間評価値Ｇ（ｔ，ｓ）を求め、前記要約区間評価値に基づいて、前記画像列の前記第１〜第Ｎの画像の一部を削除して要約画像列を生成する画像要約処理を行う画像処理方法に関係する。

【0033】

また、本発明の他の態様は、上記の各部としてコンピュータを機能させるプログラムに関係する。

【図面の簡単な説明】

【0034】

【図1】第１の実施形態の画像処理装置の構成例。

【図2】被覆率を用いた処理の説明図。

【図3】被覆率を用いた処理の説明図。

【図4】第１の実施形態の画像要約処理を説明するフローチャート。

【図5】図５（Ａ）、図５（Ｂ）は画像要約処理の具体例。

【図6】図６（Ａ）、図６（Ｂ）は画像要約処理の具体例。

【図7】図７（Ａ）、図７（Ｂ）は画像要約処理の具体例。

【図8】図８（Ａ）、図８（Ｂ）は画像要約処理の具体例。

【図9】図９（Ａ）〜図９（Ｃ）は基準画像と判定対象画像の選択手法を説明する図。

【図10】図１０（Ａ）、図１０（Ｂ）は複数の基準画像を用いる場合の選択手法を説明する図。

【図11】図１１（Ａ）、図１１（Ｂ）はシーンチェンジと部分画像列の関係を説明する図。

【図12】動的計画法の説明図。

【図13】第２の実施形態の画像処理装置の構成例。

【図14】非被覆領域に対する構造要素による収縮処理を説明する図。

【図15】図１５（Ａ）〜図１５（Ｅ）は非被覆領域に対する構造要素による収縮処理の詳細を説明する図。

【図16】第２の実施形態の画像要約処理を説明するフローチャート。

【図17】図１７（Ａ）、図１７（Ｂ）は判定対象画像に対する構造要素による収縮処理を説明する図。

【図18】被覆領域と要被覆領域の包含判定の例。

【図19】図１９（Ａ）、図１９（Ｂ）は構造要素を用いた他の処理を説明する図。

【図20】被覆率と構造要素の両方を用いた判定処理の例。

【図21】画像処理装置の基本的な構成例。

【発明を実施するための形態】

【0035】

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

【0036】

１．本実施形態の手法
まず本実施形態の手法について説明する。時間的或いは空間的に連続する大量の画像から構成される画像列が取得された場合、当該画像列を用いてユーザが何らかの処理（例えば内視鏡画像列であれば診断等の医療行為）を行う際に、画像要約処理を行うことが望ましい。なぜなら、画像列に含まれる画像の枚数は非常に多く、ユーザがその全てを見た上で判断を行うことは多大な労力を要するためである。また、画像列に含まれる画像の中には、互いに似通った画像が存在する可能性が高く、そのような似通った画像を全てチェックしたとしても取得できる情報量は限られ、労力に見合わない。

【0037】

具体例としては、カプセル内視鏡を用いて撮像される画像列が考えられる。カプセル内視鏡とは、小型カメラを内蔵したカプセル形状の内視鏡であり、所与の時間間隔（例えば１秒に２回等）で画像を撮像する。カプセル内視鏡は、内服から排出までに数時間（場合によっては十数時間）を要するため、１ユーザの１回の検査において数万枚の撮像画像が取得されることになる。また、カプセル内視鏡は生体内での移動の際に、当該生体の動きの影響を受けること等により、同じ場所にとどまったり、逆方向へ戻ったりする。そのため、大量の画像の中には他の画像と同じような被写体を撮像していて、病変の発見等において有用性の高くない画像も多数存在してしまう。

【0038】

従来の画像要約処理では、シーンが変化する境目の画像や、画像列を代表する画像を抽出していた。しかしこのような手法では、画像を削除する際に、その削除対象となる画像に撮像されていた被写体と、残す画像に撮像されている被写体との関係は特に考慮していない。そのため、要約前の画像列に含まれる画像上に撮像されていた被写体が、要約後の画像列に含まれるどの画像上にも撮像されていないということが起こりえる。また、画像要約処理により画像列のどの画像にも含まれなくなる被写体がどの程度生じるかという度合いは、処理対象となる画像列に依存するため、従来手法においては当該度合いの制御が困難であった。

【0039】

このことは特に医療分野での画像要約処理においては好ましくない。医療分野では、その目的上、注目すべき領域（例えば病変部）の見落としは極力抑止しなくてはならない。そのためには、生体内のできるだけ広い範囲を撮像することが望ましく、画像要約処理において、所与の画像を削除することで観察できなくなる被写体範囲が生じることは抑止すべきである。

【0040】

そこで本出願人は、基準画像（残す画像、実施形態によっては残す候補となる画像）と判定対象画像（削除するか否かの判定の対象画像）とを選択し、基準画像と判定対象画像の間の変形情報に基づいた画像要約処理を行う手法を提案する。

【0041】

変形情報を用いる画像要約処理の一例としては、図２に示したように、基準画像を変形することで判定対象画像上に被覆領域を算出することが考えられる。この場合、基準画像で撮像された被写体と、判定対象画像の被覆領域上に撮像された被写体とは対応することになる。つまり、判定対象画像における被覆領域外の範囲（以下、非被覆領域と表記する）は、当該判定対象画像を削除した場合、基準画像を残したとしてもカバーすることができない領域となる。

【0042】

よって、一例としては判定対象画像に占める被覆領域の割合等を被覆率として算出し、算出した被覆率に基づいて判定対象画像を削除するか否かを判定することで、観察できなくなる被写体範囲の発生度合いを制御する。例えば被覆率が閾値以上である際に判定対象画像を削除し、被覆率が閾値未満の際に判定対象画像を削除しないものとすれば、閾値の設定に応じてカバーできない領域の発生度合いを制御できる。

【0043】

変形情報を用いた画像要約処理の別の例としては、非被覆領域に対する構造要素（注目領域に対応する）による収縮処理の結果に基づいて、判定対象画像の削除可否を判定してもよい。収縮処理は図１５（Ａ）〜図１５（Ｅ）に示す処理である。詳細については後述するが、この場合、判定対象画像を削除したとしても当該判定対象画像上に撮像された構造要素のサイズ以上の領域の少なくとも一部は、基準画像上に撮像されることを保証できる。そのため、判定対象画像に注目領域全体が撮像されていた場合に、当該注目領域の判定対象画像上の位置によらず、その少なくとも一部を基準画像により観察できるため、注目領域の見逃し可能性を抑止することが可能になる。

【0044】

変形情報を用いた画像要約処理を行うことで、カバーできない領域を一定以下にすること、或いは注目領域の見逃し可能性を抑止することが可能になるが、その結果として得られる要約画像列の最適化については別途考慮する必要がある。ここで、要約画像列を用いたその後の処理（ドクターによる診断等）を考慮した場合、要約画像列に含まれる要約画像の枚数は少ないほど好ましいし、被覆率を用いた処理であれば被覆率の積算値等が大きいほど、カバーできない領域が少ないと言うことであるから望ましい要約画像列ということになる。つまり、要約画像列の候補が複数あるのであれば、より要約画像の枚数が少なく、被覆率の積算値等が大きいものを最終的な出力とすべきであるが、変形情報を用いた処理だけではそれを実現することはできず、何らかの最適化手法を用いる必要がある。

【0045】

変形情報を用いた画像要約処理のうち、最適化を考慮しないものとしては例えば、図９（Ａ）に示したように、Ｎ枚の画像からなる入力画像列の１番目の画像を基準画像とし、２番目以降の画像を順次判定対象画像として、判定対象画像の削除可否判定をする手法が考えられる。この場合、２番目の画像が削除可能であれば図９（Ｂ）に示したように３番目の画像を新たな判定対象画像とする判定対象画像の更新処理を行い、削除不可と判定される画像を探索する。そして、図９（Ｃ）のように２〜ｋ−１番目の画像が削除可能で、ｋ番目の画像が削除不可であれば、２〜ｋ−１番目の画像は削除しても１番目の画像により十分カバーされる。そして、１番目の画像ではカバーしきれないｋ番目の画像は要約画像列に残すものとして新たな基準画像に設定する。

【0046】

図９（Ａ）〜図９（Ｃ）の手法では、ある画像を要約画像とした場合に、その次の要約画像ができるだけ離れた位置とすることで、要約画像の枚数が少なくなるようにしている。しかしこの手法では、１番目の画像との対比においてｋ番目の画像を決定したに過ぎず、ｋ＋１〜Ｎ番目の画像を含めた入力画像列全体を考慮したものではない。仮に、ｋ＋１〜Ｎ番目の画像の被写体と対比した場合に、ｋ番目の画像の被写体よりもｋ−１番目の画像の被写体の方が似通っているならば、あえてｋ−１番目の画像を要約画像とすることで、その後の画像のカバー度合いを高くでき、結果として得られる要約画像列の画像枚数を少なくできる可能性もある。

【0047】

また、図１０（Ａ）、図１０（Ｂ）に示すように、基準画像として第１，第２の基準画像を設定し、その両方によるカバー度合い（被覆率）に基づいて画像要約処理を行うことで、画像枚数の削減効果の向上等が期待できる。しかしこの場合も、入力画像列の一部分のみを対象として基準画像を設定していったのでは、画像列全体を見たときに最適な基準画像を選択することが保証できない点では図９（Ａ）〜図９（Ｃ）の場合と同様である。

【0048】

そこで本出願人は、所与の区間の画像を削除した場合の評価値である要約区間評価値Ｇに基づいて、大域的に最適化された要約画像列を求める手法を提案する。具体的には、第１〜第Ｎ（Ｎは２以上の整数）の画像を構成画像として有する画像列を入力とした場合に、第ｓ（ｓは０≦ｓ≦Ｎ＋１を満たす整数）の画像、第ｔ（ｔは０≦ｔ≦ｓ−１を満たす整数）の画像を上記基準画像として設定し、第ｔ＋１〜第ｓ−１の各画像を判定対象画像として設定した場合の削除評価値を被覆率等から求める。そして、第ｔ＋１〜第ｓ−１の画像の削除評価値に基づいて、第ｔ＋１〜第ｓ−１の画像を削除した場合の評価値である要約区間評価値Ｇ（ｔ，ｓ）を求め、要約区間評価値に基づいて画像要約処理を行う。

【0049】

要約区間評価値Ｇ（ｔ，ｓ）は、言い換えれば第ｔの画像と第ｓの画像を要約画像として要約画像列に残すことを仮定した場合の評価値である。よって、例えば第０〜第Ｎ＋１の画像（後述するように、第０の画像と第Ｎ＋１の画像は仮想画像）について、_Ｎ＋２Ｃ_２
＝（Ｎ＋２）（Ｎ＋１）／２個のＧを求めることで、入力画像列全体を考慮した画像要約処理が可能になる。ただし計算量等を考慮して、一部のＧについては算出処理をスキップしてもよく、詳細については後述する。

【0050】

また、算出されたＧから最適な要約画像列を決定する際に、全ての要約画像列について総当たりで評価を行うものとすると、第１〜第Ｎの画像それぞれについて削除するか否かの２通りを考える必要があるため、２^Ｎ個の候補についてＧを用いた評価を行うことになり、計算量が膨大なものとなる。よって以下では、動的計画法を用いて最適な要約画像列を決定するものとする。

【0051】

つまり本実施形態に係る画像処理装置は、図２１に示したように、第１〜第Ｎ（Ｎは２以上の整数）の画像を構成画像として有する画像列を取得する画像列取得部２００と、画像列取得部２００が取得した画像列の第１〜第Ｎの画像の一部を削除して要約画像列を生成する画像要約処理を行う処理部１００を含む。そして処理部１００は、入力画像列の第ｓ（ｓは０≦ｓ≦Ｎ＋１を満たす整数）の画像を仮定要約画像として選択し、入力画像列の第ｔ（ｔは０≦ｔ≦ｓ−１を満たす整数）の画像を仮定直前要約画像として選択し、入力画像列の第ｕ（ｕはｔ＜ｕ＜ｓを満たす整数）の画像を判定対象画像として選択し、仮定要約画像と判定対象画像の間の変形情報、及び仮定直前要約画像と判定対象画像の間の変形情報に基づいて、判定対象画像の削除評価値を求め、第ｔ＋１〜第ｓ−１の画像の削除評価値に基づいて、第ｔ＋１〜第ｓ−１の画像を削除した場合の評価値である要約区間評価値Ｇ（ｔ，ｓ）を求め、要約区間評価値に基づいて、画像要約処理を行う。

【0052】

以下、第１の実施形態では変形情報を用いた処理として、被覆率に基づく処理を行う手法について説明する。第１の実施形態では、要約区間評価値Ｇは当該区間に含まれる画像枚数（つまり当該区間が選択された場合に削除可能な枚数）と被覆率に基づいて算出される。第２の実施形態では変形情報を用いた処理として、構造要素を用いた収縮処理を行う手法について説明する。第２の実施形態では、要約区間評価値Ｇは当該区間に含まれる画像枚数（つまり当該区間が選択された場合に削除可能な枚数）に基づいて算出される。また、変形例としては第１の実施形態と第２の実施形態の手法を組み合わせてもよく、当該変形例についても説明する。

【0053】

２．第１の実施形態
本実施形態では、被覆率を用いた手法について説明する。具体的には、まず動的計画法について簡単に説明し、画像要約処理への適用手法について述べる。次に画像処理装置のシステム構成例を説明し、フローチャートを用いて処理の流れを説明する。その後、図５（Ａ）〜図８（Ｂ）を用いて本実施形態の処理の具体例について説明し、計算量の削減を考慮した変形例についても述べる。

【0054】

２．１ 動的計画法の簡単な説明
動的計画法は最適経路の探索やマッチング等、種々の手法で用いられる。例えば、図１２において、点Ａから点Ｂまでの最適経路を求める場合に用いることができる。図１２の例では、点Ａから点Ｂまでは右方向、上方向、或いは右上方向のいずれかに移動するものであり、後戻りは考えない。そして、各ノード間には、当該ルートを移動する場合の評価値（ここでは大きいほどよい）がｐ１〜ｐ１２等のように設定されているものとする。この場合、点Ａから点Ｂまでの最適経路とは、例えば当該経路をたどった場合に通過する各枝の評価値の総和を最大にするものと定義することが可能である。

【0055】

ここで、点Ａから点Ｂまでの全てのルートについて評価値の総和を算出し、その最大値を与えるルートを最適経路とすれば図１２の問題を解くことができる。図１２ではＡＢ間が近く、各ノードから次のノードへの経路も最大３通りに限定されることから全ルート数が少ないものとなり、全てを計算することは可能である。しかし、大規模な問題（例えば本実施形態が対象とする画像要約であれば、ノード数は画像枚数に相当するため数万のオーダーとなる）では全経路について評価値を積算することは現実的でない。

【0056】

動的計画法は、このような問題に対して現実的な計算量で解を与えることが可能となる。具体的には、直接Ｂでの評価値を求めるのではなく、Ａに近いノードから各ノードの評価値（具体的には評価値の候補のうちの最大値）及び当該ノードの１つ前のノードを決定していく。そして次のノードの評価値を決定する際には、それまでに求めた各ノードの評価値を利用するものとする。

【0057】

具体例を図１２に示す。まず点Ｎ１に至るルートはＡ―Ｎ１だけを考えればよいため、Ｎ１の評価値Ｅ（Ｎ１）＝ｐ１となる。同様に点Ｎ２の評価値Ｅ（Ｎ２）＝ｐ２となる。次に点Ｎ３の評価値を求める場合は、ＡからＮ３までの全ルートを考える必要はなく、Ｎ３の１つ前のノードからの経路を求める。具体的には、Ｎ３の１つ前としては、Ａ，Ｎ１，Ｎ２の３つのノードを考えればよく、Ｅ（Ａ）＝０，Ｅ（Ｎ１）＝ｐ１，Ｅ（Ｎ２）＝ｐ２であることが求められている。つまりＮ３の評価値は、Ｅ（Ａ）＋ｐ５、Ｅ（Ｎ１）＋ｐ３，Ｅ（Ｎ２）＋ｐ４のうち、最大値を求めればよい。

【0058】

点Ｎ３を対象とした段階では計算上の利点は少ないが、評価値算出の対象ノードが起点（ここではＡ）から離れるほど動的計画法の利点は大きくなる。例えば、Ａ―Ｎ５の全てのルートを求める場合には、５通りのルートについて評価値の候補を計算して比較する必要があるが、Ｅ（Ｎ１）、Ｅ（Ｎ３）、Ｅ（Ｎ４）の算出ができていれば、Ｅ（Ｎ５）はＥ（Ｎ１）＋ｐ９，Ｅ（Ｎ４）＋ｐ７，Ｅ（Ｎ３）＋ｐ８の３つのうちの最大値を求める処理ですむ。

【0059】

この処理をＡからＢに向けて進めていけば、最後に点Ｂを対象とするときにも、Ｅ（Ｂ）をＥ（Ｎ８）＋ｐ１２，Ｅ（Ｎ９）＋ｐ１０，Ｅ（Ｎ１０）＋ｐ１１の３つのうちの最大値を求めることで決定でき、ＡＢ間の全ルートについて直接に評価値を求める場合に比べて遙かに計算量を削減できる。

【0060】

この場合、最適経路はＢから１つ前の点を逆順にたどっていけばよい。例えばＥ（Ｂ）を求める際に、Ｎ８〜Ｎ１０のうちＢの１つ前の点として最適な点（Ｅ（Ｂ）を最大とする点）が決定されている。仮に当該点がＮ８であるとすれば、最適経路の一部としてＮ８―Ｂという経路が定まる。そして、Ｎ８についても、そのさらに１つ前の点としてＥ（Ｎ８）を最大とする最適な点がＮ５〜Ｎ７の３つのうちから決定されているはずである。仮に当該点がＮ５であるとすれば、最適経路の一部としてＮ５―Ｎ８―Ｂという経路が定まる。この処理を繰り返していき、１つ前の最適な点がＡに到達したら、Ｂから１つ前の最適点をたどりＡに至るルートは、最適経路を逆順にたどったものに他ならない。

【0061】

本実施形態の画像要約処理に動的計画法を適用する場合には、入力画像列の各画像を経路のノードとして捉え、当該入力画像列の先頭画像から最後の画像まで、要約画像列に残される画像のみを経由する経路を考える。そして、そのうちの最適経路を探索する問題として画像要約処理を捉えればよい。

【0062】

例えば第１〜第５の画像から構成される入力画像列については、全ての画像を残す場合には１―２―３―４―５という経路を考えることができるし、第２，第４の画像だけを残す場合には２−４という経路を考えることができる。つまりこの場合、各画像を残すか否かについて２^５＝３２通りの経路のうち最適なものを探索する問題に落とし込めば、最適な要約画像列を動的計画法により求めることができる。なお、経路の起点を第１の画像、終点を第５の画像とすると、第１，第５の画像が必ず要約画像列に残されることになってしまい、最適解を求めるには不適切である。よって本実施形態では、Ｎ枚の画像を含む入力画像列については、仮想的な第０の画像及び第Ｎ＋１の画像を設定し、第０の画像を起点（図１２でいう点Ａ）、第Ｎ＋１の画像を終点（図１２でいう点Ｂ）としている。

【0063】

この際、各点の評価値（以下、累計評価値Ｅ）を求めるには、ノード間の評価値（上述のｐ１等）が必要となるが、本実施形態では画像間の変形情報を用いて求められる要約区間評価値Ｇをその値とする。つまり、ノード２とノード４の間の枝の評価値は、第２，第４の画像を残し、第３の画像を削除すると仮定した場合の、要約区間評価値Ｇ（２，４）を用いればよい。

【0064】

２．２ システム構成例
図１に本実施形態における画像処理装置のシステム構成例を示す。画像処理装置は、処理部１００と、画像列取得部２００と、記憶部３００を含む。

【0065】

処理部１００は、画像列取得部２００が取得した画像列に対して、当該画像列に含まれる複数の画像の一部を削除することで、画像要約処理を行う。この処理部１００の機能は、各種プロセッサ（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムなどにより実現できる。

【0066】

画像列取得部２００は、画像要約処理の対象となる画像列を取得する。取得する画像列は、時系列順に並んだＲＧＢ３チャンネル画像が考えられる。或いは、横一列に並べられた撮像機器により撮影された、空間的に並んだ画像列のように空間的に連続する画像列であってもよい。なお、画像列を構成する画像はＲＧＢ３チャンネル画像に限定されるものではなく、Ｇｒａｙ１チャンネル画像等、他の色空間を用いてもよい。

【0067】

記憶部３００は、画像列取得部２００が取得した画像列を記憶する他、処理部１００等のワーク領域となるもので、その機能はＲＡＭ等のメモリーやＨＤＤ（ハードディスクドライブ）などにより実現できる。

【0068】

また、処理部１００は、図１に示したように変形推定部１００１と、仮定要約画像選択部１００２と、仮定直前要約画像選択部１００３と、判定対象画像選択部１００４と、被覆率算出部１００５と、要約区間評価値算出部１００６と、仮定累計評価値算出部１００７と、最適直前要約画像決定部１００８と、累計評価値更新部１００９と、要約画像列決定部１０１０とを含む。なお処理部１００は、図１の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。また上述の各部は、処理部１００で実行される画像要約処理を複数のサブルーチンに分割した際に、各サブルーチンを説明するために設定したものであり、必ずしも処理部１００が上述の各部を構成要件として有するわけではない。

【0069】

変形推定部１００１は、２つの画像間の変形推定処理を行い変形情報を取得する。ここで変形情報とは、一方の画像において撮像された範囲が、他方の画像においてどのような形状（範囲）として撮像されているかを表すものであり、例えば特許文献２に開示されている変形パラメータ等であってもよい。本実施形態では、変形推定部１００１は、仮定要約画像選択部１００２で選択された仮定要約画像と判定対象画像選択部１００４で選択された判定対象画像の間の変形情報、及び仮定直前要約画像選択部１００３と判定対象画像の間の変形情報を取得し、取得した変形情報に基づいて被覆率の算出処理が行われる。

【0070】

ただし、変形推定部１００１は、基準画像（ここでは仮定要約画像及び仮定直前要約画像）と判定対象画像の間の変形情報を直接求めるものに限定されない。例えば、処理対象となる画像列において、隣り合う画像間の変形情報を求めておき、隣り合わない画像間での変形情報は、隣り合う画像間の変形情報を組み合わせて算出するものであってもよい。この場合、基準画像と判定対象画像の間の変形情報は、基準画像、判定対象画像、及びその間の画像での隣り合う画像間の変形情報を（狭義には全て）組み合わせることで求めることになる。

【0071】

このようにすることで、変形情報の算出処理の負荷を軽くすることが可能になる。なぜなら、変形情報は特許文献２等で示した手法により算出できるが、一般的に変形情報を一から算出する処理に比べて、複数の変形情報を複合する処理は非常に軽いものとなるためである。例えば、変形情報が行列等であれば、２つの画像情報から当該行列を求める処理は負荷が大きいが、すでに求めてある複数の行列を合成することは（例えば行列の積を取るだけでよいため）非常に容易となる。

【0072】

例えば、画像列取得部２００により取得された画像列がＮ枚の画像を含んでいた場合、その中から２枚の画像を選択する組み合わせはＮ×（Ｎ−１）／２通り考えられるため、基準画像と判定対象画像の間の変形情報を直接求めるとすると、負荷の重い処理（変形情報を一から算出する処理）をＮ^２のオーダーの回数だけ行う可能性がある。それに対して、隣り合う画像間の変形情報を用いるようにすれば、負荷の重い処理はＮ−１回ですむ。

【0073】

仮定要約画像選択部１００２は、画像列の先頭の画像の１つ前に仮想的に配置された画像（第０の画像）から画像列の最後の画像の１つ後に仮想的に配置された画像（第Ｎ＋１の画像）まで時系列順に画像を選択し、選択した画像を仮定要約画像とする。ここで仮定要約画像とは、上述した累計評価値Ｅの算出対象となる画像である。

【0074】

仮定直前要約画像選択部１００３は、仮定直前要約画像を選択する。ここで仮定直前要約画像とは、仮定要約画像の１つ前の要約画像の候補となる画像である。仮定直前要約画像の累計評価値Ｅが求められていれば、当該累計評価値と、仮定直前要約画像と仮定要約画像との間の要約区間評価値とから、仮定要約画像の累計評価値の候補を求めることが可能である。

【0075】

ここで、第ｋの画像が仮定要約画像である場合、その１つ前の要約画像としては、第ｋ−１の画像が残されるケース、第ｋ−１の画像は削除されるが第ｋ−２の画像は残されるケース、第ｋ−１，ｋ−２の画像は削除されるが第ｋ−３の画像は残されるケース、・・・、第１〜第ｋ−１の画像の全てが削除されるケースが考えられる。つまり、全ての場合を尽くすのであれば、仮定直前要約画像としては、仮定要約画像の１つ前の画像から第０の画像までの全てを順次選択するとよい。

【0076】

なお、本実施形態で対象とする入力画像列に含まれる画像は、画像列中での位置が近いほど似通っている可能性が高いことが想定される。つまり、仮定要約画像と仮定直前要約画像は近い方が、遠い場合に比べてその間の画像は被覆率が高い（全て削除可能と判定される）可能性が高い。そして後述するように、仮定要約画像と仮定直前要約画像間の画像の少なくとも１枚が削除不可であり、且つその際の被覆率が極端に低い場合には、仮定直前要約画像をそれ以上仮定要約画像から遠ざけずに処理を打ち切る場合も考えられる。よって仮定直前要約画像選択部１００３は、処理の効率を考えて、仮定要約画像の１枚前の画像を最初の仮定直前要約画像として選択し、順次仮定直前要約画像を１つずつ前の画像に更新していくものとする。

【0077】

判定対象画像選択部１００４は、仮定要約画像と仮定直前要約画像の間の画像を順次判定対象画像として選択する。ここでは、仮定要約画像の１枚前の画像を最初の判定対象画像として、仮定直前要約画像の１枚後の画像に至るまで、順次判定対象画像を１つずつ前の画像に更新するものとする。

【0078】

被覆率算出部１００５は、仮定要約画像と判定対象画像の間の第１の変形情報、及び仮定直前要約画像と判定対象画像の間の第２の変形情報に基づいて、判定対象画像の被覆率を算出する。被覆率の算出処理の例を図２，図３に示す。図３では仮定要約画像を第１の変形情報を用いて変形して判定対象画像に射影した領域である第１の被覆領域を求める。それとともに、仮定直前要約画像を第２の変形情報を用いて変形して判定対象画像に射影した領域である第２の被覆領域を求める。さらに、第１の被覆領域と第２の被覆領域の和領域（第１の被覆領域と第２の被覆領域の少なくとも一方に含まれる領域）を最終的な被覆領域とする。そして、判定対象画像に占める被覆領域の割合（狭義には判定対象画像の面積に対する被覆領域の面積の割合）を被覆率とすればよい。

【0079】

なお、全ての判定対象画像で被覆率が閾値ｋ１以上であれば、被覆率を用いた要約区間評価値の算出処理に移行する。一方、少なくとも１枚の判定対象画像で被覆率がｋ１未満の場合には、そのときの仮定要約画像と仮定直前要約画像を残して、間の画像を全て削除することが適切でないということになる。よって、そのような要約画像列が選択されないように（当該経路が最適とされないように）、要約区間評価値は具体的な値を計算せずに十分小さい値（例えば−∞）を設定する。また、被覆率がｋ１＞ｋ２となるｋ２未満の場合には、その際の仮定要約画像と仮定直前要約画像では間の画像のカバー度合いが極端に低いということになる。その場合、仮定直前要約画像を仮定要約画像からさらに遠い位置に更新したとしても適切に間の画像をカバーできる可能性は低いことが想定される。その場合には、判定対象画像の更新処理だけでなく、仮定直前要約画像の更新処理も打ち切って、仮定要約画像の更新処理に移行してもよい。この処理の分岐については図４のフローチャートを用いて詳述する。

【0080】

要約区間評価値算出部１００６は、被覆率、及び仮定直前要約画像と仮定要約画像の間の画像枚数に基づいて要約区間評価値を算出する。これは上述したように、削除できる画像枚数が多いほど、また被覆率が高いほど、要約画像列として適切であるという観点に基づくものである。具体的には、全ての判定対象画像についての被覆率の総和から第１の評価値を求め、仮定直前要約画像と仮定要約画像の間の画像枚数を第２の評価値として求める。そして、第１の評価値と第２の評価値を重み付け加算して要約区間評価値を求めればよい。例えば、被覆率が０から１の値で表現する場合には、要約区間評価値ＧとしてＧ＝（第１の評価値）＋（第２の評価値）×（画像列の総枚数）により求められる値を用いてもよい。この場合、画像列の総枚数という重みによる寄与が大きいため、画像の削除枚数をより重視して最適な要約画像列を決定することが可能になる。ただし、要約区間評価値の算出手法はこれに限定されるものではない。

【0081】

仮定累計評価値算出部１００７は、仮定要約画像の仮定累計評価値（累計評価値の候補となる値）を算出する。具体的には、各仮定直前要約画像について、当該仮定直前要約画像の累計評価値と、仮定要約画像と仮定直前要約画像の間で求められた要約区間評価値の和を仮定累計評価値とすればよい。なお、第０の画像の累計評価値は０とするため、仮定直前要約画像が第０の画像の場合は、仮定累計評価値は要約区間評価値の値そのものとなる。

【0082】

最適直前要約画像決定部１００８は、仮定累計評価値算出部１００７で求められた１以上の仮定累計評価値の中から、最適なもの（狭義には最大のもの）を与える仮定直前要約画像を、最適直前要約画像として決定する。

【0083】

累計評価値更新部１００９は、仮定累計評価値のうち最適なもの（狭義には最大のもの）を、当該仮定要約画像における累計評価値として決定する。

【0084】

要約画像列決定部１０１０は、第Ｎ＋１の画像の累計評価値Ｅ（Ｎ＋１）が求められた後に、最適直前要約画像をたどることで要約画像列を設定する。具体的には、第Ｎ＋１の画像を最初の処理対象画像とした場合に、処理対象画像の最適直前要約画像が第０の画像でない場合には、当該最適直前要約画像を要約画像列に残すとともに、当該最適直前要約画像を新たな処理対象画像とする。一方、最適直前要約画像が第０の画像である場合には、要約画像列決定処理を終了する。これにより、第Ｎ＋１の画像から第０の画像まで最適直前要約画像をたどっていき、その経路上のノードである画像を要約画像列とする処理を行うことができる。

【0085】

２．３ 処理の詳細
図４のフローチャートを用いて、本実施形態の画像要約処理の流れを説明する。この処理が開始されると、まず変形推定処理が行われる（Ｓ１０１）。これは例えば、入力画像列において隣り合う画像間の変形情報を取得する処理となる。

【0086】

次に仮定要約画像を選択する処理を行う（Ｓ１０２）。Ｓ１０２の処理が初めて行われる場合には、仮想画像である第０の画像を仮定要約画像として選択する。それ以降にＳ１０２の処理が再度行われる場合には、仮定要約画像を入力画像列における１つ後ろの画像に更新する処理が行われることになる。

【0087】

仮定要約画像が選択されたら、仮定直前要約画像の選択処理を行う（Ｓ１０３）。ここではまず仮定要約画像の１つ前の画像を仮定直前要約画像として選択する。そして、Ｓ１０２の仮定要約画像の更新処理が行われることなくＳ１０３の処理が再度行われた場合（Ｓ１０５やＳ１０７からＳ１０３に戻った場合）には、仮定直前要約画像を１つ前の画像に更新する処理が行われる。

【0088】

仮定要約画像と仮定直前要約画像が選択されたら、その間の画像を順次判定対象画像として選択する（Ｓ１０４）。判定対象画像が選択されたら、仮定要約画像と判定対象画像の間の第１の変形情報、及び仮定直前要約画像と判定対象画像の間の第２の変形情報を用いて被覆率を算出する（Ｓ１０５）。第１，第２の変形情報はＳ１０１の変形推定処理の結果を利用して求めればよい。

【0089】

被覆率に基づいて判定対象画像が削除可能（例えば被覆率が閾値ｋ１以上）であれば、Ｓ１０４に戻って判定対象画像を更新する。判定対象画像が削除可能である限り、Ｓ１０４とＳ１０５の処理を繰り返し、仮定要約画像と仮定直前要約画像の間の全画像について処理を行う。

【0090】

仮定要約画像と仮定直前要約画像の間の全画像が削除可能である場合には、Ｓ１０６に移行して、要約区間評価値を算出し、当該要約区間評価値と仮定直前要約画像の累計評価値とに基づいて、仮定要約画像の仮定累計評価値を算出する（Ｓ１０７）。Ｓ１０７の処理後はＳ１０２に戻り仮定直前要約画像の更新処理を行う。

【0091】

一方、仮定要約画像と仮定直前要約画像の間の少なくとも１枚の画像が削除不可であり、且つ打ち切り判定はされなかった（例えばｋ２≦被覆率＜ｋ１）の場合には、その際の仮定要約画像と仮定直前要約画像の組み合わせでは間の画像を十分にカバーできないということになる。よって、要約区間評価値を−∞等の十分小さい値に設定し、その際の仮定要約画像と仮定直前要約画像の組み合わせが要約画像として採用されないようにする。しかし、処理を打ち切るという判定がされるほど被覆率の値は悪くないため、Ｓ１０３に戻り仮定直前要約画像の更新処理を行う。通常、仮定要約画像と仮定直前要約画像の間が広がるほど削除不可とされる可能性は高くなる傾向にあるが、被写体等によっては仮定要約画像と仮定直前要約画像の間を広げたほうがかえって間の画像のカバー度合いがよくなる可能性も考えられるためである。

【0092】

また、判定対象画像の被覆率が極端に低い（例えば被覆率がｋ２未満）場合には、その際の仮定要約画像と仮定直前要約画像の組み合わせでは間の画像を十分にカバーできず、且つ仮定要約画像と仮定直前要約画像を広げる更新処理を行ったとしても、被覆率の改善可能性が非常に低いと考えられる。よってこの場合には、Ｓ１０３〜Ｓ１０７のループ処理を打ち切り、Ｓ１０８に移行する。この際、Ｓ１０８以降の処理を考えて、仮定直前要約画像の探索区間に含まれる画像であって、Ｓ１０３において仮定直前要約画像として選択されなかった画像についての要約区間評価値に十分小さい値を設定する処理を行ってもよい。例えば、第ｋ−１の画像から第０の画像まで仮定直前要約画像として選択する予定であったが、第ｋ−ｚの画像で打ち切り判定されてしまった場合には、第ｋ−ｚ−１の画像から第０の画像を仮定直前要約画像として選択した場合の要約区間評価値が設定されないことになってしまうため、それらの値として−∞を設定すればよい。

【0093】

また、Ｓ１０３による仮定直前要約画像の更新処理が繰り返され、全探索区間を探索した場合にもＳ１０８に移行する。これは例えば、仮定要約画像の１つ前の画像から第０の画像までの全てを仮定直前要約画像として選択して処理を行った状態に対応する。また、計算量の削減のため、仮定直前要約画像として選択される画像をα枚に限定している場合であれば、仮定要約画像の１つ前の画像からα枚を仮定直前要約画像として選択して処理を行った状態に対応する。

【0094】

Ｓ１０８に移行した段階では、Ｓ１０２で選択した仮定要約画像に対して、１又は複数の仮定直前要約画像の各画像を直前の要約画像とした場合の累計評価値である仮定累計評価値が算出されている。よって、その仮定累計評価値のうち最適なもの（狭義には最大のもの）を与える仮定直前要約画像を最適直前要約画像として決定し（Ｓ１０８）、その際の評価値をその仮定要約画像の累計評価値とする（Ｓ１０９）。

【0095】

Ｓ１０３〜Ｓ１０９の処理を適宜ループを繰り返して行うことで、Ｓ１０２で選択した仮定要約画像の累計評価値を求めることができる。よってＳ１０９の後はＳ１０２に戻って仮定要約画像を更新し、Ｓ１０３〜Ｓ１０９の処理を繰り返して、第０〜第Ｎ＋１の全画像について累計評価値を求めればよい。

【0096】

第Ｎ＋１の画像の累計評価値が算出されたら、Ｓ１０２で選択する画像がないということになるため、Ｓ１１０の要約画像列決定処理に移行する。具体的には、第Ｎ＋１の画像からスタートし、処理対象画像の最適直前要約画像を順次、第０の画像に至るまでたどっていく経路を選択すればよい。本実施形態の処理では当該経路上の画像から構成される画像列（ただし仮想画像である第０の画像と第Ｎ＋１の画像は除く）が要約画像列となる。

【0097】

２．４ 処理の具体例
本実施形態の具体的な処理の例について、図５（Ａ）〜図８（Ｂ）を用いて説明する。ここでは、第１〜第６の画像から構成される画像列が入力された場合を例にとる。図面下部の０〜７の数字は入力画像列の構成画像を表し、その下の数字は当該画像の累計評価値を表す。また図面上部の格子は、各交点に付された値が当該交点から右下及び左下に位置する２つの画像間の要約区間評価値を表すものとする。また太い直線は仮定要約画像から最適直前要約画像を経由して第０の画像に至るルートを表す。

【0098】

まず図５（Ａ）に示したように、第０の画像についてはその累計評価値Ｅ（０）は０であるものとする。

【0099】

そして図５（Ｂ）に示したように第１の画像を仮定要約画像とし、それ以前の画像を仮定直前要約画像とする。ここでは第０の画像を仮定直前要約画像とし、第０の画像と第１の画像の間の要約区間評価値Ｇ（０，１）を求める。この場合、間に画像がないため判定対象画像は選択されない。仮定直前要約画像としては第０の画像以外は選択されないため、Ｅ（１）＝Ｅ（０）＋Ｇ（０，１）＝０、最適直前要約画像は第０の画像となる。

【0100】

次に図６（Ａ）に示したように、仮定要約画像を第２の画像に更新する。そして、第１の画像を仮定直前要約画像としてＧ（１，２）を求める。さらに第０の画像を仮定直前要約画像としてＧ（０，２）を求める。Ｇ（０，２）を求める場合には第１の画像が判定対象画像として選択される。

【0101】

その後、仮定累計評価値として、Ｅ（０）＋Ｇ（０，２）と、Ｅ（１）＋Ｇ（１，２）を求め、そのうちの最適値をＥ（２）とするとともに、その値を与える仮定直前要約画像を最適直前要約画像とする。この場合、Ｅ（２）＝１０９３、最適直前要約画像が第０の画像となる。

【0102】

以降同様に、第３の画像を仮定要約画像とした場合には、第２〜第０の画像を順次仮定直前要約画像として選択する。そして、仮定要約画像と仮定直前要約画像の間に１又は複数の画像がある場合には、それらを順次判定対象画像として選択して被覆率を求めることで、要約区間評価値Ｇを算出する。仮定直前要約画像として選択された画像枚数に対応した数の仮定累計評価値（図６（Ｂ）の場合であれば３つ）が求められるため、そのうちの最適値を累計評価値Ｅ（３）とし、その値を与える第０の画像を最適直前要約画像とする。

【0103】

図７（Ａ）〜図８（Ａ）についても同様である。なお図７（Ａ）では仮定直前要約画像を第０の画像とした場合、第１〜第３の画像のいずれかが削除不可（いずれかを判定対象画像とした場合の被覆率が所与の閾値未満）であるため、Ｇ（０，４）＝−∞となっている。また、最適直前要約画像が第０の画像ではないため、最適直前要約画像を対象とした場合に、さらに最適直前要約画像を考えることが可能である。

【0104】

この処理を繰り返し、入力画像列の最後の画像のさらに後ろに設定された仮定画像の累計評価値（図８（Ｂ）ではＥ（７））を求める。そして、第７の最適直前要約画像が第５の画像であり、第５の画像の最適直前要約画像が第２の画像、第２の画像の最適直前要約画像が第０の画像であることから、これにより図８（Ｂ）に示したように、第０の画像から第７の画像に至る最適経路が、０−２−５−７として求められる。第０，第７の画像が仮想画像であることに鑑みれば、第１〜第６の画像から構成される入力画像列の最適な要約画像列は、第２の画像及び第５の画像から構成される画像列であると決定することができる。

【0105】

２．５ 変形例
図４のフローチャート等を用いて説明した上述の処理は、画像要約処理の対象となる画像列全体を入力画像列としていた。しかし動的計画法の処理時間は処理区間長（例えば経路長により決定される値であり、本実施形態であれば入力画像列に含まれる画像枚数により決定される）の２乗に比例して増加することが知られている。つまり、本実施形態のように画像要約処理の対象である画像列に含まれる画像枚数が非常に多い場合には、動的計画法を用いたとしても現実的な処理時間で最適解を求めることが困難となる可能性も考えられる。

【0106】

そこで処理時間を短縮するために、画像列を複数の部分画像列に分割し、各部分画像列を入力画像列として上述の処理を行ってもよい。このようにすれば、上記処理区間長を短くすることができるため、全体として処理時間を短縮することが可能になる。

【0107】

具体的には例えば、画像列からシーンチェンジを検出し、検出したシーンチェンジに基づいて、画像列を複数の部分画像列に分割すればよい。ここでのシーンチェンジは種々の手法により求めることが可能であるが、例えば特許文献２に記載された方法で変形推定を行った際に、正確にレジストレーションできる領域の面積（当該領域を表すマスク画像の画素数）が所与の閾値以下の場合に、変形推定が失敗していると判定し、変形推定が失敗している隣接画像間をシーンチェンジとすることが考えられる。

【0108】

このようにすれば、本実施形態の処理（特に動的計画法を用いた処理）の対象となる入力画像列に含まれる画像枚数を少なくすることができ、処理時間を短縮できる。さらに、変形推定が失敗している画像間に部分画像列の境界を設けることで、当該画像間の変形情報を処理に用いる必要がなくなる。つまり、変形推定が失敗したと判定される程度に不正確な変形情報を処理から除外することができるため、変形情報を用いた処理の精度（例えば被覆率の算出精度）を向上させることも可能になる。

【0109】

例えば、図１１（Ａ）、図１１（Ｂ）に示すように、画像列中にＡ１〜Ａ３の３つのシーンチェンジが検出された場合には、当該シーンチェンジを境界としてＢ１〜Ｂ４という４つの部分画像列を設定すればよい。

【0110】

なお、シーンチェンジに基づいて複数の部分画像列が設定された場合には、当該複数の部分画像列を１つずつ順次処理していくものには限定されない。処理部１００の構成が並列処理に適している（例えば処理部１００として複数のコアを有するＣＰＵが用いられている）場合や、複数のコンピュータにより本実施形態の画像処理装置が構成され、各コンピュータで分散処理が行われる場合等では、複数の部分画像列に対して並列に、上述の画像要約処理を行ってもよい。このようにすれば、画像要約処理に要する時間を短縮すること等が可能になる。

【0111】

以上の本実施形態では、画像処理装置は図１（或いは図２１）に示したように、第１〜第Ｎ（Ｎは２以上の整数）の画像を構成画像として有する画像列を取得する画像列取得部２００と、画像列取得部２００が取得した画像列の第１〜第Ｎの画像の一部を削除して要約画像列を生成する画像要約処理を行う処理部１００を含む。そして処理部１００は、入力画像列の第ｓ（ｓは０≦ｓ≦Ｎ＋１を満たす整数）の画像を仮定要約画像として選択し、入力画像列の第ｔ（ｔは０≦ｔ≦ｓ−１を満たす整数）の画像を仮定直前要約画像として選択し、入力画像列の第ｕ（ｕはｔ＜ｕ＜ｓを満たす整数）の画像を判定対象画像として選択する。さらに処理部１００は、仮定要約画像と判定対象画像の間の変形情報、及び仮定直前要約画像と判定対象画像の間の変形情報に基づいて、判定対象画像の削除評価値を求め、第ｔ＋１〜第ｓ−１の画像の削除評価値に基づいて、第ｔ＋１〜第ｓ−１の画像を削除した場合の評価値である要約区間評価値Ｇ（ｔ，ｓ）を求め、要約区間評価値に基づいて、画像要約処理を行う。

【0112】

これにより、要約区間評価値に基づいた画像要約処理が可能になる。要約区間評価値Ｇ（ｔ，ｓ）は、第ｔの画像と第ｓの画像を要約画像列に残し、第ｔ＋１〜第ｓ−１の画像を全て削除する場合の評価値である。つまり、仮に要約画像列に第ａの画像、第ｂの画像、第ｃの画像の３つを残すとした場合、当該要約画像列の評価値はＧ（ａ，ｂ）及びＧ（ｂ，ｃ）から求めることができる（仮定画像として第０，第Ｎ＋１の画像を想定すれば、Ｇ（０，ａ），Ｇ（ｃ，Ｎ＋１）も併用する）。よって、第１〜第Ｎの画像のうち任意の２枚の画像間の要約区間評価値を全て求めれば、入力画像列から生成される任意の要約画像列の評価値を求めることができ、複数の要約画像列の候補の中から最適なものを探索することが可能になる。なお、第１〜第Ｎの画像（或いは仮想画像まで含めて第０〜第Ｎ＋１の画像）から２枚の画像を選択する全ての組み合わせについて要約区間評価値Ｇを求めてもよいが、計算量削減の観点から、一部のＧについて算出処理をスキップしてもよい。この際に、要約区間評価値を画像間の変形情報に基づいて求めているため、画像を削除することで観察することができなくなる領域の発生度合いを制御すること等が可能になる。

【0113】

また、処理部１００は、要約区間評価値に基づいて、第１〜第Ｎの画像の各画像の累計評価値Ｅ（１）〜Ｅ（Ｎ）を求め、累計評価値に基づいて画像要約処理を行ってもよい。

【0114】

これにより累計評価値に基づいた画像要約処理が可能になる。本実施形態の累計評価値Ｅ（ｋ）とは、第０の画像及び第ｋの画像を残すことを仮定した場合の評価値のうち、最適なものを表す（なお、第ｋ＋１〜第Ｎ＋１の画像については考慮しない）。第０の画像及び第ｋの画像を残す場合には、第１〜第ｋ−１の画像についてそれぞれ残すか削除するかの２通りの可能性があるため、２^ｋ−１通りの場合のうち最適なもの（或いは最適であると判定されたもの）がＥ（ｋ）となる。つまりＥ（ｋ）を求めることで、第ｋの画像を残す前提での、第１〜第ｋ−１の画像の削除可否について最適な組み合わせを決定できる。つまり、仮想画像である第Ｎ＋１の画像についてＥ（Ｎ＋１）を求めれば、第１〜第Ｎの画像の削除可否について最適な組み合わせを決定できることになり、これは大域的に最適な要約画像列を求める処理に他ならない。ただし、計算量を削減するために本実施形態では動的計画法を用いることを想定している。その場合、Ｅ（Ｎ＋１）を直接求めるのではなく、起点（第０の画像）に近い方から順次累計評価値Ｅを求め、所与の画像の累計評価値Ｅ（ｋ）を求める場合にはそれ以前の処理結果（Ｅ（１）〜Ｅ（ｋ−１））を用いる。よって本実施形態の画像要約処理においては、第１〜第Ｎの画像の各画像の累計評価値Ｅ（１）〜Ｅ（Ｎ）を求めることで画像要約処理を行うものとしている。

【0115】

また、処理部１００は、仮想画像である第０の画像の累計評価値をＥ（０）＝０とし、第ｖ（ｖは１≦ｖ≦Ｎ＋１を満たす整数）の画像の累計評価値を、第ｗ（ｗは０≦ｗ≦ｖ−１を満たす整数）の画像の累計評価値Ｅ（ｗ）、及び第ｗ＋１〜第ｖ−１の画像を削除した場合の要約区間評価値Ｇ（ｗ，ｖ）を用いて、Ｅ（ｖ）＝ｍａｘ（Ｅ（ｗ）＋Ｇ（ｗ，ｖ））として求めてもよい。

【0116】

これにより、動的計画法を用いて累計評価値Ｅを求めることが可能になる。この場合、Ｅ（ｖ）を求めるに当たって、第０〜第ｖの画像を削除するか否かの全ての場合を考慮しなくても、Ｅ＋Ｇをｖ回計算しその最適値（狭義には最大値）を求めるだけでよいことになる。つまり、Ｅ（Ｎ＋１）を求める際に、Ｅ（１）〜Ｅ（Ｎ）を求める必要は生じるものの、直接的にＥ（Ｎ＋１）を求める場合に比べて計算量を大幅に削減することが可能になる。

【0117】

また、処理部１００は、下式（１）を満たす第ｘの画像を、第ｖの画像の最適直前要約画像として選択してもよい。

【0118】

【数1】

また、処理部１００は、仮想画像である第Ｎ＋１の画像の累計評価値Ｅ（Ｎ＋１）を求め、第Ｎ＋１の画像を要約画像列決定処理における最初の処理対象画像としてもよい。そして処理部１００は、処理対象画像の最適直前要約画像が第０の画像でない場合には、最適直前要約画像を要約画像列に含める処理を行うとともに、最適直前要約画像を新たな処理対象画像とする更新処理を行って要約画像列決定処理を継続する。一方、処理対象画像の最適直前要約画像が第０の画像である場合には、要約画像列決定処理を終了する。

【0119】

これにより、Ｅ（ｖ）を求めた際に、第ｖの画像の最適直前要約画像を選択するとともに、最適直前要約画像を用いて要約画像列決定処理を行うことが可能になる。動的計画法においては、それまでの処理結果を活用する観点から、処理対象ノードについてはその直前ノードを決定すればよく、起点から当該直前ノードまでの経路については処理対象ノードの処理時点においては考慮する必要がない。しかし、各ノードについて直前ノードさえ決定しておけば、終点から順次直前ノードをさかのぼることで、最適経路を決定することができる。本実施形態ではこの処理を画像列に当てはめたものであり、具体的には仮定直前要約画像のうち、仮定要約画像の仮定累計評価値を最大にするものを、最適直前要約画像とすればよい。要約画像列決定処理は、第Ｎ＋１の画像から第０の画像に至るまで、最適直前要約画像をたどっていく処理となる。

【0120】

また、処理部１００は、第ｓの画像と第ｕの画像の間の変形情報、及び第ｔの画像と第ｕの画像の間の変形情報に基づいて、第ｓの画像及び第ｔの画像により第ｕの画像が被覆される割合である第ｕの画像の被覆率を算出してもよい。そして処理部１００は、被覆率に基づいて削除評価値を算出し、第ｔ＋１〜第ｓ−１の画像についての削除評価値を合計した値を第ｔ＋１〜第ｓ−１の画像を削除した場合の要約区間評価値Ｇ（ｔ，ｓ）として求める。

【0121】

これにより、被覆率に基づいて要約区間評価値を求めることが可能になる。被覆率は例えば、図２，図３に示したように被覆領域を用いて求めてもよいし、他の手法により求めてもよい。この場合、要約区間評価値の算出に被覆率が用いられることから、当該要約区間評価値に基づき決定される要約画像列は、被覆率が高い（つまり観察できなくなる領域の発生が抑止された）画像列となることが期待できる。

【0122】

また、処理部１００は、第ｓの画像と第ｕの画像の間の変形情報、及び第ｔの画像と第ｕの画像の間の変形情報に基づいて、第ｕの画像の削除可否の判定を行ってもよい。そして処理部１００は、第ｔ＋１〜第ｓ−１の画像のうち、少なくとも１枚の構成画像が削除不可と判定された場合は、第ｔ＋１〜第ｓ−１の画像を削除した場合の要約区間評価値Ｇ（ｔ，ｓ）として、第１の値を設定する。

【0123】

この際処理部１００は、第１の値として、負の無限大、又は累計評価値に基づいて決定される所与の閾値以下の値を設定してもよい。

【0124】

これにより、第ｔ＋１〜第ｓ−１の画像のうち、少なくとも１枚の構成画像が削除不可と判定された場合、すなわち第ｔの画像と第ｓの画像ではその間の画像を十分にカバーできない場合には、削除可能な画像枚数や被覆率等の観点を用いずに、要約画像列の評価値として所与の値を設定することが可能になる。具体的には、要約画像列の評価値としては第ｔの画像が第ｓの画像の最適直前要約画像として選択される可能性がないような値を設定する。ここでは、累計評価値は大きいほどよいものとしているため、上記第１の値として−∞を用いれば、当該第１の値である要約区間評価値により算出される仮定累計評価値は、第１の値以外の値である要約区間評価値（第ｔ＋１〜第ｓ−１の画像が全て削除可能な場合に相当）により算出される仮定累計評価値より必ず小さい値となる。

【0125】

ただし、（削除不可の場合の仮定累計評価値のうちの最大値）＜（削除可能な場合の仮定累計評価値の最小値）が満たされれば第１の値は−∞でなくてもよい。この場合、仮定累計評価値が、仮定直前要約画像の累計評価値と、要約区間評価値により決定されることに鑑みれば、第１の値は累計評価値に基づいて決定されることになる。例えば、累計評価値として考えられる値に比べてオーダーが大きく異なる程度に絶対値が大きい負の値を第１の値としてもよい。或いは、（仮定要約画像の累計評価値として取りうる最小値）−（仮定直前要約画像の累計評価値）よりも小さい値を第１の値としてもよく、この場合も第ｔの画像が第ｓの画像の最適直前要約画像として選択される可能性がないという要件を満たす。

【0126】

また、処理部１００は、第ｔ＋１〜第ｓ−１の画像の全てが削除可能と判定された場合は、第ｔ＋１〜第ｓ−１の画像の画像枚数に基づいて、第ｔ＋１〜第ｓ−１の画像を削除した場合の要約区間評価値Ｇ（ｔ，ｓ）を求めてもよい。

【0127】

これにより、削除可能な画像枚数に基づいて要約区間評価値を求めることが可能になる。削除可能な画像枚数が多いほど、要約画像列に含まれる画像枚数を少なくできるため、画像要約処理の効果を向上させることができる。なお、ここでの削除可否の判定は、上述したように被覆率の値と所与の閾値（ｋ１）との比較処理により行ってもよい。ただしこれに限定されず、第２の実施形態で後述するように構造要素を用いた収縮処理の結果に基づいて判定してもよいし、図２０に示すように２つの手法を組み合わせて判定してもよい。

【0128】

また、処理部１００は、ｔ＝ｓ−１からｔ＝０まで、−１ずつｔを更新しながら第ｔの画像を仮定直前要約画像として選択し、第ｔの画像と第ｕの画像の間の変形情報、及び第ｓの画像と第ｕの画像の間の変形情報に基づいて打ち切り判定処理を行ってもよい。そして、打ち切り判定処理によって打ち切り判定されたｔについて、第ｘ（ｘは０≦ｘ≦ｔを満たす整数）の画像と前記第ｓの画像との間の構成画像を削除したときの要約区間評価値Ｇ（ｘ，ｓ）として、第１の値を設定し、第ｓの画像を仮定要約画像とした処理を終了する。

【0129】

これにより、打ち切り判定を行うことが可能になる。上述したように、本実施形態の画像列に含まれる画像は、画像列中での位置が近いほど被写体は似通っていることが想定される。つまり、第ｔの画像と第ｓの画像による第ｔ＋１〜第ｓ−１の画像のカバー度合いが非常に低い場合には、仮定直前要約画像を更新したとしても、第ｔ−１の画像と第ｓの画像による第ｔ〜第ｓ−１の画像のカバー度合いも低いと考えられる。その場合には、第０〜第ｔ−１の画像を仮定直前要約画像とする処理をスキップしたとしても問題が生じる可能性が低く、当該スキップ処理により計算量を削減することが可能になる。その際、第０〜第ｔ−１の画像を仮定直前要約画像とした場合の要約区間評価値としては上記第１の値を設定すればよい。

【0130】

また、処理部１００は、第０〜第ｓ−１の画像のうち、第ｓ−α〜第ｓ−１の画像（αは正の整数）の画像を仮定直前要約画像として選択してもよい。

【0131】

これにより、仮定直前要約画像の設定範囲（最適直前要約画像を探索する範囲）を狭くすることができるため、計算量を削減することが可能になる。本実施形態の入力画像列では、仮定要約画像と仮定直前要約画像が離れすぎると、間の画像をカバーできる可能性は低くなる傾向にある。つまり、仮定直前要約画像を仮定要約画像から極端に離れた位置に設定したとしても、当該仮定直前要約画像が最適直前要約画像として選択される可能性は非常に低く、当該仮定直前要約画像に対する処理は有用とは言い難い。よってここでは、仮定直前要約画像の設定範囲を限定してもよいものとしている。

【0132】

また、処理部１００は、画像列からシーンチェンジを検出し、画像列から第ｉ（ｉは整数）のシーンチェンジと、第ｉのシーンチェンジの次の第ｉ＋１のシーンチェンジを検出した場合に、画像列の複数の構成画像のうち、第ｉのシーンチェンジの後方で、且つ第ｉ＋１のシーンチェンジの前方の構成画像を部分画像列として設定し、設定した部分画像列に対して画像要約処理を行ってもよい。

【0133】

これにより、入力画像列を複数の部分画像列に分割し、部分画像列毎に処理を行うことが可能になる。動的計画法の処理時間は処理区間長の２乗に比例することから、部分画像列毎に処理を行うことで処理時間を短縮することが可能になる。また、複数の部分画像列に対して並列処理を行うことで、さらなる処理時間の短縮を図ってもよい。

【0134】

なお、本実施形態の画像処理装置等は、その処理の一部または大部分をプログラムにより実現してもよい。この場合には、ＣＰＵ等のプロセッサがプログラムを実行することで、本実施形態の画像処理装置等が実現される。具体的には、非一時的な情報記憶媒体に記憶されたプログラムが読み出され、読み出されたプログラムをＣＰＵ等のプロセッサが実行する。ここで、情報記憶媒体（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＤＶＤ、ＣＤ等）、ＨＤＤ（ハードディスクドライブ）、或いはメモリ（カード型メモリ、ＲＯＭ等）などにより実現できる。そして、ＣＰＵ等のプロセッサは、情報記憶媒体に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち、情報記憶媒体には、本実施形態の各部としてコンピュータ（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。

【0135】

３．第２の実施形態
次に構造要素を用いた収縮処理に基づいて、注目領域の見逃し可能性を判定する手法について説明する。

【0136】

３．１ システム構成例。

【0137】

第２の実施形態の画像処理装置の構成例を図１３に示す。図１３に示したように、第１の実施形態の画像処理装置（図１）と比較した場合に、被覆率算出部１００５が除かれ、注目領域見逃し判定部１０１１が追加された構成となっている。その他の各部については、要約区間評価値算出部１００６での要約区間評価値Ｇの算出手法を除き、第１の実施形態と同様であるため、詳細な説明は省略する。

【0138】

仮定要約画像、仮定直前要約画像、判定対象画像の選択後、注目領域見逃し判定部１０１１は、当該判定対象画像が削除された場合に、判定対象画像上に撮像された注目領域が、仮定要約画像及び仮定直前要約画像のいずれにおいても撮像されない状況となる（つまり注目領域を見逃す状況となる）可能性についての判定処理を行う。

【0139】

３．２ 注目領域見逃し可能性判定及び要約区間評価値算出処理
具体的な処理の流れを説明する。注目領域見逃し判定部１０１１は、注目領域（カプセル内視鏡であれば見逃しが望ましくない病変部等）に基づいて構造要素を生成しておく。ここでは、注目領域の典型的な大きさ等を考慮して、見逃すことが好ましくないサイズ、形状の領域を構造要素として設定する。例えば、注目領域が病変部であり、画像上で直径３０ピクセルの円よりも大きい病変は深刻度が高く見逃すべきではない、ということがわかっているのであれば、構造要素は直径３０ピクセルの円を設定することになる。

【0140】

仮定要約画像、仮定直前要約画像、及び判定対象画像が選択されたら、変形推定部１００１での変形推定処理の結果を用いて、仮定要約画像と判定対象画像の間の第１の変形情報と、仮定直前要約画像と判定対象画像の間の第２の変形情報を取得する。そして第１の実施形態と同様に、取得された変形情報を利用して、仮定要約画像と仮定直前要約画像を判定対象画像上へ射影し、被覆領域を求める。

【0141】

被覆領域が算出されたら、注目領域見逃し判定部１０１１は、注目領域の見逃し可能性を判定する。具体的には、判定対象画像のうち被覆領域以外の領域である非被覆領域に対して、図１４に示すように構造要素を用いた収縮処理を行い、残留領域があるか否かの判定を行う。

【0142】

収縮処理の具体例について図１５（Ａ）〜図１５（Ｅ）を用いて説明する。非被覆領域は図１５（Ａ）に示したように、必ず閉じた領域となり、その境界を設定することができる。例えば、図１５（Ａ）では外側境界であるＢＯ１と、内側境界であるＢＯ２を設定することになる。

【0143】

この際、構造要素による収縮処理とは、当該構造要素の基準点を非被覆領域の境界上に設定した場合に、非被覆領域と構造要素の重複領域を削る処理となる。例えば、構造要素として円形状の領域を設定し、その基準点を円の中心とした場合には、非被覆領域の境界上に中心を有する円を描き、当該円と非被覆領域とが重なる部分を非被覆領域から除外する処理を行うことになる。具体的には、図１５（Ａ）に示したように、非被覆領域の外側境界ＢＯ１上の点を中心とする円を描き、非被覆領域との重複領域（ここでは、斜線で示した半円形状の領域）を除外する。

【0144】

外側境界ＢＯ１は離散的に処理されることを考えれば複数の点から構成されていることになるため、当該複数の点の各点について上述した処理を行えばよい。一例としては、図１５（Ａ）に示したように境界上の一点を起点として、所与の方向において順次境界ＢＯ１上の点を中心とする円を描き、非被覆領域との重複領域を非被覆領域から除外していけばよい。

【0145】

非被覆領域の境界の一部が判定対象画像の境界と一致する場合等では、非被覆領域の境界は１つの場合も考えられ、その際には当該１つの境界について上述の処理を行えばよい。また、図１５（Ａ）に示したように、非被覆領域の境界としてＢＯ１とＢＯ２の２つが考えられる場合には、それぞれについて上述の処理を行う。具体的には、図１５（Ｂ）に示したように、内側境界ＢＯ２についても、ＢＯ２上に中心を有する円を描き、非被覆領域との重複領域を除外する処理を行い、この処理をＢＯ２を構成する各点について繰り返せばよい。

【0146】

このような収縮処理を行うことで、非被覆領域の面積は小さくなる。例えば、図１５（Ａ）の非被覆領域の左部に着目した場合、図１５（Ａ）で示したＢＯ１での収縮処理、及び図１５（Ｂ）で示したＢＯ２での収縮処理により、非被覆領域は完全に削除され、残留する領域は存在しない。一方、非被覆領域の右下部分に着目した場合、図１５（Ｃ）に示したように、ＢＯ１での収縮処理でもＢＯ２での収縮処理でも除外対象とならずに残存する残留領域ＲＥが生じる。よって、ここでの非被覆領域全体に対して構造要素による収縮処理を行った結果は、図１５（Ｄ）のようになり、残留領域ＲＥが生じることになる。

【0147】

ここで、半径ｒの円を構造要素とした場合の収縮処理の持つ意味について考える。閉じた領域である非被覆領域は、境界（ＢＯ１とＢＯ２のように異なる境界であってもよいし、１つの境界であってもよい）の内側にある領域と考えることができる。この境界について上述の収縮処理を行うことで、非被覆領域に含まれる点のうち、上記境界上の点から距離ｒ以内にある点は削除の対象となる。つまり、削除対象とならなかった残留領域に含まれる点を考えた場合、当該点からは境界上の任意の点までの距離がｒより大きくなるということである。よって、残留領域上の任意の点を中心とする半径ｒの円を描いた場合に、当該円の円周はどの境界とも交差することがない。これは言い換えれば、半径ｒの円で表される注目領域が、残留領域中の点をその中心とすることで、非被覆領域の中に完全に収まってしまうという状況を表す。なお、構造要素として円以外の形状（四角形等）を用いた場合であっても、基本的な考え方は同一である。

【0148】

つまり、残留領域が存在する場合とは、図１５（Ｅ）の右下に示したように、構造要素に対応する領域が非被覆領域に含まれる場合となり、そのような位置に病変部等の注目領域があった場合には、判定対象画像を削除してしまうと、基準画像を残したとしても注目領域を観察できない可能性が生じてしまう。逆に、残留領域が存在しない場合とは、図１５（Ｅ）の左上に示したように、注目領域の少なくとも一部は被覆領域に含まれることになり、判定対象画像を削除したとしても、注目領域の少なくとも一部は基準画像に残すことができる。以上のことより、注目領域見逃し判定部１０１１では、非被覆領域に対して構造要素による収縮処理を行い、残留領域が存在するか否かに基づいて、判定対象画像の削除可否判定を行う。

【0149】

本実施形態の要約区間評価値算出部１００６は、上述の削除可否判定の結果に基づいて要約区間評価値を算出する。具体的には、仮定要約画像と仮定直前要約画像の間の全ての画像が削除可能と判定された場合には、削除可能な画像の枚数（要約区間に含まれる画像枚数）を要約区間評価値とする。一方、仮定要約画像と仮定直前要約画像の間の少なくとも１枚の画像が削除不可と判定された場合には、要約区間評価値として−∞等の十分小さな値を設定する。

【0150】

要約区間評価値の算出後の処理は第１の実施形態と同様である。

【0151】

３．３ 処理の詳細
第２の実施形態の画像要約処理の流れを図１６のフローチャートを用いて説明する。この処理のＳ２０１〜Ｓ２０４については、図４のＳ１０１〜Ｓ１０４と同様である。そして、Ｓ２０４で判定対象画像が選択された後は、図１５（Ａ）〜図１５（Ｅ）を用いて説明したように注目領域の見逃し可能性を判定する。削除可能である（残留領域がない）場合にはＳ２０４に戻る。そして、削除不可（残留領域がある）場合には要約区間評価値として十分小さい値を設定し、Ｓ２０３に戻って仮定直前要約画像の更新処理を行う。

【0152】

Ｓ２０４で選択する画像がない（具体的には、全ての判定対象画像が削除可能である）場合には、仮定要約画像と仮定直前要約画像の間の画像の枚数を要約区間評価値として算出する（Ｓ２０６）。それ以降のＳ２０７〜Ｓ２１０の処理は、図４のＳ１０７〜Ｓ２１０の処理と同様であるため詳細な説明は省略する。

【0153】

３．４ 変形例
なお、構造要素による収縮処理の対象は非被覆領域に限定されるものではない。例えば、図１７（Ａ）に示したように、判定対象画像を対象として構造要素による収縮処理を行ってもよい。この場合、収縮処理により削られる領域内に注目領域が完全に収まってしまわないように設定する（典型的には構造要素として注目領域の２倍のサイズの要素を設定する）ことで、図１７（Ｂ）に示したように、残存領域は基準画像により被覆されることが求められる要被覆領域となる。つまりこの場合、要被覆領域全体が仮定要約画像と仮定直前要約画像の少なくとも一方により被覆されているか否かにより削除可否判定を行えばよく、具体的には図１８に示したように、仮定要約画像と仮定直前要約画像を変形情報により変形して被覆領域を求め、被覆領域と要被覆領域を用いた包含判定を行えばよい。要被覆領域が被覆画像に包含される場合には、判定対象画像は削除可能となり、包含されない部分があれば判定対象画像は削除不可となる。

【0154】

また、構造要素を用いた削除可否判定処理は収縮処理を用いるものに限定されず、非被覆領域に構造要素が含まれるか否かを判定する処理であればよい。例えば、図１９（Ａ）や図１９（Ｂ）に示したように、被覆領域の境界上の点（ｐ１〜ｐ６等）から判定対象画像の境界までの距離（ｋ１〜ｋ６等）、或いは判定対象画像の境界上の点から被覆領域の境界までの距離に基づいて、非被覆領域の最大径に相当する値を求め、求めた値と構造要素（この場合注目領域と同等のサイズ）の最小径との比較処理を行うような、簡易的な手法であってもよい。なお、図１９（Ａ）は判定対象画像が四角形の例、図１９（Ｂ）は判定対象画像が円形状である例を示したものである。

【0155】

また、第１の実施形態で説明した被覆率算出処理と、第２の実施形態で説明した注目領域見逃し可能性判定処理を組み合わせてもよい。例えば、図４のＳ１０５や図１６のＳ２０５に相当する箇所で、被覆率算出処理と注目領域見逃し可能性判定処理の両方を行った上で、図２０に示すような分岐処理を行えばよい。

【0156】

具体的には、被覆率と注目領域の両方の判定において削除可能である場合に、Ｓ１０４に戻り判定対象画像を更新し、全ての画像が削除可能である場合に、Ｓ１０６に移行して被覆率と削除画像枚数を用いて要約区間評価値Ｇを算出する。一方、被覆率と注目領域の少なくとも一方の判定において削除不可である場合には、要約区間評価値として十分小さい値を設定する。また、被覆率による判定で打ち切りとされた場合には、第１の実施形態と同様に処理を打ち切ってもよい。

【0157】

このようにすることで、判定対象画像の削除可否の判定精度を向上させ、より適切な要約画像列を求めることが可能になる。

【0158】

以上、本発明を適用した２つの実施の形態１〜２およびその変形例について説明したが、本発明は、各実施の形態１〜２やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態１〜２や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態１〜２や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。

【符号の説明】

【0159】

Ｅ 累計評価値、Ｇ 要約区間評価値、１００ 処理部、２００ 画像列取得部、
３００ 記憶部、１００１ 変形推定部、１００２ 仮定要約画像選択部、
１００３ 仮定直前要約画像選択部、１００４ 判定対象画像選択部、
１００５ 被覆率算出部、１００６ 要約区間評価値算出部、
１００７ 仮定累計評価値算出部、１００８ 最適直前要約画像決定部、
１００９ 累計評価値更新部、１０１０ 要約画像列決定部、
１０１１ 注目領域見逃し判定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】