特許 6182885 画像処理プログラム及び画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6182885

(24)【登録日】2017年8月4日

(45)【発行日】2017年8月23日

(54)【発明の名称】画像処理プログラム及び画像処理装置

(51)【国際特許分類】

   G06T 3/00 20060101AFI20170814BHJP

   H04N 5/232 20060101ALI20170814BHJP

   H04N 5/225 20060101ALI20170814BHJP

【ＦＩ】

   G06T3/00 755

   H04N5/232

   H04N5/225

【請求項の数】8

【全頁数】22

(21)【出願番号】特願2013-20839(P2013-20839)

(22)【出願日】2013年2月5日

(65)【公開番号】特開2014-153779(P2014-153779A)

(43)【公開日】2014年8月25日

【審査請求日】2016年2月2日

(73)【特許権者】

【識別番号】311001347

【氏名又は名称】ノーリツプレシジョン株式会社

(74)【代理人】

【識別番号】100124039

【弁理士】

【氏名又は名称】立花 顕治

(74)【代理人】

【識別番号】100156845

【弁理士】

【氏名又は名称】山田 威一郎

(74)【代理人】

【識別番号】100124431

【弁理士】

【氏名又は名称】田中 順也

(74)【代理人】

【識別番号】100112896

【弁理士】

【氏名又は名称】松井 宏記

(74)【代理人】

【識別番号】100179213

【弁理士】

【氏名又は名称】山下 未知子

(72)【発明者】

【氏名】中野 智生

(72)【発明者】

【氏名】村田 由紀子

【審査官】 佐藤 実

(56)【参考文献】

【文献】 米国特許出願公開第２００３／００８６５９６（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ３／００

Ｈ０４Ｎ ５／２２５

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

動画に捉えられた対象物の像が重なり合うように、前記動画に含まれる複数のフレーム間の位置調整を行うための画像処理プログラムであって、
前記動画に含まれる複数のフレームに対し、前記対象物の像が重なり合うように位置調整を実行し、当該位置調整に成功した複数のフレームを含むフレームグループを自動的に作成するステップと、
前記フレームグループの位置調整量であるグループ調整量の指定をユーザから受け付けると、前記グループ調整量に応じて、前記フレームグループに含まれる複数のフレームを位置調整するステップと
をコンピュータに実行させる、
画像処理プログラム。

【請求項2】

前記動画に含まれる特定のフレームの位置調整量である個別調整量の指定をユーザから受け付け、前記個別調整量に応じて、前記特定のフレームを個別に位置調整するステップ
をさらにコンピュータに実行させる、
請求項１に記載の画像処理プログラム。

【請求項3】

前記グループ調整量に応じて、前記フレームグループに含まれる複数のフレームを位置調整するステップは、
ユーザが前記グループ調整量を指定する際に参照可能なように、前記動画に含まれる比較フレームと、前記フレームグループに含まれる代表フレームとの合成画像を表示するステップを含む、
請求項１又は２に記載の画像処理プログラム。

【請求項4】

前記フレームグループに関連付けて、前記動画に含まれる基準フレームをユーザに指定させるステップと、
前記基準フレームが所定の位置調整量だけ位置調整されると、前記所定の位置調整量だけ前記フレームグループに含まれる前記複数のフレームを自動的に位置調整するステップと
をさらにコンピュータに実行させる、
請求項１から３のいずれかに記載の画像処理プログラム。

【請求項5】

前記フレームグループを自動的に作成するステップは、
前記動画に含まれる特定のフレーム内で前記対象物の存在するエリアをユーザに指定させるステップと、
前記指定されたエリア内の特徴点を検出するステップと、
前記動画の全体又は一部の中から、前記検出された特徴点と同一又は類似の特徴点を有するフレームを検出するステップと、
前記特定のフレームと前記検出されたフレームとを同じ前記フレームグループに属するものとして関連付けるステップと
を含む、
請求項１から４のいずれかに記載の画像処理プログラム。

【請求項6】

前記動画に含まれる前記位置調整後の複数のフレームを順次再生するステップ
をさらにコンピュータに実行させる、
請求項１から５のいずれかに記載の画像処理プログラム。

【請求項7】

前記位置調整には、前記フレームの移動、回転、拡大、縮小及び歪曲の少なくとも１つを行うことが含まれる、
請求項１から６のいずれかに記載の画像処理プログラム。

【請求項8】

動画に捉えられた対象物の像が重なり合うように、前記動画に含まれる複数のフレーム間の位置調整を行うための画像処理装置であって、
前記動画に含まれる複数のフレームに対し、前記対象物の像が重なり合うように位置調整を実行し、当該位置調整に成功した複数のフレームを含むフレームグループを自動的に作成するグループ作成部と、
前記フレームグループの位置調整量であるグループ調整量の指定をユーザから受け付けると、前記グループ調整量に応じて、前記フレームグループに含まれる複数のフレームを位置調整するグループ調整部と
を備える、画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理プログラム及び画像処理装置に関する。

【背景技術】

【0002】

従来より、特定の対象物の像が重なり合うように、複数の画像間で位置調整を行う多くの画像処理技術が提案されており、様々な用途で使用されている。これらの用途とは、典型的には、画像の比較や鮮鋭化等であるが、その他の例を開示するものとして、特許文献１がある。特許文献１は、術者が、患者の体内に挿入されたワイヤを捉えたＸ線動画を見ながら、ワイヤと血管との相対位置を正確に判断できるようにするための技術を開示している。具体的には、患者の心拍、呼吸、体動等に起因するワイヤの像の動きの影響を取り除くために、ワイヤの像が重なり合うように、Ｘ線動画に含まれる複数のフレーム間で位置調整を行う技術が開示されている。そして、特許文献１では、このような位置調整を行うための最初のステップとして、動画に含まれる各フレームからワイヤの像が自動抽出される。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１１−１５６３２１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

体内のワイヤをＸ線撮影するのであれば、フレームから対象物の像を自動抽出することは比較的容易かもしれない。ワイヤは、体内においては形状が特異な上、背景に写る患者の身体よりもＸ線の吸収量が多く、比較的はっきりと写し出されるからである。しかしながら、対象物の像の自動抽出の精度は、対象物の種類や撮影場所等の撮影条件によっては、大きく低下し得る。さらに、途中で対象物の像の形状や大きさが大きく変化するような場合にも、かかる精度は低下し得る。従って、特許文献１の技術では、対象物の像の自動抽出の精度の低下により、動画に含まれる複数のフレーム間の位置調整の精度も低下する虞がある。

【0005】

本発明は、ユーザの判断を利用しながら、動画に含まれる複数のフレーム間の位置調整を簡易な操作で精度よく行うことを可能にする画像処理プログラム及び画像処理装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の第１観点に係る画像処理プログラムは、動画に捉えられた対象物の像が重なり合うように、前記動画に含まれる複数のフレーム間の位置調整を行うための画像処理プログラムであって、前記動画の一部であって、前記対象物の像が重なり合うように互いに位置調整された複数のフレームを含むフレームグループを自動的に作成するステップと、前記フレームグループの位置調整量であるグループ調整量の指定をユーザから受け付け、前記グループ調整量に応じて、前記フレームグループに含まれる複数のフレームを位置調整するステップとをコンピュータに実行させる。なお、ここで、フレームグループを「自動的に」作成するとは、ユーザから位置調整量の指定を受けることなく、コンピュータが所定のアルゴリズムに従って、自動的にフレームグループを作成することを言う。

【0007】

ここでは、まず、ユーザから位置調整量の指定を受けることなく、フレームグループが自動的に作成される。このフレームグループは、注目している対象物の像が重なり合うように互いに位置調整がされた複数のフレームを要素とするグループである。次に、ユーザから位置調整量の指定を受けて、フレームグループに含まれる複数のフレームがフレームグループ単位で位置調整される。

【0008】

従って、ユーザは、あるフレームグループに自動的に分類されたフレームを、そのフレームグループに自動的に分類されなかったフレームに対し、手動で位置調整することができる。すなわち、自動的な位置調整の限界をユーザの手動操作で補うことができる。さらに、このとき、ユーザは、フレームグループ単位で位置調整量を指定することができるため、ユーザの操作量も少なくて済む。従って、ここでは、ユーザの判断を利用しながら、動画に含まれる複数のフレーム間の位置調整を簡易な操作で精度よく行うことができる。

【0009】

本発明の第２観点に係る画像処理プログラムは、第１観点に係る画像処理プログラムであって、前記動画に含まれる特定のフレームの位置調整量である個別調整量の指定をユーザから受け付け、前記個別調整量に応じて、前記特定のフレームを個別に位置調整するステップをさらにコンピュータに実行させる。なお、ここでいう「特定のフレーム」とは、フレームグループに分類済みのフレームであっても、未分類のフレームであってもよい。

【0010】

ここでは、ユーザは、フレームグループ単位だけでなく、フレーム単位でも、位置調整量を指定することができる。従って、自動的に行われた位置調整の結果がおかしいと感じた場合や、いずれのフレームグループにも分類されておらず位置調整がされていないフレームが存在する場合等に、問題のフレームを位置調整することができる。従って、動画に含まれる複数のフレーム間の位置調整をより精度よく行うことができる。

【0011】

本発明の第３観点に係る画像処理プログラムは、第１観点又は第２観点に係る画像処理プログラムであって、前記グループ調整量に応じて、前記フレームグループに含まれる複数のフレームを位置調整するステップは、ユーザが前記グループ調整量を指定する際に参照可能なように、前記動画に含まれる比較フレームと、前記フレームグループに含まれる代表フレームとの合成画像を表示するステップを含む。なお、「比較フレーム」とは、代表フレームと同じフレームグループに分類されるフレームであっても、異なるフレームグループに分類されるフレームであっても、いずれのフレームグループにも分類されないフレームであってもよい。

【0012】

ここでは、フレームグループ単位での位置調整時に、フレームグループの代表フレームと、この代表フレームと比較されるべきフレーム（比較フレーム）との合成画像がユーザに提示される。ここで、合成画像とは、例えば、代表フレームを半透明にして比較フレームに重ね合わせたような両フレームの平均画像や、代表フレームと比較フレームとの違いのみを表示する差分画像である。従って、ここでは、ユーザが、直観的に比較フレームに対する代表フレームの位置のずれ量を理解することが可能となり、フレームグループの位置調整量を容易に指定することができる。

【0013】

本発明の第４観点に係る画像処理プログラムは、第１観点から第３観点のいずれかに係る画像処理プログラムであって、前記フレームグループに関連付けて、前記動画に含まれる基準フレームをユーザに指定させるステップと、前記基準フレームが所定の位置調整量だけ位置調整されると、前記所定の位置調整量だけ前記フレームグループに含まれる前記複数のフレームを自動的に位置調整するステップとをさらにコンピュータに実行させる。

【0014】

ここでは、ユーザが、フレームグループに対し基準フレームを指定することができる。そして、この基準フレームが位置調整されると、それに伴って、このフレームグループに含まれる複数のフレームも自動的に位置調整される。この機能は、基準フレームとフレームグループとの位置関係を維持するのに役立つ。例えば、あるフレームグループの基準フレームとして、別のフレームグループに含まれるフレームを指定しておいた場合には、その後、後者のフレームグループがフレームグループ単位で位置調整されたとしても、両フレームグループの位置関係を保つことができる。

【0015】

本発明の第５観点に係る画像処理プログラムは、第１観点から第４観点のいずれかに係る画像処理プログラムであって、前記フレームグループを自動的に作成するステップは、前記動画に含まれる特定のフレーム内で前記対象物の存在するエリアをユーザに指定させるステップと、前記指定されたエリア内の特徴点を検出するステップと、前記動画の全体又は一部の中から、前記検出された特徴点と同一又は類似の特徴点を有するフレームを検出するステップと、前記特定のフレームと前記検出されたフレームとを同じ前記フレームグループに属するものとして関連付けるステップとを含む。

【0016】

ここでは、ユーザは、フレームグループの作成に当たり、特定のフレーム内で注目している対象物の存在するエリアを指定することができる。そして、このエリア内の特徴点を基準として、この特定のフレームと同じフレームグループに分類されるべきフレームが判断される。従って、様々な対象物を基準として、フレームグループを作成することができる。

【0017】

本発明の第６観点に係る画像処理プログラムは、第１観点から第５観点のいずれかに係る画像処理プログラムであって、前記動画に含まれる前記位置調整後の複数のフレームを順次再生するステップをさらにコンピュータに実行させる。従って、ここでは、位置調整後の複数のフレームを動画として再生可能である。

【0018】

本発明の第７観点に係る画像処理プログラムは、第１観点から第６観点のいずれかに係る画像処理プログラムであって、前記位置調整には、前記フレームの移動、回転、拡大、縮小及び歪曲の少なくとも１つを行うことが含まれる。

【0019】

本発明の第８観点に係る画像処理装置は、動画に捉えられた対象物の像が重なり合うように、前記動画に含まれる複数のフレーム間の位置調整を行うための画像処理装置であって、前記動画の一部であって、前記対象物の像が重なり合うように互いに位置調整された複数のフレームを含むフレームグループを自動的に作成するグループ作成部と、前記フレームグループの位置調整量であるグループ調整量の指定をユーザから受け付け、前記グループ調整量に応じて、前記フレームグループに含まれる複数のフレームを位置調整するグループ調整部とを備える。ここでは、第１観点と同様の効果を奏することができる。なお、ここで、フレームグループを「自動的に」作成するとは、ユーザから位置調整量の指定を受けることなく、画像処理装置が所定のアルゴリズムに従って、自動的にフレームグループを作成することを言う。

【発明の効果】

【0020】

本発明によれば、まず、ユーザから位置調整量の指定を受けることなく、フレームグループが自動的に作成される。次に、ユーザから位置調整量の指定を受けて、フレームグループに含まれる複数のフレームがフレームグループ単位で位置調整される。従って、ユーザは、あるフレームグループに自動的に分類されたフレームを、そのフレームグループに自動的に分類されなかったフレームに対し、手動で位置調整することができる。すなわち、自動的な位置調整の限界をユーザの手動操作で補うことができる。さらに、このとき、ユーザは、フレームグループ単位で位置調整量を指定することができるため、ユーザの操作量も少なくて済む。従って、ここでは、ユーザの判断を利用しながら、動画に含まれる複数のフレーム間の位置調整を簡易な操作で精度よく行うことができる。

【図面の簡単な説明】

【0021】

【図1】本発明の一実施形態に係る画像処理装置のブロック図。

【図2】画像データが取り込まれる前の基本画面の図。

【図3】画像データが取り込まれた後の基本画面の図。

【図4】１のタイムラインに属する静止画群を示す図。

【図5】自動調整用のタブが選択された状態の位置調整ウィンドウの図。

【図6】自動調整の流れを示すフローチャート。

【図7】エリア指定画面の図。

【図8】特徴点が表示された状態の図７の画面の図。

【図9】自動調整用のタブが選択された状態の位置調整ウィンドウの別の図。

【図10】自動調整用のタブが選択された状態の位置調整ウィンドウのさらに別の図。

【図11】グループ調整用のタブが選択された状態の位置調整ウィンドウの図。

【図12】グループ調整がされる前後の位置データベースを示す図。

【図13】グループ調整用のタブが選択された状態の位置調整ウィンドウの別の図。

【図14】個別調整用のタブが選択された状態の位置調整ウィンドウの図。

【発明を実施するための形態】

【0022】

以下、図面を参照しつつ、本発明の一実施形態に係る画像処理プログラム及び画像処理装置について説明する。
＜１．画像処理装置の概要＞
図１に示す画像処理装置１は、本発明に係る画像処理装置の一実施形態である。画像処理装置１は、汎用のパーソナルコンピュータである。画像処理装置１には、本発明に係る画像処理プログラムの一実施形態である画像処理プログラム２が、これを格納するＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＵＳＢメモリ等のコンピュータが読み取り可能な記録媒体６０等から提供され、インストールされている。画像処理プログラム２は、動画および静止画に対する画像処理を支援するためのアプリケーションソフトウェアである。画像処理プログラム２は、画像処理装置１に後述する動作に含まれるステップを実行させる。

【0023】

画像処理装置１は、ディスプレイ１０、入力部２０、記憶部３０および制御部４０を有する。これらの部１０〜４０は、互いにバス線やケーブル等５を介して接続されており、適宜、通信可能である。ディスプレイ１０は、液晶ディスプレイ等から構成され、後述する画面等をユーザに対し表示する。入力部２０は、マウスおよびキーボート等から構成され、画像処理装置１に対するユーザからの操作を受け付ける。記憶部３０は、ハードディスク等から構成される不揮発性の記憶領域である。制御部４０は、ＣＰＵ、ＲＯＭおよびＲＡＭ等から構成される。

【0024】

画像処理プログラム２は、記憶部３０内に格納されている。記憶部３０内には、ソフトウェア管理領域５０が確保されている。ソフトウェア管理領域５０は、画像処理プログラム２が使用する領域である。ソフトウェア管理領域５０内には、オリジナル画像領域５１および加工ファイル領域５２が確保されている。各領域５１，５２の役割については、後述する。

【0025】

制御部４０は、記憶部３０内に格納されている画像処理プログラム２を読み出して実行することにより、仮想的に画像処理部４１及び表示制御部４５として動作する。特に、画像処理部４１は、後述する位置調整処理が実行される場合には、自動調整部４２、グループ調整部４３及び個別調整部４４として動作する。各部４１〜４５の動作については、後述する。

【0026】

＜２．画像処理装置の構成および動作の詳細＞
制御部４０は、ユーザが入力部２０を介して所定の操作を行ったことを検知すると、画像処理プログラム２を起動する。画像処理プログラム２が起動されると、基本画面Ｗ１（図２参照）がディスプレイ１０上に表示される。なお、ディスプレイ１０上に表示される画面、ウィンドウ、ボタンその他の全ての要素の表示は、表示制御部４５により制御される。

【0027】

＜２−１．画像データの取込み＞
基本画面Ｗ１は、オリジナル画像領域５１への画像データの取込みの命令をユーザから受け付ける。オリジナル画像領域５１へ取り込まれた画像データは、後述する再生処理及び画像処理の対象になる。制御部４０は、静止画ファイル又は動画ファイルから、オリジナル画像領域５１へ画像データを取り込む。なお、本明細書において、静止画ファイルとは、静止画形式のデータファイルであり、動画ファイルとは、動画形式のデータファイルである。

【0028】

静止画ファイルから画像データを取り込む場合、ユーザは、入力部２０を操作することにより、１の静止画ファイルを指定するか、又は１のフォルダを指定する。前者の場合、制御部４０は、その静止画ファイルの記憶部３０内のアドレスパスおよびファイル名をユーザに入力させる。後者の場合、制御部４０は、そのフォルダの記憶部３０内のアドレスパスおよびフォルダ名をユーザに入力させる。その後、制御部４０は、指定された静止画ファイル又は指定されたフォルダ内の全ての静止画ファイルを、オリジナル画像領域５１に静止画ファイル群として保存する。なお、本明細書において、「群」という場合には、その要素数は複数とは限らず、１つであってもよい。

【0029】

一方、動画ファイルから画像データを取り込む場合、ユーザは、入力部２０を操作することにより、１の動画ファイルの記憶部３０内のアドレスパスおよびファイル名を入力する。表示制御部４５は、ユーザが動画ファイルを指定したことを検知すると、基本画面Ｗ１上に動画取込みウィンドウ（図示されない）を重ねて表示させる。動画取込みウィンドウは、指定された動画ファイルのタイムラインの全区間うち、任意の区間の選択をユーザから受け付ける。制御部４０は、ユーザが入力部２０を介して特定の区間を選択したことを検知すると、指定された動画ファイルのその区間に含まれるフレーム群に１対１で対応する静止画ファイル群を生成する。その後、制御部４０は、この静止画ファイル群をオリジナル画像領域５１に保存する。従って、本実施形態では、後述する再生処理及び画像処理の対象となる画像データは、動画ファイルではなく、静止画ファイルである。

【0030】

なお、制御部４０は、オリジナル画像領域５１へ取り込まれた静止画ファイル群が動画ファイルに由来するものではなく、静止画ファイルに由来するものであっても、静止画ファイル群をタイムラインに沿って配列されているものと認識する。配列は、ファイルの属性（ファイル名、作成日時、更新日時等）から自動的に判断される。

【0031】

＜２−２．静止画ファイル群の再生処理＞
オリジナル画像領域５１へ静止画ファイル群が取り込まれると、表示制御部４５は、基本画面Ｗ１上に表示ウィンドウＷ２（図３参照）を重ねて表示させる。表示ウィンドウＷ２は、オリジナル画像領域５１へ取り込まれた静止画ファイル群のタイムラインの数だけ作成される。

【0032】

表示ウィンドウＷ２内には、まず、オリジナル画像領域５１へ取り込まれた静止画ファイル群に含まれる１の静止画ファイル（例えば、タイムライン上で先頭のフレームの静止画ファイル）が表示される。その後、後述するとおり、表示ウィンドウＷ２内に表示されるフレームは、ユーザの操作を受けて切り替わる。

【0033】

表示制御部４５は、表示ウィンドウＷ２内で、その表示ウィンドウＷ２に対応するタイムラインに属するフレーム群を、動画として再生可能である。ここで、図３に示すとおり、基本画面Ｗ１上には、ウィンドウ選択プルダウンメニューＴ１、再生ボタンＴ２、コマ送りボタンＴ３、コマ戻しボタンＴ４およびタイムラインバーＴ５が配置されている。

【0034】

表示ウィンドウＷ２が複数存在する場合であっても、アクティブな表示ウィンドウＷ２は１つである。ウィンドウ選択プルダウンメニューＴ１は、どの表示ウィンドウＷ２をアクティブとするかの選択をユーザから受け付ける。以下、アクティブな表示ウィンドウＷ２に対応するタイムラインを、アクティブタイムラインと呼び、アクティブタイムラインに属するフレーム群を、アクティブフレーム群と呼ぶ。また、アクティブな表示ウィンドウＷ２内に現在表示されているフレームを、アクティブ表示フレームと呼ぶ。

【0035】

再生ボタンＴ２は、アクティブフレーム群の動画としての再生の命令をユーザから受け付ける。表示制御部４５は、ユーザが入力部２０を介して再生ボタンＴ２を押下したことを検知すると、アクティブな表示ウィンドウＷ２内に、アクティブフレーム群に含まれるフレームを、タイムラインに沿って順次コマ送りの形式で表示させる。なお、再生は、再生ボタンＴ２が押下された時点のアクティブ表示フレームから開始する。また、再生ボタンＴ２は、再生の停止の命令をユーザから受け付ける。表示制御部４５は、再生中にユーザが入力部２０を介して再生ボタンＴ２を押下したことを検知すると、アクティブな表示ウィンドウＷ２内の表示を、その時点のアクティブ表示フレームに固定する。

【0036】

コマ送りボタンＴ３、コマ戻しボタンＴ４はそれぞれ、アクティブ表示フレームを、アクティブタイムラインに沿って１つ後、１つ前のフレームへ切り替える命令をユーザから受け付ける。

【0037】

タイムラインバーＴ５は、アクティブタイムラインを図式的に示すオブジェクトである。タイムラインバーＴ５は、そのバーが延びる方向に、アクティブフレーム群のフレーム数で等分に分割されている。タイムラインバーＴ５上の左からｎ番目の分割領域は、アクティブタイムライン上でｎ番目のフレームに対応する（ｎは、自然数）。

【0038】

図３に示すように、タイムラインバーＴ５は、選択フレーム群に対応する分割領域Ａ１と、非選択フレーム群に対応する分割領域Ａ２とを異なる態様で表示する。選択フレーム群とは、アクティブタイムライン上で現在選択されている区間に対応するフレーム群である。非選択フレーム群とは、アクティブタイムライン上で現在選択されていない区間に対応するフレーム群である。

【0039】

タイムラインバーＴ５は、アクティブタイムライン上の任意の区間の選択をユーザから受け付ける。言い換えると、ユーザは、入力部２０を介してタイムラインバーＴ５上の分割領域を操作することにより、アクティブフレーム群の中から、任意のフレームを任意の数だけ選択することができる。画像処理部４１は、選択フレーム群を後述される画像処理の対象として認識する。なお、ユーザによりタイムラインバーＴ５上の分割領域が選択される度に、アクティブ表示フレームは、最新に選択された分割領域に対応するフレームに切り替わる。

【0040】

＜２−３．画像処理＞
以下、選択フレーム群に対する画像処理について説明する。画像処理部４１は、ノイズ除去、シャープネス、明るさ／コントラスト／彩度調整、画像解像度、回転、文字／矢印／モザイクの付加、画像平均、位置調整処理などの複数の画像処理モジュールを実行可能である。画像処理モジュールは、画像処理プログラム２に組み込まれている。

【0041】

ユーザは、入力部２０を介して基本画面Ｗ１を操作することにより、画像処理モジュールの中から任意のものを、任意の順番に、任意の回数だけ選択することが可能である。画像処理部４１は、ユーザが画像処理モジュールを選択したことを検知する度に、選択フレーム群に対しその画像処理モジュールを実行する。

【0042】

フレームに対し画像処理モジュールが１回、２回、３回，・・・と、順次実行されてゆくにつれて、そのフレームは、第１次、第２次、第３次，・・・と、順次加工されてゆく。第０次フレームは、オリジナル画像領域５１に保存されている静止画ファイルに対応する。第（ｍ＋１）次フレームは、第ｍ次フレームに対応する静止画ファイルに対し画像処理モジュールを１回実行した後の静止画ファイルに対応する（ｍは、０以上の整数）。画像処理部４１は、第１次以降のフレームに対応する静止画ファイルを順次生成し、これらの静止画ファイルを加工ファイル領域５２内にそれぞれ別個に保存する。

【0043】

図４は、１のタイムラインに属する静止画群が画像処理プログラム２によりどのように管理されるかを示す概念図である。図４において、横軸のＮ軸は、タイムライン上のフレームの順番を示しており、縦軸のＭ軸は、加工の順番を示している。図４のＮ−Ｍ空間内の座標（ｎ，ｍ）に対応する四角形は、静止画Ｉ（ｎ，ｍ）を表している。静止画Ｉ（ｎ，ｍ）は、タイムライン上でｎ番目のフレームの第ｍ次の静止画である（ｎは、自然数であり、ｍは、０以上の整数である）。

【0044】

制御部４０は、各フレームについて、現在選択されている座標ｍの値をパラメータｍ_sとして管理する。オリジナル画像領域５１へ静止画ファイル群が取り込まれた直後、座標ｍ_sは、初期値０である。その後、画像処理モジュールが１回実行される度に、そのフレームの座標ｍ_sは１ずつインクリメントされる。また、ユーザは、入力部２０を介して所定の操作を行うことにより、選択フレーム群の座標ｍ_sを自在に変更することができる。なお、フレームに対し画像処理モジュールを実行するとは、そのフレームの第ｍ_s次の静止画に対し画像処理モジュールを実行することである。従って、座標ｍ_sを変更することには、画像処理モジュールの実行の対象を変更するという意味がある。また、フレームを表示するとは、そのフレームの座標ｍ_sの静止画を表示することである。従って、座標ｍ_sを変更することには、アクティブな表示ウィンドウＷ２内に表示される対象を変更するという意味もある。

【0045】

＜２−３−１．位置調整処理＞
以下、画像処理プログラム２に実装されている画像処理の１つである、位置調整処理について説明する。位置調整処理とは、動画に捉えられた対象物の像が重なり合うように、その動画に含まれる複数のフレーム間の位置調整を行う処理である。本処理は、ユーザにより自動調整、グループ調整及び個別調整の３つのフェーズが適宜組み合わせられることにより実現される。

【0046】

自動調整は、ユーザから具体的な位置調整量の指定を受けることなく、自動調整部４２が所定のアルゴリズムに従って、選択フレーム群の全部又は一部に相当する複数のフレームを自動的に互いに位置調整するフェーズである。なお、「位置調整量」とは、狭義には、フレームの移動量を表すパラメータであるが、この語には、広義には、フレームの変形量を表すパラメータも含まれる。本実施形態における位置調整量には、フレームの移動量を表す、Ｘ軸及びＹ軸方向の平行移動量（ピクセル単位）及びＺ軸回りの回転量（°）の他、フレームの変形量を表す、Ｘ軸及びＹ軸方向の拡大及び縮小量（％）も含まれる。ここで、Ｘ軸及びＹ軸は、それぞれフレームの画面内の横軸及び縦軸であり、Ｚ軸は、Ｘ軸及びＹ軸の交点を通り、フレームの画面に直交する方向である。ここでの位置調整は、複数のフレーム間で、対象物の像が重なり合うように行われる。また、この自動調整により、互いに位置調整された複数のフレームを含むフレームグループが作成される。

【0047】

グループ調整は、グループ調整部４３により実現され、ユーザから具体的な位置調整量の指定を受けて、自動調整の結果作成されたフレームグループに含まれる複数のフレームをフレームグループ単位で位置調整するフェーズである。ここで、自動調整によりフレームグループが作成された時点で、そのフレームグループに属する全てのフレームは、互いに位置調整されている。従って、その後のグループ調整時には、既に位置調整されているこれらのフレーム間の相対位置が維持されるように、これらのフレームが全て均一に位置調整される。

【0048】

個別調整は、個別調整部４４により実現され、ユーザから具体的な位置調整量の指定を受けて、選択フレーム群に含まれる任意のフレームを個別に位置調整するフェーズである。この個別調整により、ユーザは、自動調整の結果がおかしいと感じた場合や、いずれのフレームグループにも分類されておらず位置調整がされていないフレームが存在する場合等に、問題のフレームをフレーム単位で位置調整することができる。よって、個別調整は、自動調整後の微調整や、自動調整に漏れたフレームの位置調整等に利用される。

【0049】

すなわち、グループ調整及び個別調整は、それぞれグループ単位及びフレーム単位で、自動調整で互いに位置調整されなかったフレームどうしを、手動で強制的に位置調整するための処理である。

【0050】

画像処理部４１は、ユーザが入力部２０を介して所定の操作を行ったことを検知すると、位置調整処理を開始させる。位置調整処理が開始されると、表示制御部４５は、まず、基本画面Ｗ１上に位置調整ウィンドウＷ３（図５参照）を重ねて表示させる。なお、位置調整処理の対象となるのは、上記のとおり、この処理の開始が命令された時点の選択フレーム群であるが、この処理の実行には、複数のフレームが必要となる。従って、選択フレーム群としてフレームが１枚しか選択されていない状態では、位置調整処理の開始のための操作ボタン等が無効化されており、この処理を開始させることができないものとする。あるいは、選択フレーム群としてフレームが１枚しか選択されていない状態では、アクティブタイムライン上に複数枚のフレームが存在していることを条件として、アクティブタイムライン上の全てのフレームを、位置調整処理の対象とすることもできる。

【0051】

図５に示すとおり、位置調整ウィンドウＷ３内には、常時、切り替え選択が可能な３つのタブＣ１〜Ｃ３が配置されている。表示制御部４５は、ユーザがこれらのタブＣ１〜Ｃ３を選択したことを検知すると、位置調整ウィンドウＷ３内にそれぞれタブ画面Ｄ１〜Ｄ３（図５、図１１及び図１４等参照）を表示させる。タブ画面Ｄ１〜Ｄ３は、それぞれ自動調整（タブＣ１には、「一括調整」と表記されている）、グループ調整及び個別調整用の画面である。以下、自動調整、グループ調整及び個別調整の詳細について説明する。

【0052】

＜２−３−１−１．自動調整＞
自動調整用のタブ画面Ｄ１内には、表Ｅ１、一括調整ボタンＥ２及びクリアボタンＥ３が配置されている。表Ｅ１に含まれる行は、位置調整処理の対象となる選択フレーム群に含まれるフレームに１対１で対応している。表Ｅ１は、「対象フレーム」欄及び「基準グループ」欄を有する一覧表であり、「対象フレーム」欄には、対応するフレームのフレームＩＤ（名称）が表示され、「基準グループ」欄には、対応するフレームの属するフレームグループのグループＩＤ（名称）が表示される。従って、「基準グループ」欄は、対応するフレームがいずれのフレームグループにも分類されていない状態では、空欄となる。なお、ソフトウェア管理領域５０内には、この表Ｅ１と同様のデータを格納するグループデータベース５３が定義されており、このグループＤＢ５３を参照することにより、表Ｅ１が形成される。

【0053】

ユーザが、表Ｅ１に含まれる任意の１の行をクリック等の操作により選択した状態で、一括調整ボタンＥ２を押すと、その旨が自動調整部４２により検知され、図６に示す自動調整が開始する。自動調整部４２は、まず、一括調整ボタンＥ２が押された時点で表Ｅ１内で選択されていた行に対応するフレーム（以下、自動調整の説明において、選択フレーム）を特定する（ステップＳ１）。続いて、表示制御部４５は、位置調整ウィンドウＷ３とともに、ステップＳ１で特定された選択フレームを表示する画面Ｄ４（図７参照）を基本画面Ｗ１上に重ねて表示する（ステップＳ２）。この画面Ｄ４は、選択フレーム内で、位置調整を行う基準となる対象物の存在するエリアの指定をユーザから受け付ける画面である。

【0054】

ユーザが、この画面Ｄ４上で、マウス等の操作により選択フレーム内の任意のエリアを指定（再指定を含む）すると、その旨が自動調整部４２により検知され、処理はステップＳ５に進む（ステップＳ３でＮＯの後、ステップＳ４でＹＥＳ）。なお、図７に示すように、画面Ｄ４上の選択フレーム内では、ユーザにより指定されたエリアを示す囲み線Ｅ６が表示される。

【0055】

ステップＳ５では、自動調整部４２は、ユーザにより選択フレーム内で最新に指定されたエリア内の特徴点を抽出する。特徴点の種類としては、エッジやエッジどうしの交点（コーナー）等、様々なものが公知であり、また、それらの検出のアルゴリズムとしても、様々なものが公知であるため、ここでは、詳細な説明を省略する。なお、図８に示すように、ステップＳ５で検出された特徴点は、ユーザが、画面Ｄ４上で「特徴点表示」エリアＥ７にチェックを入れている場合には、ステップＳ５の実行後、画面Ｄ４上の囲み線Ｅ６内に強調表示される。これにより、ユーザは、注目している対象物が画像処理装置１により正しく認識されているか否かを確認することができる。

【0056】

ステップＳ５で特徴点が検出された状態で、ユーザにより画面Ｄ４上のＯＫボタンＥ４が押されると、その旨が自動調整部４２により検知され、処理はステップＳ７に進む（ステップＳ６でＹＥＳ）。また、このとき、図６には示されていないが、画面Ｄ４が閉じられる。なお、画面Ｄ４上のＯＫボタンＥ４は、特徴点が検出されていない状態では無効化されており、押すことができないものとする。

【0057】

ステップＳ７では、自動調整部４２は、選択フレーム群に含まれるフレームの中から、ステップＳ５で検出された特徴点と同一又は類似の特徴点を有する１又は複数のフレーム（以下、類似フレーム）を検出する。なお、特徴点が同一又は類似であることには、複数の特徴点の配置パターンが同一又は類似であることが含まれるものとする。また、選択フレーム群のうち、このような類似フレームを検出するためのスキャンの対象となるフレームは、当業者により適宜選択され得る。例えば、選択フレーム群に含まれる全てのフレームのうち、いずれのフレームグループにも分類されていないフレームのみをスキャンしてもよいし、選択フレーム群に含まれる全てのフレームを総当たりでスキャンしてもよいし、或いは別のルールに従って選択されるフレーム群をスキャンしてもよい。また、選択フレーム群に含まれるフレームのうち、類似フレームが存在すると考えられる場所は、ある程度予想することができる。従って、類似フレームの存在する可能性が高い場所のフレーム群のみを、ここでのスキャンの対象としてもよい。例えば、類似フレームは、一般的に、選択フレームの近傍ほど検出され易く、遠くなるほど検出されにくくなる。従って、選択フレーム群に含まれるフレームを選択フレームからタイムラインに沿って前後にスキャンしてゆく過程で、同じ方向に所定の枚数以上連続して類似フレームが出現しなかった場合には、その時点でスキャンを打ち切るようにしてもよい。

【0058】

ステップＳ７に続くステップＳ８では、自動調整部４２は、選択フレーム及びステップＳ７で検出された全ての類似フレームを要素とし、選択フレームを代表フレームとするフレームグループを作成する。具体的には、自動調整部４２は、選択フレーム及び全ての類似フレームのフレームＩＤ（名称）をフレームグループのフレームＩＤ（名称）に関連付ける情報をグループＤＢ５３に格納する。なお、ここでは、フレームグループのグループＩＤとして、代表フレームのフレームＩＤが用いられる。従って、この後、グループＤＢ５３に格納されているこの情報を参照すれば、代表フレーム及び全ての類似フレームが、代表フレームのフレームＩＤで特定されるフレームグループに属していることが分かる。よって、この情報を格納する処理は、選択フレームと全ての類似フレームとを、同じフレームグループに属するものとして関連付ける処理であると言える。

【0059】

ここで、選択フレーム及びステップＳ７で検出された全ての類似フレームは、同一又は類似の特徴点を有するフレーム群であるから、これらの特徴点が重なり合うように位置調整をすることが可能である。ステップＳ８では、自動調整部４２は、ステップＳ７で検出された各類似フレームについて、これらの特徴点が最もうまく重なり合うように、類似フレームを選択フレームに対して位置調整する位置調整量を算出する。具体的な方法としては、例えば、各特徴点について、類似フレーム及び選択フレーム上の当該特徴点間の距離を算出し、全ての特徴点についてのこの距離の総和が最小になるような類似フレームの位置を導出するという方法が考えられる。ここで、ソフトウェア管理領域５０内には、選択フレーム群に含まれる各フレームに対し、そのフレームの位置調整量を格納する位置データベース５４が定義されている。自動調整部４２は、ここで算出した類似フレームの位置調整量を位置ＤＢ５４内に格納する。

【0060】

Ｓ７，Ｓ８の実行中は、ステップＳ７の開始前に閉じられた画面Ｄ４の代わりに、ステップＳ７、Ｓ８の進捗状況を表示するダイアログボックスが表示される。そして、Ｓ８が終了すると、図６に示す自動調整が終了する。なお、図６から分かることであるが、画面Ｄ４上でキャンセルボタンＥ５が押された場合にも、画面Ｄ４が閉じられ、図６の自動調整が終了する。この場合には、フレームグループの作成は、行われない。また、図６には示されていないが、ステップＳ７で類似フレームが１枚も検出されなかった場合には、その旨を示すメッセージ画面が表示され、ステップＳ８がスキップされるとともに、画面Ｄ４が閉じられ、図６の自動調整が終了する。

【0061】

フレームグループの作成に成功し、図６の処理が終了すると、この処理の結果が、自動調整用のタブ画面Ｄ１に反映される（図９参照）。図９の例でいうと、「基準グループ」欄に「00:00:00.40」が表示されている６枚のフレームが、「00:00:00.40」をフレームＩＤ（名称）とするフレームグループに分類されていることが分かる。図１０は、「00:00:00.40」及び「00:00:02.00」のフレームグループが作成された後のタブ画面Ｄ１を示している。なお、上述したことから分かることであるが、本実施形態では、原則として、異なるフレームグループ間で要素となるフレームは重複しないが、代表フレームのみ重複する場合がある。

【0062】

また、位置調整ウィンドウＷ３上のクリアボタンＥ３は、上述の処理による位置調整の効果をキャンセルするためのボタンである。具体的には、自動調整部４２は、ユーザによりクリアボタンＥ３が押下された時点の選択フレームについて、位置調整量をデフォルト値（位置調整が全くされていない状態の値）に戻し、フレームグループに未分類となるように、グループＤＢ５３及び位置ＤＢ５４内の値を更新する。また、自動調整部４２は、代表フレームが選択された状態でクリアボタンＥ３が押下された場合には、その代表フレームに対応するフレームグループに属する全てのフレームを、同様に処理する。

【0063】

＜２−３−１−２．グループ調整＞
続いて、グループ調整について説明する。グループ調整は、上述のとおり、同じフレームグループに含まれる全てのフレーム間の相対位置が維持されるように、これらのフレームをフレームグループ単位で均一に位置調整する処理である。グループ調整は、位置調整ウィンドウＷ３上に表示されるタブ画面Ｄ２を介して実行される（図１１参照）。

【0064】

図１１に示すとおり、タブ画面Ｄ２内には、グループＤＢ５３内に登録されているフレームグループの一覧を示すリストＦ１が配置されている。ここでは、「00:00:00.40」「00:00:02.00」及び「00:00:03.60」の３つのフレームグループが作成されている場合が示されている。グループ調整部４３は、リストＦ１を介して、グループＤＢ５３内に登録されているフレームグループの中から、フレームグループ単位での位置調整を実行する対象となる任意のフレームグループの指定をユーザから受け付ける。タブ画面Ｄ２内には、基準グループエリアＦ２及びグループ調整量エリアＦ３も配置されている。

【0065】

グループ調整部４３は、グループ調整量エリアＦ３を介して、リストＦ１内で現在選択されているフレームグループ（以下、選択グループ）の位置調整量（以下、グループ調整量）の指定をユーザから受け付ける。具体的には、グループ調整量エリアＦ３には、選択グループの代表フレームの位置調整量が表示されており、ユーザは、入力部２０を介して所定の操作を行うことにより、この値を適宜変更することができる。グループ調整部４３は、ユーザがグループ調整量エリアＦ３を介して選択グループの代表フレームの位置調整量を変更したことを検知すると、その変更の内容を位置ＤＢ５４内の位置調整量の値に反映する。より具体的は、グループ調整部４３は、ユーザにより指定された選択グループの代表フレームの位置調整量の変更量を検知し、位置ＤＢ５４内において、選択グループに属する全てのフレームの位置調整量をその変更量だけ一律に変更する。例えば、図１２の上側に示されている状態は、Ｘ軸及びＹ軸方向の平行移動量、Ｚ軸回りの回転量、Ｘ軸及びＹ軸方向の拡大及び縮小量についての選択グループの代表フレームの変更量がそれぞれ、0.100, 0.020, 1.100, 1.030, -0.020であったとすると、図１２の下側に示されている状態になる。ただし、「00:00:00.40」が代表フレーム、「00:00:00.53」「00:00:00.66」「00:00:00.80」は、「00:00:00.40」と同じフレームグループに属するフレームであるものとする。その結果、グループ調整では、選択グループに含まれる全てのフレーム間の相対位置が維持される。

【0066】

なお、本実施形態では、位置ＤＢ５４内に格納されている各フレームの位置調整量とは、そのフレームが全く位置調整されていない状態からの、そのフレームの位置調整量である。この意味で、本実施形態における位置ＤＢ５４内の各フレームの位置調整量とは、絶対的な位置調整量であり、そのフレームが属するフレームグループの代表フレーム等、他のフレームに対する相対的な位置調整量ではない。しかしながら、他の実施形態では、代表フレーム等、基準となるフレームを特定する情報とともに、その基準となるフレームに対する相対的な位置調整量を格納しておき、適宜、基準となるフレームの位置調整量から絶対的な位置調整量を算出するようにしてもよい。この場合、基準となるフレームがさらに基準となるフレームに関連付けられている場合には、これらの親子関係にあるフレーム間の相対的な位置調整量を順次加算することにより、絶対的な位置調整量を算出することができる。

【0067】

また、グループ調整部４３は、基準グループエリアＦ２を介して、グループＤＢ５３内に登録されているフレームグループの中から、選択グループに対する任意のフレームグループの指定をユーザから受け付ける。ここで指定されたフレームグループは、選択グループの基準となるフレームグループ（以下、基準グループ）となる。詳細は後述されるが、選択グループに対する基準グループの設定は、あるフレームグループ（選択グループ）を別のフレームグループ（基準グループ）に対し位置調整するのに役立つ。なお、基準グループとして、選択グループ自体を選択することも可能である。また、各フレームグループの基準グループのデフォルト値は、そのフレームグループ自体である。なお、図１３に示すように、選択グループに対し基準グループが選択されると、リストＦ１内において、基準グループのグループＩＤが選択グループのグループＩＤに関連付けて右側に表示される。また、ここで設定される基準グループの情報は、グループＤＢ５３内で管理される。具体的には、選択グループの代表フレームに対応する行の「基準グループ」欄に、基準グループの代表フレームのフレームＩＤが格納される。ここで、グループＤＢ５３内の情報は、上述の表Ｅ１の表示に連動している。従って、上記では、表Ｅ１の「基準グループ」欄には、対応するフレームの所属先となるフレームグループのグループＩＤ（すなわち、代表フレームのフレームＩＤ）が表示されると説明したが、代表フレームに基準グループが選択されている場合には、その代表フレームに対応する行の「基準グループ」欄には、その代表フレームのフレームＩＤではなく、基準グループの代表フレームのフレームＩＤが格納される。

【0068】

図１３に示すとおり、位置調整ウィンドウＷ３上には、タブ画面Ｄ２とともに、プレビュー選択エリアＣ４及び合成指定エリアＣ５が配置されている。ここで、タブ画面Ｄ２が表示されている間、タブ画面Ｄ２と同時に表示されているアクティブな表示ウィンドウＷ２内には、選択グループの代表フレームが表示される。プレビュー選択エリアＣ４は、アクティブな表示ウィンドウＷ２内に表示される選択グループの代表フレームを、位置調整を全く行っていない状態の画像とするか、現在までに行われた位置調整後の画像とするかの選択をユーザから受け付ける。ここで、現在までに行われた位置調整の量は、位置ＤＢ５４内に格納されている絶対的な位置調整量により表される。そして、表示制御部４５は、ユーザがプレビュー選択エリアＣ４にチェックを入れている状態では、アクティブな表示ウィンドウＷ２内に、現在までに行われた位置調整後の選択グループの代表フレーム（以下、調整後代表フレーム）をプレビューさせる。ユーザは、アクティブな表示ウィンドウＷ２内に表示される調整後代表フレームを参照することにより、適切なグループ調整量を容易に判断することができるようになる。

【0069】

合成指定エリアＣ５は、プレビュー選択エリアＣ４にチェックが入っている間のみ有効化されるエリアである。このエリアＣ５は、アクティブな表示ウィンドウＷ２内にプレビューされる調整後代表フレームを、他の画像との合成画像とするか否か、さらに合成画像とする場合には、どのような画像との合成画像とするかの選択をユーザから受け付ける。ここで、表示制御部４５は、合成指定エリアＣ５内で「なし」が選択されている状態では、アクティブな表示ウィンドウＷ２内に調整後代表フレームをそのまま表示する。一方、「基準」が選択されている状態では、調整後代表フレームと、現在までに行われた位置調整後の選択グループの基準グループの代表フレーム（比較フレーム）との合成画像を表示する。なお、選択グループに対し基準グループが設定されていない状態では、合成指定エリアＣ５内の「基準」の文字の横に「（無効）」の文字が表示され（図１１等参照）、アクティブな表示ウィンドウＷ２内には、調整後代表フレームがそのまま表示される。また、合成指定エリアＣ５内で「直前」が選択されている状態では、調整後代表フレームと、アクティブタイムライン上で選択グループの代表フレームの直前の所定の個数のフレームであって、現在までに行われた位置調整後のもの（比較フレーム）との合成画像を表示する。また、合成指定エリアＣ５内で「周辺」が選択されている状態では、調整後代表フレームと、アクティブタイムライン上で選択グループの代表フレームの前後の所定の個数のフレームであって、現在までに行われた位置調整後のもの（比較フレーム）との合成画像を表示する。

【0070】

ここで、本実施形態における合成画像とは、平均画像又は差分画像である。平均画像は、調整後代表フレームを半透明にして、比較フレームに重ね合わせたような画像である。一方、差分画像は、代表フレームと比較フレームとの違いのみを表示するような画像である。従って、このような合成画像を見たユーザは、両画像の位置のずれを直感的に理解することができる。合成指定エリアＣ５は、平均画像又は差分画像のいずれをプレビューするかの選択をユーザから受け付ける。表示制御部４５は、合成指定エリアＣ５内で「差分」にチェックが入っている状態では、比較フレームと調整後代表フレームとの差分画像を表示し、チェックが入っていない状態では、平均画像を表示する。

【0071】

以上のグループ調整の機能によれば、ユーザは、複数のフレームグループ間の位置調整を容易に行うことができる。すなわち、まず、ユーザは、リストＦ１内に表示されている複数のフレームグループ間の親子関係を設定する。ここでいう親子関係とは、フレームグループ間での基準グループの設定関係であり、あるフレームグループを子グループとした場合に、その子グループに対する基準グループが親グループとなる。もちろん、ユーザは、ここでいう親子関係として、孫グループや曾孫グループや兄弟グループを設定してもよい。そして、ユーザは、エリアＣ４，Ｃ５内で「プレビュー」及び「基準」を選択することにより、調整後代表フレームと、現在までに行われた位置調整後の基準グループの代表フレームとの合成画像を、アクティブな表示ウィンドウＷ２内にプレビューさせる。平均画像が表示されている状態であれば、平均画像上で注目している対象物の像どうし（調整後代表フレーム及び比較フレームに由来する像どうし）がうまく重なり合うようなグループ調整量を判断し、これをグループ調整量エリアＦ３に入力する。一方、差分画像が表示されている状態であれば、差分画像上で注目している対象物が消えるようなグループ調整量を判断し、これをグループ調整量エリアＦ３に入力する。なお、ユーザがグループ調整量の変更を指定する度に、位置ＤＢ５４内の位置調整量はリアルタイムに更新され、同時に、アクティブな表示ウィンドウＷ２内にプレビューされる合成画像も、最新の位置調整量に基づくものにリアルタイムに更新される。従って、ユーザは、様々なグループ調整量を試しながら、その効果を目で確認しつつ、最終的に平均画像上で注目している対象物が最もうまく重なり合う、又は差分画像上で注目している対象物が最も消えるような最適なグループ調整量に達することができる。

【0072】

なお、自動調整によりフレームグループが作成された時点で、そのフレームグループに属する全てのフレーム間の相対位置は判明している。従って、その後、異なるフレームグループから少なくとも１枚ずつ選択されるフレームどうしの相対位置が判明すれば、これらのフレームグループに属する全てのフレーム間の相対位置も判明することになる。従って、グループ調整において、ユーザが手動で、選択グループの代表フレームを基準グループの代表フレームに対し位置調整することにより、両グループに属する全てのフレームが互いに位置調整されることになる。

【0073】

また、本実施形態では、複数のフレームグループ間で親子関係が設定されている場合において、先祖側のフレームグループがグループ調整により位置調整されると、これに併せて、その子孫となる全てのフレームグループも位置調整される。すなわち、グループ調整部４３は、グループ調整量エリアＦ３内で選択グループに対するグループ調整量が変更される度にその変更量を検知し、位置ＤＢ５４内において、選択グループに属する全てのフレームの位置調整量だけでなく、選択グループの子孫グループに属する全てのフレームの位置調整量を、その変更量だけ一律に変更する。その結果、グループ調整では、選択グループ及びその子孫グループに含まれる全てのフレーム間の相対位置が維持される。

【0074】

＜２−３−１−３．個別調整＞
次に、個別調整について説明する。個別調整は、上述のとおり、選択フレーム群に含まれる任意のフレームをフレーム単位で個別に位置調整する処理である。すなわち、グループ調整のように、特定のフレームの位置調整が他のフレームの位置調整に連動しない。個別調整は、位置調整ウィンドウＷ３上に表示されるタブ画面Ｄ３を介して実行される（図１４参照）。

【0075】

図１４に示すとおり、タブ画面Ｄ３内には、タブ画面Ｄ１内と同様に、表Ｅ１が表示される。個別調整部４４は、表Ｅ１を介して、選択フレーム群の中から、フレーム単位での位置調整を実行する対象となる任意のフレームの指定をユーザから受け付ける。また、タブ画面Ｄ３内には、グループエリアＧ２及び個別調整量エリアＧ３も配置されている。

【0076】

個別調整部４４は、個別調整量エリアＧ３を介して、表Ｅ１内でユーザにより現在選択されているフレーム（以下、個別調整の説明において、選択フレーム）の位置調整量（以下、個別調整量）の指定をユーザから受け付ける。具体的には、個別調整量エリアＧ３には、選択フレームの位置調整量が表示されており、ユーザは、入力部２０を介して所定の操作を行うことにより、この値を適宜変更することができる。個別調整部４４は、ユーザが個別調整量エリアＧ３を介して選択フレームの位置調整量を変更したことを検知すると、その変更の内容を位置ＤＢ５４内の位置調整量の値に反映する。より具体的は、個別調整部４４は、ユーザにより指定された選択フレームの位置調整量の変更量を検知し、位置ＤＢ５４内において、選択フレームの位置調整量をその変更量だけ個別に変更する。その結果、個別調整では、選択フレームがフレームグループに分類されていた場合には、選択フレームとそのフレームグループに含まれる他のフレームとの相対位置が変更される。

【0077】

また、個別調整部４４は、グループエリアＧ２を介して、選択フレームに対し、グループＤＢ５３内に登録されているフレームグループの中から、任意のフレームグループの指定をユーザから受け付ける。個別調整部４４は、選択フレームをここで指定されたフレームグループに分類する。従って、自動調整によりいずれのフレームグループにも分類されなかったフレームを、強制的にいずれかのフレームグループに分類することができる。また、自動調整により既にフレームグループに分類されているフレームに対しても、所属先のフレームグループを再設定することが可能である。また、詳細は後述されるが、グループエリアＧ２を介してのフレームグループの指定（再設定を含む。以下同じ。）は、あるフレーム（選択フレーム）を別のフレーム（基準グループの代表フレーム）に対し位置調整するのに役立つ。

【0078】

また、ここで指定されるフレームグループの情報は、グループＤＢ５３内で管理される。具体的には、選択フレームに対応する行の「基準グループ」欄に、ここで指定されたフレームグループのグループＩＤ（すなわち、代表フレームのフレームＩＤ）が格納される。言い換えると、個別調整部４４は、選択フレームのフレームＩＤをここで指定されたフレームグループのグループＩＤに関連付ける情報を、グループＤＢ５３に格納する。そして、ユーザがグループエリアＧ２を介してフレームグループを指定する度に、グループＤＢ５３内で管理されているフレームグループの情報はリアルタイムに更新され、同時に、表Ｅ１において、選択フレームのフレームＩＤの右側に表示される「基準グループ」欄のグループＩＤも更新される。

【0079】

タブ画面Ｄ３が表示されている間、タブ画面Ｄ３と同時に表示されるアクティブな表示ウィンドウＷ２内には、選択フレームが表示される。また、図１４に示すとおり、位置調整ウィンドウＷ３上には、タブ画面Ｄ３とともに、既に説明されたものと同様のプレビュー選択エリアＣ４及び合成指定エリアＣ５が配置されている。従って、個別調整時においても、アクティブな表示ウィンドウＷ２内において、各種態様での選択フレームのプレビューが可能である。個別調整時における選択フレームの表示の態様は、選択グループの代表フレームが選択フレームに置き換わるだけで、グループ調整時と同様であるため、ここでは、詳しい説明を省略する。ただし、合成画像を生成するための基準グループの代表フレームは、表Ｅ１の選択フレームに対応する行の「基準グループ」欄に表示されているフレーム（以下、親フレーム）となる。

【0080】

従って、以上の個別調整の機能によれば、ユーザは、選択フレーム群に含まれる任意のフレームを、いずれかのフレームグループの代表フレームや、同じタイムライン上の直前又は周辺のフレームに対し容易に位置調整することができる。すなわち、まず、ユーザは、エリアＣ４，Ｃ５内で適当な選択肢を選択することにより、アクティブな表示ウィンドウＷ２内で各種合成画像をプレビューさせる。そして、このプレビュー画面を見ながら、位置調整がうまくされていないフレームを見つけ出して選択フレームとして選択し、さらに、この選択フレームをどのフレーム（いずれかの代表フレーム、同じタイムライン上の直前又は周辺のフレーム）に対して位置調整するかを決定する。このとき、いずれかの代表フレームを基準に位置調整すると決めた場合には、必要に応じて、グループエリアＧ２を介してその代表フレームを選択フレームに関連付ける。その上で、ユーザは、アクティブな表示ウィンドウＷ２内の各種合成画像を見ながら、適切な個別調整量を判断し、これを個別調整量エリアＧ３に入力する。なお、ユーザが個別調整量の変更を指定する度に、位置ＤＢ５４内の選択フレームの位置調整量はリアルタイムに更新され、同時に、アクティブな表示ウィンドウＷ２内のプレビュー画面も、最新の位置調整量に基づくものにリアルタイムに更新される。従って、ユーザは、様々な個別調整量を試しながら、その効果を目で確認しつつ、最終的に平均画像上で注目している対象物が最もうまく重なり合う、又は差分画像上で注目している対象物が最も消えるような最適な個別調整量に達することができる。

【0081】

ここで、位置調整処理の実行中も、基本画面Ｗ１上の再生ボタンＴ２、コマ送りボタンＴ３、コマ戻しボタンＴ４およびタイムラインバーＴ５は、ユーザからの操作を受け付けている。そして、表示制御部４５は、プレビュー選択エリアＣ４にチェックが入っている状態では、ユーザからこれらのオブジェクトＴ２〜Ｔ５の適当な操作を受けて、選択フレーム群に含まれる任意のフレームであって、現在までに行われた位置調整後のものをアクティブな表示ウィンドウＷ２上にプレビューさせることができる。このとき、表示制御部４５は、アクティブタイムラインの任意の区間に属するフレームを、現在までに行われた位置調整後の動画として再生することも可能である。この機能は、位置調整がうまくされていないフレームを容易に見つけ出すのに役立つ。また、この機能を利用すれば、選択フレーム群の位置調整が完了し、位置調整処理を終了するタイミングを図ることもできる。

【0082】

位置調整処理は、画像処理部４１が位置調整ウィンドウＷ３上のＯＫボタンＣ７が押下されたことを検知したときに終了する。このとき、画像処理部４１は、選択フレーム群に含まれる各フレームについて、現在までに行われた位置調整後の画像を、そのフレームの次の座標ｍの画像として、加工ファイル領域５２内に保存する。一方、画像処理部４１は、位置調整ウィンドウＷ３上のキャンセルボタンＣ６が押下されたことを検知すると、選択フレーム群に含まれる各フレームについて、現在までに行われた位置調整後の画像を破棄し、そのフレームの座標ｍを変更することなく、位置調整処理を終了させる。

【0083】

なお、位置調整処理の終了後においては、グループＤＢ５３及び位置ＤＢ５４内の情報は、ソフトウェア管理領域５０内に残されてもよいし、削除されてもよい。

【0084】

＜３．用途＞
位置調整処理の終了後、ユーザから基本画面Ｗ１上のオブジェクトＴ２〜Ｔ５の適当な操作を受けて、表示制御部４５は、本処理による位置調整後のフレーム群を、アクティブな表示ウィンドウＷ２内に静止画又は動画として再生することができる。ここで、位置調整処理時に、位置調整の基準となる動画内の対象物として、建物等の静止物が選択されていた場合には、最終的に得られる位置調整後の動画においては、カメラのブレ（いわゆる手ブレ）が補正されることになる。一方、このような対象物として、画面内を移動している人や車等の移動体が選択されていた場合には、そのような移動体が静止し、現実には静止している静止物が移動しているように見える動画が得られることになる。そして、後者の場合、画面内を動き回っている人が撮影されていたとすると、位置調整後の動画としては、同人が同じ場所で足踏みしているような動画が得られる。

【0085】

画像処理プログラム２は、多種多様な動画に対する画像処理を取り扱うことができ、例えば、警察等の機関が事件の捜査のために防犯カメラの監視映像を解析する場面でも利用され得る。例えば、防犯カメラの監視映像の中に、容疑者が捕えられている場合がある。このような場合に、容疑者を対象物として上述した位置調整処理を実行すれば、その結果得られる動画において、ユーザは、容疑者を画面内であちこち目で追う必要がなくなり、容疑者の行動を観察し易くなる。また、場合によっては、残像効果により、画面内で容疑者が動き回っていたのでは気づくことのなかった行動を把握することができる。

【0086】

＜４．変形例＞
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。例えば、以下の変更が可能である。

【0087】

＜４−１＞
位置調整量のパラメータの種類は、当業者が適宜選択することができるが、例えば、上述の平行移動、回転、拡大及び縮小に代えて又は加えて、歪曲により位置調整を行うこともできる。

【0088】

＜４−２＞
グループ調整時及び個別調整時の合成画像を作成するための比較フレームは、上述したものに限られず、例えば、選択フレーム群の中からユーザが手動で自由に選択できるようにしてもよい。

【0089】

＜４−３＞
上記実施形態では、先祖側のフレームグループの位置調整が子孫側のフレームグループの位置調整に連動するようになっている。しかしながら、このような連動設定は、複数のフレームグループ間だけに限らず、フレームとフレームグループ間や、複数のフレーム間でも親子関係の設定を受け付けるようにしておき、これらの間で位置調整を連動させるようにしてもよい。

【0090】

＜４−４＞
上記実施形態では、自動調整時に、選択フレーム内で位置調整の基準となる対象物の存在するエリアがユーザにより手動で指定されるようになっている。しかしながら、ユーザによるエリアの指定を受けることなく、選択フレーム内で位置調整の基準となる対象物が自動的に算出されるようにしてもよい。このような算出方法の例としては、選択フレーム内の移動体又はその背景を自動で検出し、これを位置調整の基準とする方法が考えられる。なお、選択フレーム内の移動体又はその背景を自動で検出する方法としては、タイムライン上で選択フレームの前後のフレーム群の平均画像（すなわち、背景の画像）を作成し、これを選択フレームと比較する方法が考えられる。

【符号の説明】

【0091】

１ 画像処理装置（コンピュータ）
２ 画像処理プログラム
４２ 自動調整部（グループ作成部）
４３ グループ調整部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】