特許 5809905 画像処理装置及び画像処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5809905

(24)【登録日】2015年9月18日

(45)【発行日】2015年11月11日

(54)【発明の名称】画像処理装置及び画像処理システム

(51)【国際特許分類】

   H04N 5/91 20060101AFI20151022BHJP

   G11B 27/00 20060101ALI20151022BHJP

   H04N 7/173 20110101ALI20151022BHJP

   H04N 19/102 20140101ALI20151022BHJP

   H04N 19/167 20140101ALI20151022BHJP

   H04N 19/46 20140101ALI20151022BHJP

   H04N 19/503 20140101ALI20151022BHJP

   H04N 19/51 20140101ALI20151022BHJP

   H04N 19/593 20140101ALI20151022BHJP

   H04N 19/61 20140101ALI20151022BHJP

   H04N 19/625 20140101ALI20151022BHJP

   H04N 19/70 20140101ALI20151022BHJP

   H04N 21/433 20110101ALI20151022BHJP

   H04N 21/854 20110101ALI20151022BHJP

【ＦＩ】

   H04N5/91 Z

   G11B27/00 D

   H04N7/173 630

   H04N19/102

   H04N19/167

   H04N19/46

   H04N19/503

   H04N19/51

   H04N19/593

   H04N19/61

   H04N19/625

   H04N19/70

   H04N21/433

   H04N21/854

【請求項の数】23

【全頁数】31

(21)【出願番号】特願2011-207818(P2011-207818)

(22)【出願日】2011年9月22日

(65)【公開番号】特開2013-70264(P2013-70264A)

(43)【公開日】2013年4月18日

【審査請求日】2014年9月9日

(73)【特許権者】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(74)【代理人】

【識別番号】100074099

【弁理士】

【氏名又は名称】大菅 義之

(72)【発明者】

【氏名】渡辺 伸之

(72)【発明者】

【氏名】久保 允則

(72)【発明者】

【氏名】篠崎 新

(72)【発明者】

【氏名】三由 貴史

(72)【発明者】

【氏名】小坂 明生

(72)【発明者】

【氏名】岩城 秀和

(72)【発明者】

【氏名】中富 高之

【審査官】 松元 伸次

(56)【参考文献】

【文献】 特開平０９−２１４８７９（ＪＰ，Ａ）

【文献】 特開２００３−２７２３５８（ＪＰ，Ａ）

【文献】 特開２００８−３０６３３４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ１１Ｂ２７／００−２７／０６

Ｈ０４Ｎ５／２２２−５／２５７

５／７６５

５／９１

５／９１５

５／９２

５／９２２

５／９２８−５／９３

５／９３７−５／９４

５／９５−５／９５６

７／１０−７／１７３

７／２０−７／５６

１９／００−２１／８５８

(57)【特許請求の範囲】

【請求項1】

入力される動画像の各動画像フレームにそれぞれ対応する、不要な動画像フレームであるか否かを判定するために用いられる要不要判定データを生成する要不要判定データ生成手段と、
前記入力される動画像を符号化するとともに、符号化後の動画像の各動画像フレームをそれぞれ複数のデータに分割しつつ、それらデータにそれぞれ識別情報を付与して記録手段に記録する画像符号化手段と、
前記要不要判定データに基づいて、前記要不要判定データに対応する動画像フレームが不要な動画像フレームであるか否かを判定する要不要判定手段と、
前記記録手段に記録される識別情報と、その識別情報に対応する前記記録手段の記録位置におけるデータの状態を示す情報とが対応付けられた前記記録手段内のテーブルにおいて、前記要不要判定手段により不要な動画像フレームと判定された動画像フレームの識別情報に対応する前記記録手段の記録位置におけるデータの状態を示す情報をデータが無い旨の情報に書き換える動画像ファイル管理手段と、
を備えることを特徴とする画像処理装置。

【請求項2】

請求項１に記載の画像処理装置であって、
前記記録手段は、前記記録手段内の前記テーブルと同じ内容の復帰用テーブルを備え、
前記動画像ファイル管理手段は、前記復帰用テーブルを用いて、復帰対象のデータの識別情報に対応する前記記録手段の記録位置におけるデータの状態を示す情報を、元の情報に戻す
ことを特徴とする画像処理装置。

【請求項3】

請求項１、２の何れか１項に記載の画像処理装置であって、
前記画像符号化手段は、前記入力される動画像をＭＰＥＧ２形式で符号化するとともに、符号化後の動画像の各動画像フレームをそれぞれ複数のＴＳパケットに分割しつつ、それらＴＳパケットにそれぞれ識別情報としてのＰＩＤを付与して前記記録手段に記録する
ことを特徴とする画像処理装置。

【請求項4】

請求項３に記載の画像処理装置において、
前記要不要判定データが、前記Ｍｐｅｇ２形式の符号化の単位ＧＯＰで付与される
ことを特徴とする画像処理装置。

【請求項5】

請求項１に記載の画像処理装置であって、
前記符号化後の動画像フレームの分割後の各データにそれぞれ付与された識別情報のうちの１つの識別情報と、その符号化後の動画像フレームに対応する要不要判定データとを統合してメタデータを生成するメタデータ生成手段を更に有し、
前記要不要判定手段は、前記メタデータにおける要不要判定データに基づいて、そのメタデータにおける識別情報に対応する動画像フレームが不要な動画像フレームであるか否かを判定する
ことを特徴とする画像処理装置。

【請求項6】

請求項５に記載の画像処理装置であって、
前記要不要判定データ生成手段は、前記動画像フレーム中の被写体の位置及びサイズを前記要不要判定データとして生成し、
前記要不要判定手段は、前記記録手段から読み出した前記メタデータにおける要不要判定データが示す被写体のサイズが所定のサイズよりも小さい場合であって、前記記録手段から読み出した前記メタデータにおける要不要判定データが示す被写体の位置が所定の範囲外に位置する場合、そのメタデータにおける識別情報に対応する動画像フレームが必要な動画像フレームでないと判定する
ことを特徴とする画像処理装置。

【請求項7】

請求項５に記載の画像処理装置であって、
前記要不要判定データ生成手段は、前記動画像フレーム中の画像特徴量に基づいて、前記要不要判定データを生成し、
前記要不要判定手段は、前記記録手段から読み出した前記メタデータにおける要不要判定データが示す画像特徴量と、そのメタデータに対応する動画像フレームに近接する動画像フレームのメタデータにおける要不要判定データが示す画像特徴量と、の差異が所定値以下の場合、そのメタデータにおける識別情報に対応する動画像フレームが必要な動画像フレームでないと判定する
ことを特徴とする画像処理装置。

【請求項8】

請求項７に記載の画像処理装置であって、
前記画像特徴量が、被写体の構図を示す構図指標である
ことを特徴とする画像処理装置。

【請求項9】

請求項７に記載の画像処理装置であって、
前記画像特徴量が、画像の輝度値の統計量である
ことを特徴とする画像処理装置。

【請求項10】

請求項５に記載の画像処理装置であって、
前記要不要判定データ生成手段は、前記動画像フレームの撮影時のフォーカス情報を前記要不要判定データとして生成し、
前記要不要判定手段は、前記記録手段から読み出した前記メタデータにおける要不要判定データが示すフォーカス情報から、そのメタデータに対応する動画像フレームのフォーカスが合っていない、又は、フォーカスが安定していない、と判断した場合、そのメタデータにおける識別情報に対応する動画像フレームが必要な動画像フレームでないと判定する
ことを特徴とする画像処理装置。

【請求項11】

請求項５に記載の画像処理装置であって、
前記要不要判定データに前記動画像フレームの撮影時のズーム情報を付加する手段を有し、
前記要不要判定手段は、前記記録手段から読み出した前記メタデータに付加されたズーム情報と、前記メタデータに対応する動画像フレームの一つ前の動画像フレームのメタデータにおける要不要判定データに付加されたズーム情報と、から、ズームレンズのレンズ位置が安定していないと判断した場合、そのメタデータにおける識別情報に対応する動画像フレームが必要な動画像フレームでないと判定する
ことを特徴とする画像処理装置。

【請求項12】

請求項５に記載の画像処理装置であって、
被写体側からの信号を受信する無線アンテナを備え、
前記要不要判定データ生成手段は、前記無線アンテナにより受信される信号の受信信号強度を前記要不要判定データとして生成し、
前記要不要判定手段は、前記記録手段から読み出した前記メタデータにおける要不要判定データが示す受信信号強度が、所定の値より低い場合、そのメタデータにおける識別情報に対応する動画像フレームが必要な動画像フレームでないと判定する
ことを特徴とする画像処理装置。

【請求項13】

請求項１に記載の画像処理装置であって、
前記要不要判定手段は、前記不要な動画像フレームの先頭、あるいは末尾で有ることを示すフラグを前記識別情報に記述する
ことを特徴とする画像処理装置。

【請求項14】

請求項１３に記載の画像処理装置であって、
前記動画像ファイル管理手段は、前記不要な動画像フレームの先頭であることを示すフラグおよび前記不要な動画像フレームの末尾で有ることを示すフラグの双方が揃ったときに、前記不要な動画像フレームの先頭と前記不要な動画像フレームの末尾との間にある前記動画像フレームの識別情報に対応する前記記録手段の記録位置におけるデータの状態を示す情報をデータがない旨の情報に書き換える
ことを特徴とする画像処理装置。

【請求項15】

請求項１に記載の画像処理装置であって、
入力される各動画像フレームそれぞれの縮小画像を生成する縮小画像生成手段と、
前記符号化後の動画像フレームの分割後の各データにそれぞれ付与された識別情報のうちの１つの識別情報と、その符号化後の動画像フレームの縮小画像とを統合してメタデータを生成するメタデータ生成手段と、
を更に有し、
前記要不要判定データ生成手段は、前記メタデータにおける縮小画像に基づいて、そのメタデータにおける識別情報に対応する動画像フレームが不要な動画像フレームであるか否かを判定するために用いられる要不要判定データを生成する
ことを特徴とする画像処理装置。

【請求項16】

請求項１５に記載の画像処理装置であって、
前記記録手段は、前記記録手段内の前記テーブルと同じ内容の復帰用テーブルを備え、
前記動画像ファイル管理手段は、前記復帰用テーブルを用いて、復帰対象のデータの識別情報に対応する前記記録手段の記録位置におけるデータの状態を示す情報を、元の情報に戻す
ことを特徴とする画像処理装置。

【請求項17】

請求項１５、１６の何れか１項に記載の画像処理装置であって、
前記画像符号化手段は、前記入力される動画像をＭＰＥＧ２形式で符号化するとともに、符号化後の動画像の各動画像フレームをそれぞれ複数のＴＳパケットに分割しつつ、それらＴＳパケットにそれぞれ識別情報としてのＰＩＤを付与して前記記録手段に記録する
ことを特徴とする画像処理装置。

【請求項18】

画像処理装置とサーバとがネットワークを介してデータの送受信を行う画像処理システムであって、
前記画像処理装置は、
入力される動画像を符号化するとともに、符号化後の動画像の各動画像フレームをそれぞれ複数のデータに分割しつつ、それらデータにそれぞれ識別情報を付与して記録する記録手段と、
前記サーバから送信される判定結果及び識別情報を受信する第１の受信手段と、
前記記録手段に記録される識別情報と、その識別情報に対応する前記記録手段の記録位置におけるデータの状態を示す情報とが対応付けられた前記記録手段内のテーブルにおいて、不要な動画像フレームであるとの要不要判定データとともに受信した識別情報に対応する前記記録手段の記録位置におけるデータの状態を示す情報をデータが無い旨の情報に書き換える動画像ファイル管理手段と、
を備え、
前記サーバは、
前記要不要判定データに基づいて、前記要不要判定データに対応する動画像フレームが不要な動画像フレームであるか否かを判定する要不要判定手段と、
前記要不要判定手段の判定結果を、その判定結果に対応する識別情報とともに前記画像処理装置へ送信する第２の送信手段と、
を備え、
前記画像処理装置と前記サーバとのうち、いずれか一方は、入力される動画像の各動画像フレームにそれぞれ対応する、不要な動画像フレームであるか否かを判定するために用いられる要不要判定データを生成する要不要判定データ生成手段、
を備えることを特徴とする画像処理システム。

【請求項19】

請求項１８に記載の画像処理システムであって、
前記要不要判定データ生成手段は、前記画像処理装置にあり、
前記画像処理装置は、
前記符号化後の動画像フレームの分割後の各データにそれぞれ付与された識別情報のうちの１つの識別情報と、その符号化後の動画像フレームに対応する要不要判定データとを統合してメタデータを生成するメタデータ生成手段と、
前記メタデータを前記サーバへ送信する第１の送信手段と、
を更に有し、
前記サーバは、
前記画像処理装置から送信されるメタデータを受信する第２の受信手段を更に有し、
前記要不要判定手段は、前記受信したメタデータにおける前記要不要判定データに基づいて、そのメタデータにおける識別情報に対応する動画像フレームが不要な動画像フレームであるか否かを判定する、
ことを特徴とする画像処理システム。

【請求項20】

請求項１９に記載の画像処理システムであって、
前記サーバが有する前記要不要判定手段を、第２の要不要判定手段と定義するとき、
前記画像処理装置は、
前記生成されたメタデータにおける要不要判定データに基づいて、そのメタデータにおける識別情報に対応する動画像フレームが不要な動画像フレームであるか否かを判定する第１の要不要判定手段と、
前記画像処理装置に負荷をかけて良い状態であるか否かを判断するための情報を検出する検出手段と、
前記検出手段により検出された情報から、前記画像処理装置に負荷をかけて良い状態であると判断される場合、前記メタデータ生成手段により生成されるメタデータの送り先を、前記第１の要不要判定手段に切り替え、前記検出手段により検出された情報から、前記画像処理装置に負荷をかけて良い状態でないと判断される場合、前記メタデータ生成手段により生成されるメタデータの送り先を、前記第１の送信手段に切り替える切替手段と、
を更に備え、
前記第２の送信手段は、前記第２の要不要判定手段の判定結果を、その判定結果に対応する識別情報とともに前記画像処理装置へ送信し、
前記動画像ファイル管理手段は、前記記録手段に記録される識別情報と、その識別情報に対応する前記記録手段の記録位置におけるデータの状態を示す情報とが対応付けられた前記記録手段内のテーブルにおいて、不要な動画像フレームであるとの前記判定結果とともに受信した識別情報、又は、前記第１の要不要判定手段により不要な動画像フレームと判定された動画像フレームの識別情報に対応する前記記録手段の記録位置におけるデータの状態を示す情報をデータが無い旨の情報に書き換える、
ことを特徴とする画像処理システム。

【請求項21】

請求項２０に記載の画像処理システムであって、
前記検出手段は、前記画像処理装置のリソースにかかっている負荷を測定する負荷状態測定手段であり、
前記切替手段は、前記負荷状態測定手段の測定結果から、所定の負荷の量よりも高い負荷の量が前記画像処理装置にかかっていないと判断される場合、前記メタデータ生成手段により生成されるメタデータの送り先を、前記第１の要不要判定手段に切り替え、前記負荷状態測定手段の測定結果から、前記所定の負荷の量よりも高い負荷の量が前記画像処理装置にかかっていると判断される場合、前記メタデータ生成手段により生成されるメタデータの送り先を、前記第１の送信手段に切り替える
ことを特徴とする画像処理システム。

【請求項22】

請求項２０に記載の画像処理システムであって、
前記検出手段は、前記画像処理装置の電源モードが節電に係るモードであるか否かを検知する電源モード検知手段であり、
前記切替手段は、前記電源モード検知手段により、節電に係るモードでないと検知された場合、前記メタデータ生成手段により生成されるメタデータの送り先を、前記第１の要不要判定手段に切り替え、前記電源モード検知手段により、節電に係るモードであると検知された場合、前記メタデータ生成手段により生成されるメタデータの送り先を、前記第１の送信手段に切り替える
ことを特徴とする画像処理システム。

【請求項23】

請求項１８に記載の画像処理システムであって、
前記要不要判定データ生成手段は、前記サーバにあり、
前記画像処理装置は、
入力される動画像の各動画像フレームそれぞれの縮小画像を生成する縮小画像生成手段と、
前記符号化後の動画像フレームの分割後の各データにそれぞれ付与された識別情報のうちの１つの識別情報と、その符号化後の動画像フレームの縮小画像とを統合してメタデータを生成するメタデータ生成手段と、
前記メタデータを前記サーバへ送信する第１の送信手段と、
を更に有し、
前記サーバは、
前記画像処理装置から送信されるメタデータを受信する第２の受信手段を更に有し、
前記要不要判定データ生成手段は、前記受信したメタデータにおける縮小画像に基づいて、そのメタデータにおける識別情報に対応する動画像フレームが不要な動画像フレームであるか否かを判定するために用いられる要不要判定データを生成し、
前記要不要判定手段は、前記生成した要不要判定データに基づいて、その要不要判定データに対応する識別情報の動画像フレームが不要な動画像フレームであるか否かを判定する
ことを特徴とする画像処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、動画像の各動画像フレームの要不要を自動的に判定する技術に関する。

【背景技術】

【0002】

近年、撮像装置の高解像度化や高速化、フラッシュメモリの大容量化、及び撮像装置内の画像処理回路の高速化や低電力化が進み、高解像度による長時間動画撮影や長時間動画再生が可能になってきている。

【0003】

しかしながら、動画撮影時にユーザが意図をもって撮影していない場合や、とりあえず撮り逃しの無いように長時間、動画の撮影を行っている場合などでは、撮影後の動画像に不要な動画像フレームが多く含まれてしまう。すると、後工程としての動画の編集作業や再生作業に大きな負荷がかかり、動画の編集作業や再生作業の効率を下げてしまうおそれがある。例えば、動画像ファイルに不要な動画像フレームが多く含まれていると、目的の動画像フレームを探すために多くの手間や時間がかかったり、動画像ファイルを編集用プログラムや再生用プログラムにロードする際に多くの時間がかかったりしてしまう。

【0004】

例えば、動画の編集時や再生時において、動画像ファイルの各動画像フレームのうち、階調変化が少ない動画像フレームを不要な動画像フレームであると判定して、その動画像フレームを自動的に削除する技術がある（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００５−２９５２８５号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

上述のように、動画の編集時や再生時において、動画像ファイルの各動画像フレームのうち、階調変化が少ない動画像フレームを不要な動画像フレームであると判定して、その動画像フレームを自動的に削除する技術は、動画像フレームの要不要を判定する際にユーザにかかる負荷を軽減することができるが、その動画像フレーム自動削除機能を含む編集用プログラムや再生用プログラムに動画像ファイルをロードする必要がやはりあるため、動画像ファイル内に不要な動画像フレームが多いと、編集作業や再生作業の効率を低下させてしまう。

【0007】

本発明は、動画の編集作業や再生作業の効率低下を抑えることを目的とする。

【課題を解決するための手段】

【0008】

本発明の画像処理装置は、入力される動画像の各動画像フレームにそれぞれ対応する、不要な動画像フレームであるか否かを判定するために用いられる要不要判定データを生成する要不要判定データ生成手段と、前記入力される動画像を符号化するとともに、符号化後の動画像の各動画像フレームをそれぞれ複数のデータに分割しつつ、それらデータにそれぞれ識別情報を付与して記録手段に記録する画像符号化手段と、前記要不要判定データに基づいて、前記要不要判定データに対応する動画像フレームが不要な動画像フレームであるか否かを判定する要不要判定手段と、前記記録手段に記録される識別情報と、その識別情報に対応する前記記録手段の記録位置におけるデータの状態を示す情報とが対応付けられた前記記録手段内のテーブルにおいて、前記要不要判定手段により不要な動画像フレームと判定された動画像フレームの識別情報に対応する前記記録手段の記録位置におけるデータの状態を示す情報をデータが無い旨の情報に書き換える動画像管理手段とを備える。

【発明の効果】

【0009】

本発明によれば、動画の編集作業や再生作業の効率低下を抑えることができる。

【図面の簡単な説明】

【0010】

【図1】本発明の実施形態の画像処理装置を示す図である。

【図2】メタデータ、動画像フレーム、記録部内のセクタ、及び記録部内のクラスタの一例を示す図である。

【図3A】ディレクトリの一例を示す図である。

【図3B】ＦＡＴの一例を示す図である。

【図3C】データの状態を示す情報を書き換えた後のＦＡＴの一例を示す図である。

【図4】ＭＰＥＧ形式の符号化時における動画像フレーム、圧縮単位、及び記録部内のクラスタの一例を示す図である。

【図5A】実施例１の撮像装置を示す図である。

【図5B】実施例１の撮像装置の変形例（その１）を示す図である。

【図5C】実施例１の撮像装置の変形例（その２）を示す図である。

【図6】実施例１の要不要判定部の動作を示すフローチャートである。

【図7】実施例１における要判定の動画像フレームと不要判定の動画像フレームの一例を示す図である。

【図8】実施例１における要判定の動画像フレームと不要判定の動画像フレームの他の例を示す図である。

【図9】実施例２の撮像装置を示す図である。

【図10】実施例２の要不要判定部の動作を示すフローチャートである。

【図11】実施例３の撮像装置を示す図である。

【図12】実施例３の要不要判定部の動作を示すフローチャートである。

【図13】実施例４の撮像装置を示す図である。

【図14】実施例４の要不要判定部の動作を示すフローチャートである。

【図15】実施例４における要判定の動画像フレームと不要判定の動画像フレームの一例を示す図である。

【図16】本発明の他の実施形態の撮像装置を示す図である。

【図17】本発明の実施形態の画像処理システムを示す図である。

【図18】本発明の他の実施形態の画像処理システムを示す図である。

【図19】本発明のさらに他の実施形態の画像処理システムを示す図である。

【図20】本発明のさらに他の実施形態の画像処理システムを示す図である。

【発明を実施するための形態】

【0011】

図１は、本発明の実施形態の画像処理装置を示す図である。

【0012】

図１の画像処理装置１００は、要不要判定データ生成部１０３と、画像符号化部１０４と、メタデータ生成部１０５と、記録部１０６と、要不要判定部１０７と、動画像ファイル管理部１０８と、制御処理部１０９とを備える。なお、制御処理部１０９は、画像処理装置１００内の各部の動作を制御するものとする。

【0013】

要不要判定データ生成部１０３は、外部（例えば、撮像装置や外部記録部など）から画像処理装置１００に入力される動画像ファイルの各動画像フレームにそれぞれ対応する、不要な動画像フレームであるか否かを判定するために用いられる要不要判定データを生成する。

【0014】

画像符号化部１０４は、外部から画像処理装置１００に入力される動画像を符号化するとともに、符号化後の動画像の各動画像フレームをそれぞれ複数のデータに分割しつつ、それらデータにそれぞれ識別情報を付与して記録部１０６に記録する。例えば、画像符号化部１０４は、図２に示すように、入力される動画像に対してＭＰＥＧ２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ｐｈａｓｅ ２）形式の符号化を行うとともに、符号化後の動画像の各動画像フレームをそれぞれ複数のＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）パケットに分割しつつ、それらＴＳパケットにそれぞれ「識別情報ＰＩＤ（Ｐａｃｋｅｔ ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）」（Ｋ、Ｋ＋１、・・・）を付与して記録部１０６に記録する。

【0015】

また、図１に示す記録部１０６は、画像処理装置１００に内蔵の記録部（例えば、ハードディスク、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））でも画像処理装置１００に着脱可能な外部記録部（例えば、ＣＤ−Ｒ（Ｒｅｗｒｉｔａｂｌｅ Ｃｏｍｐａｃｔ Ｄｉｓｃ）、ＤＶＤ−Ｒ（Ｒｅｗｒｉｔｂｌｅ Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等の媒体、メモリカード、又はＵＳＢメモリなど）でもよく、例えば、不揮発性メモリ、又はフラッシュメモリなどにより構成される。

【0016】

また、記録部１０６は、画像符号化部１０４において各データにそれぞれ付与された識別情報と、記録部１０６内の記録位置を示す情報との対応関係を示す識別情報／記録位置テーブルを備える。例えば、記録部１０６は、図３Ａに示すように、識別情報ＰＩＤと、記録部１０６内のクラスタの位置を示すクラスタ番号との対応関係を示す識別情報／記録位置テーブルとしてのディレクトリを備える。

【0017】

また、記録部１０６は、記録部１０６内の記録位置を示す情報と、各記録位置におけるデータの状態を示す情報（例えば、他の記録位置にデータが続く際のその記録位置を示す情報、データがこの記録位置で終わることを示す情報、又はこの記録位置にデータが無いことを示す情報）との対応関係を示す記録位置／データ状態情報テーブルを備える。例えば、記録部１０６は、図３Ｂに示すように、記録部１０６内のクラスタの位置を示すクラスタ番号と、各クラスタ番号におけるデータの状態を示す情報（例えば、他のクラスタにデータが続く際のそのクラスタの位置を示すクラスタ番号、データがこのクラスタで終わることを示す情報：「ＦＦＦＦ」、又はこのクラスタにデータが無いことを示す情報：「００００」）との対応関係を示す記録位置／データ状態情報テーブルとしてのＦＡＴ（Ｆｉｌｅ Ａｌｌｏｃａｔｉｏｎ Ｔａｂｌｅ）を備える。

【0018】

メタデータ生成部１０５は、符号化後の動画像フレームの分割後の各データにそれぞれ付与された識別情報のうちの１つの識別情報と、その動画像フレームに対応する要不要判定データとを統合してメタデータを生成する。例えば、メタデータ生成部１０５は、図２に示すように、符号化後の動画像フレームｆ１の分割後の各ＴＳパケットのうちの先頭のＴＳパケットの識別情報ＰＩＤ＝Ｋと、動画像フレームｆ１に対応する要不要判定データとを統合して動画像フレームｆ１に対応するメタデータを生成する。また、メタデータ生成部１０５は、符号化後の動画像フレームｆ２の分割後の各ＴＳパケットのうちの先頭のＴＳパケットの識別情報ＰＩＤ＝Ｋ＋ｎ＋１と、動画像フレームｆ２に対応する要不要判定データとを統合して動画像フレームｆ２に対応するメタデータを生成する。なお、要不要判定データと統合される識別情報ＰＩＤは、符号化後の動画像フレームの分割後の各ＴＳパケットのうちの先頭のＴＳパケットの識別情報ＰＩＤに限定されない。

【0019】

要不要判定部１０７は、メタデータにおける要不要判定データに基づいて、そのメタデータにおける識別情報に対応する動画像フレームが不要な動画像フレームであるか否かを判定する。

【0020】

動画像ファイル管理部１０８は、記録部１０６内の識別情報／記録位置テーブルを用いて、要不要判定部１０７により不要な動画像フレームと判定された動画像フレームの識別情報に対応する記録部１０６内の記録位置を特定する。また、動画像ファイル管理部１０８は、記録部１０６内の記録位置／データ状態情報テーブルを用いて、特定した記録位置に対応するデータの状態を示す情報を特定し、その特定したデータの状態を示す情報をデータが無い旨の情報に書き換える。

【0021】

例えば、図２に示す動画像フレームｆ２が不要と判定された場合、動画像ファイル管理部１０８は、図３Ａに示すディレクトリを用いて、動画像フレームｆ２の識別情報ＰＩＤ＝Ｋ＋ｎ＋１に対応する記録部１０６内のクラスタの位置を示すクラスタ番号として「０００３」を特定する。次に、動画像ファイル管理部１０８は、図３Ｂに示すＦＡＴを用いて、特定したクラスタ番号「０００３」におけるデータの状態を示す情報「０００４」を「００００」に書き換えるとともに、さらに他のクラスタにも動画像フレームｆ２が記録される際のそのクラスタの位置を示すクラスタ番号「０００４」におけるデータの状態を示す情報「ＦＦＦＦ」を「００００」に書き換える。

【0022】

なお、記録部１０６は、記録部１０６に記録される全ての識別情報と、それら識別情報にそれぞれ対応する記録部１０６の記録位置におけるデータの状態を示す情報とが対応付けられたテーブルを備えていてもよい。また、この場合、動画像ファイル管理部１０８は、このテーブルを用いて、要不要判定部１０７により不要な動画像フレームと判定された動画像フレームの識別情報に対応する記録部１０６の記録位置におけるデータの状態を示す情報をデータが無い旨の情報に書き換えるように構成してもよい。

【0023】

本発明の実施形態の画像処理装置１００は、編集作業や再生作業の前段階において、動画像の各動画像フレームのうち、不要な動画像フレームと判定された動画像フレームに対応する記録部１０６の記録位置におけるデータの状態を示す情報をデータが無い旨の情報に書き換える構成であるため、その動画像の編集時や再生時において、動画像を記録部１０６から読み出す際、不要な動画像フレーム以外が読み出される。このように、編集作業や再生作業の前段階において不要な動画像フレームを動画像ファイルから実質的に削除しておくことができるため、編集作業時や再生作業時において、動画像ファイルを編集用プログラムや再生用プログラムにロードする時間を短縮することができ、編集作業や再生作業の効率低下を抑えることができる。

【0024】

また、本発明の実施形態の画像処理装置１００は、記録部１０６から不要な動画像フレーム以外を読み出すために、記録部１０６の記録位置におけるデータの状態を示す情報を書き換えるだけであるため、データ処理量を少なくすることができ、画像処理装置１００にかかる負荷を抑えることができる。

【0025】

また、本発明の実施形態の画像処理装置１００は、不要な動画像フレームに対応する記録部１０６内の記録位置を特定するために、符号化後の動画像フレームの分割後の各データに付与される識別情報を使用しているため、データ処理量を少なくすることができ、画像処理装置１００にかかる負荷を抑えることができる。

【0026】

なお、要不要判定部１０７は、連続する複数の不要な動画像フレームのうち、先頭の動画像フレームであることを示す先頭情報Ｋｉと、末尾の動画像フレームであることを示す末尾情報Ｋｊとを動画像ファイル管理部１０８に送るように構成してもよい。すなわち、識別情報ＰＩＤ上に不要判定された動画像の先頭である事を示すフラグと、末尾で有ることを示すフラグを記述する様にしても良い。この場合、動画像ファイル管理部１０８は、先頭情報Ｋｉ及び末尾情報Ｋｊにそれぞれ対応する、記録部１０６の記録位置におけるデータの状態を示す情報をデータが無い旨の情報に書き換えるとともに、先頭情報Ｋｉ及び末尾情報Ｋｊにそれぞれ対応する各動画像フレームの間の動画像フレームに対応する、記録部１０６の記録位置におけるデータの状態を示す情報をデータが無い旨の情報に書き換える。また、動画像ファイル管理部１０８は、不要な動画像フレームの先頭であることを示すフラグおよび不要な動画像フレームの末尾で有ることを示すフラグの双方が揃ったときに、不要な動画像フレームの先頭と不要な動画像フレームの末尾との間にある動画像フレームの識別情報に対応する記録部１０６の記録位置におけるデータの状態を示す情報をデータが無い旨の情報に書き換えるようにしても良い。
また、上記記録部１０６のデータの書き換えのタイミングに関しては不要判定の先頭である事を示すフラグと、末尾で有ることを示すフラグの対が受信されたところでデータの書き換えを行うようにしても良い。

【0027】

また、画像符号化部１０４において、入力される動画像に対して、ＭＰＥＧ形式の符号化が行われる場合、例えば、図４に示すように、ＳＨ（Ｓｅｑｕｅｎｃｅ Ｈｅａｄｅｒ）及びＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）の圧縮単位（例えば、Ｉフレーム（Ｉｎｔｒａ Ｐｉｃｔｕｒｅ）、Ｂ１フレーム〜Ｂ３フレーム（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ Ｐｒｅｄｉｃｔｉｖｅ Ｐｉｃｔｕｒｅ）、Ｐフレーム（Ｐｒｅｄｉｃｔｉｖｅ Ｐｉｃｔｕｒｅ））で符号化が行われる。このような場合、動画像ファイル管理部１０８は、先頭の不要動画像フレームが含まれるＧＯＰから末尾の不要動画像フレームが含まれるＧＯＰまでの範囲に対応する、記録部１０６の記録位置におけるデータの状態を示す情報を全てデータが無い旨の情報に書き換える。図４の例では、先頭の不要動画像フレームＢ１が含まれるＧＯＰに対応するクラスタ番号「０００２」から末尾の不要動画像フレームＢ２’が含まれるＧＯＰに対応するクラスタ番号「００１４」までの範囲に対応する、記録部１０６の記録位置におけるデータの状態を示す情報を全て「００００」に書き換える。

【0028】

また、記録部１０６は、ＦＡＴと同じ内容の復帰用テーブルを備えていてもよい。この場合、動画像ファイル管理部１０８は、その復帰用テーブルを用いて、復帰対象であるデータの識別情報に対応する記録部１０６の記録位置におけるデータの状態を示す情報を、元の情報に戻すことができる。これにより、不要な動画像フレームであると判定されて、その動画像フレームの識別情報に対応する記録部１０６内の記録位置におけるデータの状態を示す情報が、データが無い旨の情報に書き換えられた後でも、その動画像フレームを読み出し可能な状態に戻すことができる。

【0029】

図５Ａは、図１に示す画像処理装置１００の実施例１である撮像装置５００を示す図である。なお、図１に示す構成と同じ構成には同じ符号を付しその構成の説明を省略する。

【0030】

図５Ａに示す撮像装置５００は、撮像部１０１と、画像処理部１０２と、要不要判定データ生成部１０３と、画像符号化部１０４と、メタデータ生成部１０５と、記録部１０６と、要不要判定部１０７と、動画像ファイル管理部１０８と、制御処理部１０９とを備える。

【0031】

撮像部１０１は、例えば、レンズによってＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの撮像素子に結像される被写体像をその撮像素子において電気信号に変換し静止画像フレーム又は複数の動画像フレームからなる動画像を得る。

【0032】

画像処理部１０２は、撮像部１０１により得られる静止画像又は動画像の各動画像フレームに対して、シャープネス補正、コントラスト補正、輝度・色差信号生成、及びホワイトバランス補正などの各種画像処理を行う。

【0033】

画像符号化部１０４は、画像処理後の静止画像フレームに対してＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）形式などの符号化を行う。また、画像符号化部１０４は、画像処理後の動画像に対してＭＰＥＧ形式などの符号化を行う。

【0034】

図５Ａに示す撮像装置５００の特徴とする点は、要不要判定データ生成部１０３として被写体検出処理部５０１を備え、その被写体検出処理部５０１により、画像処理後の動画像の各動画像フレームにおいて、それぞれ、要不要判定データとしての「被写体の位置」及び「被写体のサイズ」が検出され、メタデータ生成部１０５において、検出された「被写体の位置」及び「被写体のサイズ」と、識別情報ＰＩＤとが統合されてメタデータとして要不要判定部１０７へ出力される点である。

【0035】

図６は、図５Ａに示す撮像装置５００における要不要判定部１０７の動作の一例を示すフローチャートである。

【0036】

まず、要不要判定部１０７は、撮像部１０１により動画像フレームが取得され始めて、メタデータ生成部１０５からメタデータが出力され始めると、そのメタデータに示される「被写体の位置」及び「被写体のサイズ」を入力する（Ｓ１１）。なお、被写体検出処理部５０１は、画像処理後の動画像フレーム内において被写体を検出した後、その検出した被写体を囲む矩形範囲を被写体エリアとし、その被写体エリアの左上の画素位置（ｘ０，ｙ０）を「被写体の位置」とする。また、被写体検出処理部５０１は、「被写体のサイズ」として被写体エリアの横方向の画素数をＷとするとともに被写体エリアの縦方向の画素数をＨとする。また、被写体検出処理部５０１は、動画像フレームから被写体が検出されない場合、ｘ０を０よりも小さい値にする。また、動画像フレームの左上の画素位置を（１，１）とする。

【0037】

次に、要不要判定部１０７は、ｘ０が０よりも小さいか否か、すなわち、被写体が検出されていないか否かを判断する（Ｓ１２）。

【0038】

被写体が検出されていると判断した場合（Ｓ１２がＮｏ）、要不要判定部１０７は、Ｗが閾値Ｔｈｒ＿Ｗよりも小さいか否か又はＨが閾値Ｔｈｒ＿Ｈよりも小さいか否か、すなわち、被写体が所定サイズよりも小さいか否かを判断する（Ｓ１３）。なお、閾値Ｔｈｒ＿Ｗや閾値Ｔｈｒ＿Ｈは、ユーザなどにより予め設定されていてもよい。

【0039】

被写体が所定サイズよりも大きいと判断した場合（Ｓ１３がＮｏ）、要不要判定部１０７は、ｘ０＋Ｗ／２が閾値Ｔｈｒ＿Ｌ＿ｘよりも小さいか否か、すなわち、被写体エリアが動画像フレームの左端より外側に外れているか否かを判断する（Ｓ１４）。なお、閾値Ｔｈｒ＿Ｌ＿ｘは、ユーザなどにより予め設定されていてもよい。

【0040】

被写体エリアが動画像フレームの左端より外側に外れていないと判断した場合（Ｓ１４がＮｏ）、要不要判定部１０７は、ｘ０＋Ｗ／２が閾値Ｔｈｒ＿Ｒ＿ｘよりも大きいか否か、すなわち、被写体エリアの右端が動画像フレームの右端より外側に外れているか否かを判断する（Ｓ１５）。なお、閾値Ｔｈｒ＿Ｒ＿ｘは、ユーザなどにより予め設定されていてもよい。

【0041】

被写体エリアの右端が動画像フレームの右端より外側に外れていないと判断した場合（Ｓ１５がＮｏ）、要不要判定部１０７は、ｙ０＋Ｈ／２が閾値Ｔｈｒ＿Ｕ＿ｙよりも大きいか否か、すなわち、被写体エリアの上端が動画像フレームの上端より外側に外れているか否かを判断する（Ｓ１６）。なお、閾値Ｔｈｒ＿Ｕ＿ｙは、ユーザなどにより予め設定されていてもよい。

【0042】

被写体エリアの上端が動画像フレームの上端より外側に外れていないと判断した場合（Ｓ１６がＮｏ）、要不要判定部１０７は、ｙ０＋Ｈ／２が閾値Ｔｈｒ＿Ｄ＿ｙよりも小さいか否か、すなわち、被写体エリアの下端が動画像フレームの下端より外側に外れているか否かを判断する（Ｓ１７）。なお、閾値Ｔｈｒ＿Ｕ＿ｙは、ユーザなどにより予め設定されていてもよい。

【0043】

被写体エリアの下端が動画像フレームの下端より外側に外れていないと判断した場合（Ｓ１７がＮｏ）、要不要判定部１０７は、その動画像フレームを編集時や再生時に必要な動画像フレームであると判断して、要不要判定フラグＦＬＧ＿ｎ＝１を設定し（Ｓ１８）、その要不要判定フラグＦＬＧ＿ｎ＝１を要不要判定部１０７の内部又は外部にある記憶部に保持する（Ｓ１９）。

【0044】

次に、要不要判定部１０７は、今回取得した動画像フレームの要不要判定フラグＦＬＧ＿ｎと前回取得した動画像フレームの要不要判定フラグＦＬＧ＿ｎ−１とを上記記憶部から読み出し（Ｓ２０）、それら要不要判定フラグＦＬＧ＿ｎと要不要判定フラグＦＬＧ＿ｎ−１との乗算結果がゼロよりも小さいか否か、すなわち、前回取得した動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの末尾の動画像フレームであるか否かを判断する（Ｓ２１）。

【0045】

前回取得した動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの末尾の動画像フレームであると判断した場合（Ｓ２１がＹｅｓ）、要不要判定部１０７は、不要な１以上の動画像フレームのうちの末尾の動画像フレームであることを示す末尾情報Ｋｊと前回取得した動画像フレームに対応する識別情報ＰＩＤとを統合して（Ｓ２２）、動画像ファイル管理部１０８に出力する（Ｓ２３）。例えば、図７に示すように、識別情報ＰＩＤ＝７〜１２の複数の動画像フレームが取得された場合において、識別情報ＰＩＤ＝７に対応する要不要判定フラグＦＬＧ＿ｎが「−１」で、かつ、識別情報ＰＩＤ＝８に対応する要不要判定フラグＦＬＧ＿ｎ−１が「１」のとき、要不要判定部１０７は、末尾情報Ｋｊと識別情報ＰＩＤ＝７とを統合して動画像ファイル管理部１０８に出力する。

【0046】

次に、要不要判定部１０７は、ユーザから動画撮影終了指示などを受け取り動画撮影が終了したと判断すると（Ｓ２４がＹｅｓ）、不要な動画像フレームの判定処理を終了し、まだ動画撮影が終了していないと判断すると（Ｓ２４がＮｏ）、Ｓ１１に戻り、次に取得される動画像フレームに対応するメタデータを入力する。

【0047】

一方、前回取得した動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの末尾の動画像フレームでないと判断した場合、すなわち、今回取得された動画像フレームも編集時や再生時に必要な動画像フレームであり必要な動画像フレームを連続して取得していると判断した場合（Ｓ２１がＮｏ）、要不要判定部１０７は、Ｓ２２及びＳ２３を実行せずに、動画撮影が終了したか否かを判断する（Ｓ２４）。

【0048】

また、要不要判定部１０７は、「被写体が検出されていない（Ｓ１２がＹｅｓ）」、「被写体が所定サイズよりも小さい（Ｓ１３がＹｅｓ）」、「被写体エリアが動画像フレームの左端より外側に外れている（Ｓ１４がＹｅｓ）」、「被写体エリアが動画像フレームの右端より外側に外れている（Ｓ１５がＹｅｓ）」、「被写体エリアが動画像フレームの上端より外側に外れている（Ｓ１６がＹｅｓ）」、及び「被写体エリアが動画像フレームの下端より外側に外れている（Ｓ１７がＹｅｓ）」の少なくとも１つを判断すると、その動画像フレームを編集時や再生時に不要な動画像フレームであると判断して、要不要判定フラグＦＬＧ＿ｎ＝−１を設定し（Ｓ２５）、その要不要判定フラグＦＬＧ＿ｎ＝−１を要不要判定部１０７の内部又は外部にある記憶部に保持する（Ｓ２６）。

【0049】

次に、要不要判定部１０７は、今回取得した動画像フレームの要不要判定フラグＦＬＧ＿ｎと前回取得した動画像フレームの要不要判定フラグＦＬＧ＿ｎ−１とを上記記憶部から読み出し（Ｓ２７）、それら要不要判定フラグＦＬＧ＿ｎと要不要判定フラグＦＬＧ＿ｎ−１との乗算結果がゼロよりも小さいか否か、すなわち、今回取得した動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの先頭の動画像フレームであるか否かを判断する（Ｓ２８）。

【0050】

今回取得した動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの先頭の動画像フレームであると判断した場合（Ｓ２８がＹｅｓ）、要不要判定部１０７は、不要な１以上の動画像フレームのうちの先頭の動画像フレームであることを示す先頭情報Ｋｉと今回取得した動画像フレームに対応する識別情報ＰＩＤとを統合して（Ｓ２９）、動画像ファイル管理部１０８に出力し（Ｓ３０）、動画撮影が終了したか否かを判断する（Ｓ２４）。例えば、図７に示すように、識別情報ＰＩＤ＝７〜１２の複数の動画像フレームが取得された場合において、識別情報ＰＩＤ＝１２に対応する要不要判定フラグＦＬＧ＿ｎが「−１」で、かつ、識別情報ＰＩＤ＝１１に対応する要不要判定フラグＦＬＧ＿ｎ−１が「１」のとき、要不要判定部１０７は、先頭情報Ｋｉと識別情報ＰＩＤ＝１２とを統合して動画像ファイル管理部１０８に出力する。

【0051】

一方、今回取得した動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの先頭の動画像フレームでないと判断した場合、すなわち、前回取得された動画像フレームも編集時や再生時に不要な動画像フレームであり不要な動画像フレームを連続して取得していると判断した場合（Ｓ２８がＮｏ）、要不要判定部１０７は、Ｓ２９及びＳ３０を実行せずに、動画撮影が終了したか否かを判断する（Ｓ２４）。

【0052】

そして、動画像ファイル管理部１０８は、要不要判定部１０７から先頭情報Ｋｉ及び末尾情報Ｋｊが出力されると、先頭情報Ｋｉとともに出力された識別情報ＰＩＤから先頭情報Ｋｊとともに出力された識別情報ＰＩＤまでの間の全ての識別情報に対応する記録部１０６の記録位置におけるデータの状態を示す情報をそれぞれデータが無い旨の情報に書き換える。

【0053】

図５Ａに示す撮像装置５００は、被写体の位置やサイズに応じて、動画像フレームの要不要が判定されるため、スポーツやレースの観戦時など被写体が激しく動く場合において取得される動画像のデータ量の削減に有効である。

【0054】

なお、図６に示す要不要判定部１０７の動作例では、メタデータに記述されている構図指標は被写体の位置やサイズに基づいており、動画像フレームの要不要判定を行う構成であるが、図８に示すように、同じような構図の動画像フレームを連続して取得されるとき、それらの動画像フレームを編集時や再生時に不要な動画像フレームと判定するように構成してもよい。例えば、要不要判定部１０７は、図８に示す識別情報ＰＩＤ＝７に対応する動画像フレームの構図と、識別情報ＰＩＤ＝８、９に対応する動画像フレームの構図との差異が所定値以下であると判断されるとき、識別情報ＰＩＤ＝９に対応する動画像フレームに対して先頭情報Ｋｉを設定する。また、構図の差異が所定値以下のフレームが所定数以上連続する場合に、読出し制御部１１２は、連続するフレームの後部に相当する識別情報の動画像フレームに対して先頭情報Ｋｉを設定する。
なお、上記フレーム間の差異の測定方法としては、図８に示した、構図指標すなわち被写体の位置サイズの検出の差異の他に、画像の統計量に基づきフレーム間の差異を求めとも良い。フレーム間のレベル差の差分の合計値が所定値以下の場合、比較するフレームのヒストグラムの変化量の合計値が所定値以下の場合を不要とする等を使っても良い。フレーム間の差分を用いる場合、例えば、図５Ｂに示すように、被写体検出処理部５０１の代わりにフレーム間差分を積分する差分演算部５０１１を備える。また、ヒストグラムを用いる場合には、例えば、図５Ｃに示すように、被写体検出処理部５０１の代わりにヒストグラムを算出しフレーム間のヒストグラムの差分またはその積分を計算するヒストグラム差分演算部５０１２を備える。

【0055】

図９は、図１に示す画像処理装置１００の実施例２である撮像装置９００を示す図である。なお、図５に示す構成と同じ構成には同じ符号を付しその構成の説明を省略する。

【0056】

図９に示す撮像装置９００の特徴とする点は、要不要判定データ生成部１０３としてフォーカス情報処理部９０１を備え、そのフォーカス情報処理部９０１により、画像処理後の動画像の各動画像フレームに対して、それぞれ、要不要判定データとしての「フォーカス情報」が設定され、メタデータ生成部１０５により、「フォーカス情報」と識別情報ＰＩＤとが統合されてメタデータとして要不要判定部１０７へ出力される点である。

【0057】

図１０は、図９に示す撮像装置９００における要不要判定部１０７の動作の一例を示すフローチャートである。

【0058】

まず、要不要判定部１０７は、撮像部１０１により動画像フレームが取得され始めて、メタデータ生成部１０５からメタデータが出力され始めると、そのメタデータに示される「フォーカス情報」を入力する（Ｓ３１）。なお、フォーカス情報処理部９０１は、撮像部１０１が動画像フレームを取得する度に、その動画像フレームに対応するコントラスト評価値Ｃ０を画像処理部１０２から得るとともに、フォーカスレンズのレンズ位置Ｌ０を撮像部１０１から得てメタデータ生成部１０５へ出力する。また、コントラスト評価値Ｃ０が０よりも小さいとき、フォーカスができていない、すなわち、フォーカスレンズの焦点が合っていないものとする。

【0059】

次に、要不要判定部１０７は、Ｃ０が０以上である、すなわち、フォーカスレンズの焦点が合っていると判断した場合（Ｓ３２がＮｏ）、今回取得された動画像フレームに対応するレンズ位置Ｌ０＿ｎを要不要判定部１０７の内部又は外部にある記憶部に保持する（Ｓ３３）。

【0060】

次に、要不要判定部１０７は、今回取得された動画像フレームに対応するレンズ位置Ｌ０＿ｎと前回取得された動画像フレームに対応するレンズ位置Ｌ０＿ｎ−１とを上記記憶部から読み出し（Ｓ３４）、それらレンズ位置Ｌ０＿ｎとレンズ位置Ｌ０＿ｎ−１との差分の絶対値が閾値Ｔｈｒ＿Ｌよりも大きいか否か、すなわち、フォーカスが安定していないか否かを判断する（Ｓ３５）。

【0061】

フォーカスが安定していると判断した場合（Ｓ３５がＮｏ）、要不要判定部１０７は、その動画像フレームを編集時や再生時に必要な動画像フレームであると判断して、要不要判定フラグＦＬＧ＿ｎ＝１を設定し（Ｓ３６）、その要不要判定フラグＦＬＧ＿ｎ＝１を要不要判定部１０７の内部又は外部にある記憶部に保持する（Ｓ３７）。

【0062】

次に、要不要判定部１０７は、今回取得された動画像フレームの要不要判定フラグＦＬＧ＿ｎと前回取得された動画像フレームの要不要判定フラグＦＬＧ＿ｎ−１とを上記記憶部から読み出し（Ｓ３８）、それら要不要判定フラグＦＬＧ＿ｎと要不要判定フラグＦＬＧ＿ｎ−１との乗算結果がゼロよりも小さいか否か、すなわち、前回取得された動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの末尾の動画像フレームであるか否かを判断する（Ｓ３９）。

【0063】

前回取得した動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの末尾の動画像フレームであると判断した場合（Ｓ３９がＹｅｓ）、要不要判定部１０７は、不要な１以上の動画像フレームのうちの末尾の動画像フレームであることを示す末尾情報Ｋｊと前回取得された動画像フレームに対応する識別情報ＰＩＤとを統合して（Ｓ４０）、動画像ファイル管理部１０８に出力する（Ｓ４１）。

【0064】

次に、要不要判定部１０７は、ユーザからの動画撮影終了指示などを受け取り動画撮影が終了したと判断すると（Ｓ４２がＹｅｓ）、不要な動画像フレームの判定処理を終了し、まだ動画撮影が終了していないと判断すると（Ｓ４２がＮｏ）、Ｓ３１に戻り、次に取得される動画像フレームに対応するメタデータを入力する。

【0065】

一方、前回取得された動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの末尾の動画像フレームでないと判断した場合、すなわち、今回取得された動画像フレームも編集時や再生時に必要な動画像フレームであり必要な動画像フレームを連続して取得していると判断した場合（Ｓ３９がＮｏ）、要不要判定部１０７は、Ｓ４０及びＳ４１を実行せずに、動画撮影が終了したか否かを判断する（Ｓ４２）。

【0066】

また、要不要判定部１０７は、フォーカスができていないと判断した場合（Ｓ３２がＹｅｓ）又はフォーカスが安定していないと判断した場合（Ｓ３５がＹｅｓ）、そのときの動画像フレームを編集時や再生時に不要な動画像フレームであると判断して、要不要判定フラグＦＬＧ＿ｎ＝−１を設定し（Ｓ４３）、その要不要判定フラグＦＬＧ＿ｎ＝−１を要不要判定部１０７の内部又は外部にある記憶部に保持する（Ｓ４４）。

【0067】

次に、要不要判定部１０７は、今回取得された動画像フレームの要不要判定フラグＦＬＧ＿ｎと前回取得された動画像フレームの要不要判定フラグＦＬＧ＿ｎ−１とを上記記憶部から読み出し（Ｓ４５）、それら要不要判定フラグＦＬＧ＿ｎと要不要判定フラグＦＬＧ＿ｎ−１との乗算結果がゼロよりも小さいか否か、すなわち、今回取得された動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの先頭の動画像フレームであるか否かを判断する（Ｓ４６）。

【0068】

今回取得された動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの先頭の動画像フレームであると判断した場合（Ｓ４６がＹｅｓ）、要不要判定部１０７は、不要な１以上の動画像フレームのうちの先頭の動画像フレームであることを示す先頭情報Ｋｉと今回取得した動画像フレームに対応する識別情報ＰＩＤとを統合して（Ｓ４７）、動画像ファイル管理部１０８に出力し（Ｓ４８）、動画撮影が終了したか否かを判断する（Ｓ４２）。

【0069】

一方、今回取得した動画像フレームが編集時に不要な１以上の動画像フレームのうちの先頭の動画像フレームでないと判断した場合、すなわち、前回取得された動画像フレームも編集時に不要な動画像フレームであり不要な動画像フレームを連続して取得していると判断した場合（Ｓ４６がＮｏ）、要不要判定部１０７は、Ｓ４７及びＳ４８を実行せずに、動画撮影が終了したか否かを判断する（Ｓ４２）。

【0070】

そして、動画像ファイル管理部１０８は、要不要判定部１０７から先頭情報Ｋｉ及び末尾情報Ｋｊが出力されると、先頭情報Ｋｉとともに出力された識別情報ＰＩＤから先頭情報Ｋｊとともに出力された識別情報ＰＩＤまでの間の全ての識別情報に対応する記録部１０６の記録位置におけるデータの状態を示す情報をそれぞれデータが無い旨の情報に書き換える。

【0071】

図９に示す撮像装置９００では、フォーカスができていないか否か又はフォーカスが安定していないか否かに応じて、動画像フレームの要不要が判断されるため、例えば、被写体だけでなく撮影者も移動している場合において取得される動画像ファイルのデータ量の削減に有効である。

【0072】

図１１は、図１に示す画像処理装置１００の実施例３である撮像装置１１００を示す図である。なお、図５に示す構成と同じ構成には同じ符号を付しその構成の説明を省略する。

【0073】

図１１に示す撮像装置１１００の特徴とする点は、要不要判定データ生成部１０３としてズーム情報処理部１１０１を備え、そのズーム情報処理部１１０１により、画像処理後の動画像の各動画像フレームに対して、それぞれ、要不要判定データとしての「ズーム情報」が設定され、メタデータ生成部１０５により、「ズーム情報」と識別情報ＰＩＤとが統合されてメタデータとして要不要判定部１０７へ出力される点である。

【0074】

図１２は、図１１に示す撮像装置１１００における要不要判定部１０７の動作の一例を示すフローチャートである。

【0075】

まず、要不要判定部１０７は、撮像部１０１により動画像フレームが取得され始めて、メタデータ生成部１０５からメタデータが出力され始めると、そのメタデータに示される「ズーム情報」を入力する（Ｓ５１）。なお、ズーム情報処理部１１０１は、撮像部１０１が動画像フレームを取得する度に、その動画像フレームに対応するズーム情報Ｚ０（例えば、ズームレンズのレンズ位置やレンズ移動量など）を撮像部１０１から得てメタデータ生成部１０５へ出力する。

【0076】

次に、要不要判定部１０７は、入力されるズーム情報Ｚ０を要不要判定部１０７の内部又は外部にある記憶部に保持する（Ｓ５２）。

【0077】

次に、要不要判定部１０７は、今回取得された動画像フレームに対応するズーム情報Ｚ０＿ｎと前回取得された動画像フレームに対応するズーム情報Ｚ０＿ｎ−１とを上記記憶部から読み出し（Ｓ５３）、それらズーム情報Ｚ０＿ｎとズーム情報Ｚ０＿ｎ−１との差分の絶対値が閾値Ｔｈｒ＿Ｚよりも大きいか否か、すなわち、ズームレンズのレンズ位置が安定していないか否かを判断する（Ｓ５４）。

【0078】

ズームレンズのレンズ位置が安定していると判断した場合（Ｓ５４がＮｏ）、要不要判定部１０７は、今回取得された動画像フレームを編集時や再生時に必要な動画像フレームであると判断して、要不要判定フラグＦＬＧ＿ｎ＝１を設定し（Ｓ５５）、その要不要判定フラグＦＬＧ＿ｎ＝１を要不要判定部１０７の内部又は外部にある記憶部に保持する（Ｓ５６）。

【0079】

次に、要不要判定部１０７は、今回取得された動画像フレームの要不要判定フラグＦＬＧ＿ｎと前回取得された動画像フレームの要不要判定フラグＦＬＧ＿ｎ−１とを上記記憶部から読み出し（Ｓ５７）、それら要不要判定フラグＦＬＧ＿ｎと要不要判定フラグＦＬＧ＿ｎ−１との乗算結果がゼロよりも小さいか否か、すなわち、前回取得された動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの末尾の動画像フレームであるか否かを判断する（Ｓ５８）。

【0080】

前回取得した動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの末尾の動画像フレームであると判断した場合（Ｓ５８がＹｅｓ）、要不要判定部１０７は、不要な１以上の動画像フレームのうちの末尾の動画像フレームであることを示す末尾情報Ｋｊと前回取得された動画像フレームに対応する識別情報ＰＩＤとを統合して（Ｓ５９）、動画像ファイル管理部１０８に出力する（Ｓ６０）。

【0081】

次に、要不要判定部１０７は、ユーザからの動画撮影終了指示などを受け取り動画撮影が終了したと判断すると（Ｓ６１がＹｅｓ）、不要な動画像フレームの判定処理を終了し、まだ動画撮影が終了していないと判断すると（Ｓ６１がＮｏ）、Ｓ５１に戻り、次に取得される動画像フレームに対応するメタデータを入力する。

【0082】

一方、前回取得された動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの末尾の動画像フレームでないと判断した場合、すなわち、今回取得された動画像フレームも編集時や再生時に必要な動画像フレームであり必要な動画像フレームを連続して取得していると判断した場合（Ｓ５８がＮｏ）、要不要判定部１０７は、Ｓ５９及びＳ６０を実行せずに、動画撮影が終了したか否かを判断する（Ｓ６１）。

【0083】

また、要不要判定部１０７は、ズームレンズのレンズ位置が安定していないと判断した場合（Ｓ５４がＹｅｓ）、今回取得された動画像フレームを編集時や再生時に不要な動画像フレームであると判断して、要不要判定フラグＦＬＧ＿ｎ＝−１を設定し（Ｓ６２）、その要不要判定フラグＦＬＧ＿ｎ＝−１を要不要判定部１０７の内部又は外部にある記憶部に保持する（Ｓ６３）。

【0084】

次に、要不要判定部１０７は、今回取得された動画像フレームの要不要判定フラグＦＬＧ＿ｎと前回取得された動画像フレームの要不要判定フラグＦＬＧ＿ｎ−１とを上記記憶部から読み出し（Ｓ６４）、それら要不要判定フラグＦＬＧ＿ｎと要不要判定フラグＦＬＧ＿ｎ−１との乗算結果がゼロよりも小さいか否か、すなわち、今回取得された動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの先頭の動画像フレームであるか否かを判断する（Ｓ６５）。

【0085】

今回取得された動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの先頭の動画像フレームであると判断した場合（Ｓ６５がＹｅｓ）、要不要判定部１０７は、不要な１以上の動画像フレームのうちの先頭の動画像フレームであることを示す先頭情報Ｋｉと今回取得した動画像フレームに対応する識別情報ＰＩＤとを統合して（Ｓ６６）、動画像ファイル管理部１０８に出力し（Ｓ６７）、動画撮影が終了したか否かを判断する（Ｓ６１）。

【0086】

一方、今回取得した動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの先頭の動画像フレームでないと判断した場合、すなわち、前回取得された動画像フレームも編集時や再生時に不要な動画像フレームであり不要な動画像フレームを連続して取得していると判断した場合（Ｓ６５がＮｏ）、要不要判定部１０７は、Ｓ６６及びＳ６７を実行せずに、動画撮影が終了したか否かを判断する（Ｓ６１）。

【0087】

そして、動画像ファイル管理部１０８は、要不要判定部１０７から先頭情報Ｋｉ及び末尾情報Ｋｊが出力されると、先頭情報Ｋｉとともに出力された識別情報ＰＩＤから先頭情報Ｋｊとともに出力された識別情報ＰＩＤまでの間の全ての識別情報に対応する記録部１０６の記録位置におけるデータの状態を示す情報をそれぞれデータが無い旨の情報に書き換える。

【0088】

図１１に示す撮像装置１１００では、ズームレンズのレンズ位置が安定していないか否かに応じて、動画像フレームの要不要が判断されるため、例えば、被写体が撮影者に対して前後方向に移動している場合において取得される動画像ファイルのデータ量の削減に有効である。

【0089】

なお、不要な動画像フレームの要不要判定処理に使用される情報は、上述した実施例１〜３のように、被写体の位置やサイズ、フォーカス情報、又はズーム情報に限定されない。例えば、画像処理後の各動画像フレームの輝度階調のヒストグラムを使用してもよい。

【0090】

また、上述した被写体の位置やサイズ、フォーカス情報、ズーム情報、及び輝度階調のヒストグラムのうち、２つ以上の情報を組み合わせて、不要な動画像フレームの要不要判定処理に使用してもよい。

【0091】

図１３は、図１に示す画像処理装置１００の実施例４である撮像装置１３００を示す図である。なお、図５に示す構成と同じ構成には同じ符号を付しその構成の説明を省略する。

【0092】

図１３に示す撮像装置１３００の特徴とする点は、要不要判定データ生成部１０３として無線アンテナ１３０１及び受信信号強度検出部１３０２を備え、受信信号強度検出部１３０２により、画像処理後の動画像の各動画像フレームに対して、それぞれ、要不要判定データとしての受信信号強度情報（ＲＳＳＩ：Ｒｅｃｅｉｖｅｄ Ｓｉｇｎａｌ Ｓｔｒｅｎｇｔｈ Ｉｎｄｉｃａｔｉｏｎ）Ｒ０が検出され、メタデータ生成部１０５により、受信信号強度情報Ｒ０と識別情報ＰＩＤとが統合されてメタデータとして要不要判定部１０７へ出力される点である。なお、無線アンテナ１３０１は、被写体に備えられる送信機から送信される信号や撮像装置１３００から送信され被写体に反射した信号を受信するものとする。

【0093】

図１４は、図１３に示す撮像装置１３００における要不要判定部１０７の動作の一例を示すフローチャートである。

【0094】

まず、要不要判定部１０７は、撮像部１０１により動画像フレームが取得され始めて、メタデータ生成部１０５からメタデータが出力され始めると、そのメタデータに示される「受信信号強度情報」を入力する（Ｓ７１）。なお、受信信号強度検出部１３０２は、撮像部１０１が動画像フレームを取得する度に、その動画像フレームに対応させて、無線アンテナ１３０１により受信される受信信号のレベルを受信信号強度情報Ｒ０としてメタデータ生成部１０５へ出力する。

【0095】

次に、要不要判定部１０７は、入力される受信信号強度情報Ｒ０が閾値Ｔｈｒ＿Ｒよりも大きいか否か、すなわち、撮像装置１３００に対して被写体が遠い位置にあるか否かを判断する（Ｓ７２）。

【0096】

被写体が遠い位置にないと判断した場合（Ｓ７２がＮｏ）、要不要判定部１０７は、今回取得された動画像フレームを編集時や再生時に必要な動画像フレームであると判断して、要不要判定フラグＦＬＧ＿ｎ＝１を設定し（Ｓ７３）、その要不要判定フラグＦＬＧ＿ｎ＝１を要不要判定部１０７の内部又は外部にある記憶部に保持する（Ｓ７４）。

【0097】

次に、要不要判定部１０７は、今回取得された動画像フレームの要不要判定フラグＦＬＧ＿ｎと前回取得された動画像フレームの要不要判定フラグＦＬＧ＿ｎ−１とを上記記憶部から読み出し（Ｓ７５）、それら要不要判定フラグＦＬＧ＿ｎと要不要判定フラグＦＬＧ＿ｎ−１との乗算結果がゼロよりも小さいか否か、すなわち、前回取得された動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの末尾の動画像フレームであるか否かを判断する（Ｓ７６）。

【0098】

前回取得した動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの末尾の動画像フレームであると判断した場合（Ｓ７６がＹｅｓ）、要不要判定部１０７は、不要な１以上の動画像フレームのうちの末尾の動画像フレームであることを示す末尾情報Ｋｊと前回取得された動画像フレームに対応する識別情報ＰＩＤとを統合して（Ｓ７７）、動画像ファイル管理部１０８に出力する（Ｓ７８）。例えば、図１５に示すように、識別情報ＰＩＤ＝１５〜２２の複数の動画像フレームが取得された場合において、識別情報ＰＩＤ＝２２に対応する要不要判定フラグＦＬＧ＿ｎが「１」で、かつ、識別情報ＰＩＤ＝２１に対応する要不要判定フラグＦＬＧ＿ｎ−１が「−１」のとき、要不要判定部１０７は、末尾情報Ｋｊと識別情報ＰＩＤ＝２１とを統合して動画像ファイル管理部１０８に出力する。

【0099】

次に、要不要判定部１０７は、ユーザからの動画撮影終了指示などを受け取り動画撮影が終了したと判断すると（Ｓ７９がＹｅｓ）、不要な動画像フレームの判定処理を終了し、まだ動画撮影が終了していないと判断すると（Ｓ７９がＮｏ）、Ｓ７１に戻り、次に取得される動画像フレームに対応するメタデータを入力する。

【0100】

一方、前回取得された動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの末尾の動画像フレームでないと判断した場合、すなわち、今回取得された動画像フレームも編集時や再生時に必要な動画像フレームであり必要な動画像フレームを連続して取得していると判断した場合（Ｓ７６がＮｏ）、要不要判定部１０７は、Ｓ７７及びＳ７８を実行せずに、動画撮影が終了したか否かを判断する（Ｓ７９）。

【0101】

また、要不要判定部１０７は、被写体が遠い位置にあると判断した場合（Ｓ７２がＹｅｓ）、今回取得された動画像フレームを編集時や再生時に不要な動画像フレームであると判断して、要不要判定フラグＦＬＧ＿ｎ＝−１を設定し（Ｓ８０）、その要不要判定フラグＦＬＧ＿ｎ＝−１を要不要判定部１０７の内部又は外部にある記憶部に保持する（Ｓ８１）。

【0102】

次に、要不要判定部１０７は、今回取得された動画像フレームの要不要判定フラグＦＬＧ＿ｎと前回取得された動画像フレームの要不要判定フラグＦＬＧ＿ｎ−１とを上記記憶部から読み出し（Ｓ８２）、それら要不要判定フラグＦＬＧ＿ｎと要不要判定フラグＦＬＧ＿ｎ−１との乗算結果がゼロよりも小さいか否か、すなわち、今回取得された動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの先頭の動画像フレームであるか否かを判断する（Ｓ８３）。

【0103】

今回取得された動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの先頭の動画像フレームであると判断した場合（Ｓ８４がＹｅｓ）、要不要判定部１０７は、不要な１以上の動画像フレームのうちの先頭の動画像フレームであることを示す先頭情報Ｋｉと今回取得した動画像フレームに対応する識別情報ＰＩＤとを統合して（Ｓ８４）、動画像ファイル管理部１０８に出力し（Ｓ８５）、動画撮影が終了したか否かを判断する（Ｓ７９）。例えば、図１５に示すように、識別情報ＰＩＤ＝１５〜２２の複数の動画像フレームが取得された場合において、識別情報ＰＩＤ＝１６に対応する要不要判定フラグＦＬＧ＿ｎが「−１」で、かつ、識別情報ＰＩＤ＝１５に対応する要不要判定フラグＦＬＧ＿ｎ−１が「１」のとき、要不要判定部１０７は、先頭情報Ｋｉと識別情報ＰＩＤ＝１６とを統合して動画像ファイル管理部１０８に出力する。

【0104】

一方、今回取得した動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの先頭の動画像フレームでないと判断した場合、すなわち、前回取得された動画像フレームも編集時や再生時に不要な動画像フレームであり不要な動画像フレームを続けて取得していると判断した場合（Ｓ８３がＮｏ）、要不要判定部１０７は、Ｓ８４及びＳ８５を実行せずに、動画撮影が終了したか否かを判断する（Ｓ７９）。

【0105】

そして、動画像ファイル管理部１０８は、要不要判定部１０７から先頭情報Ｋｉ及び末尾情報Ｋｊが出力されると、先頭情報Ｋｉとともに出力された識別情報ＰＩＤから先頭情報Ｋｊとともに出力された識別情報ＰＩＤまでの間の全ての識別情報に対応する記録部１０６の記録位置におけるデータの状態を示す情報をそれぞれデータが無い旨の情報に書き換える。

【0106】

図１３に示す撮像装置１３００では、受信信号強度情報Ｒ０に応じて、動画像フレームの要不要が判定されるため、例えば、撮像装置１３００に対して被写体が前後に移動している場合において取得される動画像ファイルのデータ量の削減に有効である。

【0107】

なお、上述の撮像装置１３００では、要不要判定部１０７において、受信信号強度情報Ｒ０が閾値Ｔｈｒ＿Ｒよりも大きいか否かに基づいて、動画像フレームの要不要判定処理を行う構成であるが、受信信号強度検出部１３０２において、受信信号強度情報Ｒ０が閾値Ｔｈｒ＿Ｒよりも大きいか否かに基づいて、動画像フレームの要不要判定処理を行うように構成してもよい。このように構成する場合、メタデータ生成部１０５において、不要な動画像フレームであることを示すフラグと、その動画像フレームに対応する識別情報とが統合されてメタデータが生成される。また、動画像ファイル管理部１０８は、そのメタデータにおける識別情報に対応する記録部１０６の記録位置におけるデータの状態を示す情報をそれぞれデータが無い旨の情報に書き換える。また、要不要判定部１０７を省略することができる。

【0108】

図１６は、図１に示す画像処理装置１００の実施例５である撮像装置１６００を示す図である。なお、図５に示す構成と同じ構成には同じ符号を付しその構成の説明を省略する。

【0109】

図１６に示す撮像装置１６００の特徴とする点は、要不要判定データ生成部１０３の代わりに、縮小画像生成部１６０１を備え、その縮小画像生成部１６０１により、画像処理後の動画像の各動画像フレームがそれぞれ縮小され、それら縮小画像と識別情報ＰＩＤとが統合されてメタデータとして要不要判定データ生成部１０３へ出力される点である。

【0110】

図１６に示す要不要判定データ生成部１０３は、入力されるメタデータにおける縮小画像に基づいて、そのメタデータにおける識別情報に対応する動画像フレームが不要な動画像フレームであるか否かを判定するために用いられる要不要判定データを生成する。図１６に示す要不要判定データ生成部１０３で生成される要不要判定データとしては、例えば、上述した被写体の位置やサイズ又は輝度階調のヒストグラムなどとする。

【0111】

なお、図１６に示す要不要判定部１０７や動画像ファイル管理部１０８の動作は、上述した実施例１〜４における要不要判定部１０７や動画像ファイル管理部１０８の動作と同様とする。また、図１６に示す要不要判定データ生成部１０３は、要不要判定部１０７の内部に設けられてもよい。

【0112】

このように、図１６に示す撮像装置１６００は、要不要判定データを生成する際、縮小画像を用いるため、要不要判定データを生成する際に撮像装置１６００にかかる負荷を抑えることができる。

【0113】

図１７は、本発明の実施形態の画像処理システムを示す図である。なお、図１に示す構成と同じ構成には同じ符号を付しその構成の説明を省略する。

【0114】

図１７に示す画像処理システムは、画像処理装置１００と、サーバ１７００とを有し、画像処理装置１００とサーバ１７００とが互いにネットワーク１７０１を介してデータを送受信する。

【0115】

図１７に示す画像処理装置１００において、図１に示す画像処理装置１００と異なる点は、不要な動画像フレームの判定処理を画像処理装置１００の外部のサーバ１７００で行わせている点である。

【0116】

すなわち、図１７に示す画像処理装置１００の送信部１７０２は、メタデータ生成部１０５で生成されるメタデータをサーバ１７００へ送信する。

【0117】

また、図１７に示すサーバ１７００の要不要判定部１７０３は、受信部１７０４で受信されるメタデータにおける要不要判定データに基づいて、そのメタデータにおける識別情報に対応する動画像フレームが不要な動画像フレームであるか否かを判定し、その判定結果を送信部１７０５により画像処理装置１００へ送信する。

【0118】

そして、図１７に示す画像処理装置１００の動画像ファイル管理部１０８は、記録部１０６内の識別情報／記録位置テーブルを用いて、受信部１７０６で受信される判定結果により、不要な動画像フレームと判定された動画像フレームの識別情報に対応する記録部１０６内の記録位置を特定する。また、動画像ファイル管理部１０８は、記録部１０６内の記録位置／データ状態情報テーブルを用いて、特定した記録位置に対応するデータの状態を示す情報を特定し、その特定したデータの状態を示す情報を、データが無い旨の情報に書き換える。

【0119】

なお、図１７に示す記録部１０６は、記録部１０６に記録される全ての識別情報と、それら識別情報にそれぞれ対応する記録部１０６の記録位置におけるデータの状態を示す情報とが対応付けられたテーブルを備えていてもよい。また、この場合、図１７に示す動画像ファイル管理部１０８は、このテーブルを用いて、サーバ１７００から送信される、不要な動画像フレームと判定された動画像フレームの識別情報に対応する記録部１０６の記録位置におけるデータの状態を示す情報をデータが無い旨の情報に書き換えるように構成してもよい。

【0120】

また、図１７に示す画像処理装置１００は、上述した実施例１〜５の何れかの撮像装置に置き換えることができる。

【0121】

このように、図１７に示す画像処理システムは、動画像フレームの要不要判定処理を画像処理装置１００の外部のサーバ１７００側で行う構成であるため、画像処理装置１００にかかる負荷を抑えることができる。

【0122】

図１８は、本発明の他の実施形態の画像処理システムを示す図である。なお、図１７に示す画像処理システムの構成と同じ構成には同じ符号を付しその構成の説明を省略する。

【0123】

図１８に示す画像処理システムにおいて、図１７に示す画像処理システムと異なる点は、要不要判定データ生成部１０３の代わりに、図１６に示す縮小画像生成部１６０１が画像処理装置１００に備えられているとともに、サーバ１７００に要不要判定データ生成部１８００が備えられている点である。

【0124】

すなわち、画像処理装置１００の縮小画像生成部１６０１により、画像処理後の動画像の各動画像フレームそれぞれの縮小画像が生成され、メタデータ生成部１０５により縮小画像と識別情報ＰＩＤとが統合されてメタデータとしてネットワーク１７０１を介して画像処理装置１００からサーバ１７００へ送信される。

【0125】

また、サーバ１７００の要不要判定データ生成部１８００により、受信されるメタデータにおける縮小画像に基づいて、そのメタデータにおける識別情報に対応する動画像フレームが不要な動画像フレームであるか否かを判定するために用いられる要不要判定データが生成される。なお、要不要判定データ生成部１８００で生成される要不要判定データは、例えば、上述した被写体の位置やサイズ又は輝度階調のヒストグラムなどとする。

【0126】

また、サーバ１７００の要不要判定部１７０３は、要不要判定データ生成部１８００で生成された要不要判定データに基づいて、受信されるメタデータにおける識別情報に対応する動画像フレームが編集時に不要な動画像フレームであるか否かを判定し、その判定結果を送信部１７０５により画像処理装置１００へ送信する。

【0127】

そして、画像処理装置１００の動画像ファイル管理部１０８は、記録部１０６内の識別情報／記録位置テーブルを用いて、受信部１７０６で受信される、不要な動画像フレームと判定された動画像フレームの識別情報に対応する記録部１０６内の記録位置を特定する。また、動画像ファイル管理部１０８は、記録部１０６内の記録位置／データ状態情報テーブルを用いて、特定した記録位置に対応するデータの状態を示す情報を特定し、その特定したデータの状態を示す情報をデータが無い旨の情報に書き換える。

【0128】

なお、図１８に示す記録部１０６は、記録部１０６に記録される全ての識別情報と、それら識別情報にそれぞれ対応する記録部１０６の記録位置におけるデータの状態を示す情報とが対応付けられたテーブルを備えていてもよい。また、この場合、図１８に示す動画像ファイル管理部１０８は、このテーブルを用いて、サーバ１７００から送信される、不要な動画像フレームと判定された動画像フレームの識別情報に対応する記録部１０６の記録位置におけるデータの状態を示す情報をデータが無い旨の情報に書き換えるように構成してもよい。

【0129】

このように、図１８に示す画像処理システムは、要不要判定データ生成部１８００をサーバ１７００に備えているため、画像処理装置１００にかかる負荷を抑えることができる。また、図１８に示す画像処理システムは、要不要判定データを生成する際、縮小画像を用いるため、要不要判定データを生成する際にサーバ１７００にかかる負荷を抑えることができる。

【0130】

図１９は、本発明のさらに他の実施形態の画像処理システムを示す図である。なお、図１に示す画像処理装置１００の構成や図１７に示す画像処理システムの構成と同じ構成には同じ符号を付しその構成の説明を省略する。

【0131】

図１９に示す画像処理システムにおいて、図１７に示す画像処理システムと異なる点は、画像処理装置１００が要不要判定部１０７、負荷状態測定部１９００、及び分配切替部１９０１をさらに備えている点である。
この負荷状態測定部１９００は、画像処理装置１００に負荷をかけて良い状態であるか否かを判断するための情報を検出する検出部の一例である。なお、特許請求の範囲における検出手段は、例えば、負荷状態測定部１９００とする。

【0132】

負荷状態測定部１９００は、画像処理装置１００のリソース（例えば、ＣＰＵやメモリなど）の負荷状態を測定する。

【0133】

分配切替部１９０１は、負荷状態測定部１９００で測定される負荷状態に応じて、メタデータ生成部１０５で生成されるメタデータの送り先として、サーバ１７００の要不要判定部１７０３及び画像処理装置１００の要不要判定部１０７のどちらか一方に切り替える。例えば、分配切替部１９０１は、画像処理装置１００のリソースにかかっている負荷が高い場合、メタデータをサーバ１７００の要不要判定部１７０３へ送り、画像処理装置１００のリソースにかかっている負荷が高くない場合、メタデータを画像処理装置１００の要不要判定部１０７に送る。

【0134】

このように、図１９に示す画像処理システムは、画像処理装置１００のリソースにかかる負荷が高い場合、動画像フレームの要不要判定処理を行う際に画像処理装置１００のリソースを十分に利用することができないと判断して、動画像フレームの要不要判定処理を画像処理装置１００の外部のサーバ１７００で行わせる構成であるため、動画像フレームの要不要判定処理の効率を向上させることができる。

【0135】

図２０は、本発明のさらに他の実施形態の画像処理システムを示す図である。なお、図１７に示す画像処理システムの構成と同じ構成には同じ符号を付しその構成の説明を省略する。

【0136】

図２０に示す画像処理システムにおいて、図１７に示す画像処理システムと異なる点は、画像処理装置１００が要不要判定部１０７、電源モード検知部２０００、及び分配切替部２００１をさらに備えている点である。
この電源モード検知部２０００は、画像処理装置１００に負荷をかけて良い状態であるか否かを判断するための情報を検出する検出部の一例である。なお、特許請求の範囲における検出手段は、例えば、電源モード検知部２０００とする。

【0137】

電源モード検知部２０００は、画像処理装置１００の電源モード（例えば、画像処理装置１００の各部の全てに電力が供給される起動モードや画像処理装置１００の各部の一部に電力が供給される節電（待機）モード）を検知する。

【0138】

分配切替部２００１は、電源モード検知部２０００で検知される電源モードに応じて、メタデータ生成部１０５で生成されるメタデータの送り先を、サーバ１７００の要不要判定部１７０３及び画像処理装置１００の要不要判定部１０７のどちらか一方に切り替える。例えば、分配切替部２００１は、画像処理装置１００の電源モードが「節電（待機）モード」である場合、メタデータをサーバ１７００の要不要判定部１７０３へ送り、画像処理装置１００の電源モードが「起動モード」である場合、メタデータを画像処理装置１００の要不要判定部１０７に送る。

【0139】

このように、図２０に示す画像処理システムは、画像処理装置１００の電源モードが「節電（待機）モード」である場合、動画像フレームの要不要判定処理を行う際に画像処理装置１００のリソースを十分に利用することができないと判断して、動画像フレームの要不要判定処理を画像処理装置１００の外部のサーバ１７００で行わせる構成であるため、動画像フレームの要不要判定処理の効率を向上させることができる。

【符号の説明】

【0140】

１００ 画像処理装置
１０１ 撮像部
１０２ 画像処理部
１０３ 要不要判定データ生成部
１０４ 画像符号化部
１０５ メタデータ生成部
１０６ 記録部
１０７ 要不要判定部
１０８ 動画像ファイル管理部
１０９ 制御処理部

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図4】

【図5A】

【図5B】

【図5C】

【図6】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図7】

【図8】