特許 6232828 静止画像提供装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6232828

(24)【登録日】2017年11月2日

(45)【発行日】2017年11月22日

(54)【発明の名称】静止画像提供装置

(51)【国際特許分類】

   H04N 21/234 20110101AFI20171113BHJP

   H04N 5/91 20060101ALI20171113BHJP

   H04N 7/18 20060101ALI20171113BHJP

【ＦＩ】

   H04N21/234

   H04N5/91

   H04N7/18 U

【請求項の数】9

【全頁数】18

(21)【出願番号】特願2013-168125(P2013-168125)

(22)【出願日】2013年8月13日

(65)【公開番号】特開2015-37236(P2015-37236A)

(43)【公開日】2015年2月23日

【審査請求日】2016年7月4日

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100124811

【弁理士】

【氏名又は名称】馬場 資博

(74)【代理人】

【識別番号】100088959

【弁理士】

【氏名又は名称】境 廣巳

(72)【発明者】

【氏名】神南 吉宏

【審査官】 川中 龍太

(56)【参考文献】

【文献】 特開２０１１−２５９３２０（ＪＰ，Ａ）

【文献】 特開２００９−１８７１５５（ＪＰ，Ａ）

【文献】 特開２００７−２５９１２８（ＪＰ，Ａ）

【文献】 特開２００９−１９４４９１（ＪＰ，Ａ）

【文献】 特開２００４−１２０２５２（ＪＰ，Ａ）

【文献】 特開２０１３−０９０１９４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ２１／００ − ２１／８５８

Ｈ０４Ｎ ５／７６ − ５／７７５

Ｈ０４Ｎ ５／９１ − ５／９５６

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

動画像を取得する動画取得部と、
静止画を記憶する静止画蓄積部と、
前記動画像から前記静止画を抽出するのに要するコストに基づいて予め保存することにより得られる利得を算出し、前記動画像を構成する複数の静止画の中から前記利得のより高い一部の前記静止画を前記動画像から抽出して前記静止画蓄積部に記憶する画像処理部と、
要求元から要求された静止画を前記静止画蓄積部から読み出して前記要求元へ送信し、前記要求元から要求された前記静止画が前記静止画蓄積部に記憶されていなければ、前記要求元から要求された前記静止画を前記動画取得部により取得した前記動画像から抽出して前記要求元へ送信する要求処理部と
を有する静止画像提供装置。

【請求項2】

前記画像処理部は、前記利得の算出では、前記コストに加えて、前記静止画の品質に基づいて前記静止画の利得を算出する
請求項１に記載の静止画像提供装置。

【請求項3】

前記画像処理部は、前記利得の算出では、前記コストに加えて、前記静止画の他の前記静止画との差分量に基づいて前記静止画の利得を算出する
請求項１または２に記載の静止画像提供装置。

【請求項4】

前記画像処理部は、前記利得のより高い一部の前記静止画の前記動画像からの抽出と前記静止画蓄積部への記憶では、前記利得が一定値を超える前記静止画を前記動画像から抽出して前記静止画蓄積部に記憶する
請求項１乃至３の何れかに記載の静止画像提供装置

【請求項5】

前記画像処理部は、前記利得のより高い一部の前記静止画の前記動画像からの抽出と前記静止画蓄積部への記憶では、前記算出した利得を、前記静止画蓄積部に既に蓄積されている前記静止画のうちの最小の前記利得と比較し、前記算出した利得が前記最小の前記利得より大きければ、前記算出した利得の前記静止画を前記静止画蓄積部に記憶すると共に前記最小の利得の前記静止画を前記静止画蓄積部から削除する
請求項１乃至３の何れかに記載の静止画像提供装置。

【請求項6】

静止画を記憶する静止画蓄積部を有する静止画像提供装置が実行する静止画像提供方法であって、
動画像を取得し、前記動画像から前記静止画を抽出するのに要するコストに基づいて予め保存することにより得られる利得を算出し、前記動画像を構成する複数の静止画の中から前記利得のより高い一部の前記静止画を前記動画像から抽出して前記静止画蓄積部に記憶し、
要求元から要求された静止画を前記静止画蓄積部から読み出して前記要求元へ送信し、前記要求元から要求された前記静止画が前記静止画蓄積部に記憶されていなければ、前記要求元から要求された前記静止画を含む前記動画像から前記静止画を抽出して前記要求元へ送信する
静止画像提供方法。

【請求項7】

コンピュータを、
動画像を取得する動画取得部と、
静止画を記憶する静止画蓄積部と、
前記動画像から前記静止画を抽出するのに要するコストに基づいて予め保存することにより得られる利得を算出し、前記動画像を構成する複数の静止画の中から前記利得のより高い一部の前記静止画を前記動画像から抽出して前記静止画蓄積部に記憶する画像処理部と、
要求元から要求された静止画を前記静止画蓄積部から読み出して前記要求元へ送信し、前記要求元から要求された前記静止画が前記静止画蓄積部に記憶されていなければ、前記要求元から要求された前記静止画を前記動画取得部により取得した前記動画像から抽出して前記要求元へ送信する要求処理部と
して機能させるためのプログラム。

【請求項8】

請求項１乃至５の何れかに記載された静止画像提供装置と、
前記動画像を記憶する動画蓄積部と、
前記動画蓄積部に記憶された前記動画像を前記静止画像提供装置へ提供する動画出力部と、
前記静止画像提供装置に対して静止画を要求する静止画要求部と
を有する静止画像提供システム。

【請求項9】

動画蓄積装置と、動画出力装置と、静止画要求装置と、静止画蓄積部を有する静止画像提供装置とを有する静止画像提供システムが実行する静止画像提供方法であって、
前記動画出力装置が、前記動画蓄積装置に記憶された動画像を前記静止画像提供装置へ送信し、
前記静止画像提供装置が、前記動画出力装置から前記動画像を取得し、前記動画像から静止画を抽出するのに要するコストに基づいて予め保存することにより得られる利得を算出し、前記動画像を構成する複数の静止画の中から前記利得のより高い一部の前記静止画を前記動画像から抽出して前記静止画蓄積部に記憶し、
前記静止画要求装置が、前記静止画像提供装置に対して前記静止画を要求し、
前記静止画像提供装置が、前記静止画要求装置から要求された前記静止画を前記静止画蓄積部から読み出して前記静止画要求装置へ送信し、前記静止画要求装置から要求された前記静止画が前記静止画蓄積部に記憶されていなければ、前記静止画要求装置から要求された前記静止画を含む前記動画像を前記動画出力装置を通じて前記動画蓄積装置から取得し、該取得した動画像から前記静止画を抽出して前記静止画要求装置へ送信する
静止画像提供方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、静止画像提供装置、静止画像提供システム、静止画像提供方法、およびプログラムに関する。

【背景技術】

【0002】

映像監視、映像解析などの分野では、要求元からの要求に従って、動画像から静止画を抽出し、この抽出した静止画を要求元に提供する場合がある。その場合、要求があった時点で動画像から静止画を抽出する処理を開始すると応答時間が長くなる。

【0003】

そこで、予め動画像から静止画を抽出してキャッシュに記憶しておき、実際に要求があった際にはキャッシュから静止画を読み出して要求元に提供することが本発明に関連する関連技術として提案されている（例えば特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１３−９０１９４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、キャッシュ容量の制限により、動画像から抽出した静止画の全てをキャッシュに保存することは困難である。そのため、動画像から抽出した複数の静止画の中からキャッシュに保存する静止画を選択する必要がある。このような選択に関し、本発明に関連する上記関連技術では、以下のような方法を採用している。

【0006】

最新バージョンの画像処理プログラムを使用して動画像から抽出した静止画をキャッシュに保存する。要求元から最新バージョンの画像処理プログラムを使用して抽出した静止画が要求された場合には、キャッシュから静止画を読み出して要求元へ送信する。要求元から最新バージョン以外のバージョンの画像処理プログラムを使用して抽出した静止画が要求された場合、該当するバージョンの画像処理プログラムを使用して動画像から静止画を抽出し、要求元へ送信する。このとき、要求元へ送信した静止画をキャッシュに保存する。また、キャッシュ内のデータ量が予め定められた一定量を超えた時点で、キャッシュへの保存時刻が最も早い静止画をキャッシュから消去する。

【0007】

しかしながら、本発明に関連する上記関連技術では、動画像から静止画を抽出するコストを考慮せずに保存する静止画を決定しているため、動画像から抽出する複数の静止画のうち、抽出コストのより高い静止画がキャッシュされていないケースが発生する。換言すれば、保存されている静止画以外の静止画はその抽出コストが高いケースが発生する。このため、保存されている静止画以外の静止画が要求された際に当該静止画を動画像から高速かつ低負荷で抽出するのが困難になり、応答時間が悪化する。

【0008】

本発明の目的は、上述した課題、すなわち保存してある静止画以外の静止画が要求された際に当該静止画を動画像から高速かつ低負荷で抽出するのが困難である、という課題を解決する静止画像抽出装置を提供することにある。

【課題を解決するための手段】

【0009】

本発明の一形態に係る静止画像抽出装置は、
動画像を取得する動画取得部と、
静止画を記憶する静止画蓄積部と、
上記動画像から上記静止画を抽出するのに要するコストに基づいて予め保存することにより得られる利得を算出し、上記動画像を構成する複数の静止画の中から上記利得のより高い一部の上記静止画を抽出して上記静止画蓄積部に記憶する画像処理部と、
要求元から要求された静止画を上記静止画蓄積部から読み出して上記要求元へ送信し、上記要求元から要求された上記静止画が上記静止画蓄積部に記憶されていなければ、上記要求元から要求された上記静止画を上記動画取得部により取得した上記動画像から抽出して上記要求元へ送信する要求処理部と
を有する。

【0010】

本発明の他の形態に係る静止画像提供方法は、
静止画を記憶する静止画蓄積部を有する静止画像提供装置が実行する静止画像提供方法であって、
動画像を取得し、上記動画像から上記静止画を抽出するのに要するコストに基づいて予め保存することにより得られる利得を算出し、上記動画像を構成する複数の静止画の中から上記利得のより高い一部の上記静止画を上記動画像から抽出して上記静止画蓄積部に記憶し、
要求元から要求された静止画を上記静止画蓄積部から読み出して上記要求元へ送信し、上記要求元から要求された上記静止画が上記静止画蓄積部に記憶されていなければ、上記要求元から要求された上記静止画を含む上記動画像から上記静止画を抽出して上記要求元へ送信する。

【0011】

本発明の他の形態に係るプログラムは、
コンピュータを、
動画像を取得する動画取得部と、
静止画を記憶する静止画蓄積部と、
上記動画像から上記静止画を抽出するのに要するコストに基づいて予め保存することにより得られる利得を算出し、上記動画像を構成する複数の静止画の中から上記利得のより高い一部の上記静止画を上記動画像から抽出して上記静止画蓄積部に記憶する画像処理部と、
要求元から要求された静止画を上記静止画蓄積部から読み出して上記要求元へ送信し、上記要求元から要求された上記静止画が上記静止画蓄積部に記憶されていなければ、上記要求元から要求された上記静止画を上記動画取得部により取得した上記動画像から抽出して上記要求元へ送信する要求処理部と
して機能させる。

【0012】

本発明の他の形態に係る静止画像提供システムは、
本発明の上記形態に係る静止画像提供装置と、
上記動画像を記憶する動画蓄積部と、
上記動画蓄積部に記憶された上記動画像を上記静止画像提供装置へ提供する動画出力部と、
上記静止画像提供装置に対して静止画を要求する静止画要求部と
を有する。

【0013】

本発明の他の形態に係る静止画像提供方法は、
動画蓄積装置と、動画出力装置と、静止画要求装置と、静止画蓄積部を有する静止画像提供装置とを有する静止画像提供システムが実行する静止画像提供方法であって、
上記動画出力装置が、上記動画蓄積装置に記憶された動画像を上記静止画像提供装置へ送信し、
上記静止画像提供装置が、上記動画出力装置から上記動画像を取得し、上記動画像から静止画を抽出するのに要するコストに基づいて予め保存することにより得られる利得を算出し、上記動画像を構成する複数の静止画の中から上記利得のより高い一部の上記静止画を上記動画像から抽出して上記静止画蓄積部に記憶し、
上記静止画要求装置が、上記静止画像提供装置に対して上記静止画を要求し、
上記静止画像提供装置が、上記静止画要求装置から要求された上記静止画を上記静止画蓄積部から読み出して上記要求元へ送信し、上記静止画要求装置から要求された上記静止画が上記静止画蓄積部に記憶されていなければ、上記静止画要求装置から要求された上記静止画を含む上記動画像を上記動画出力装置を通じて上記動画蓄積装置から取得し、該取得した動画像から上記静止画を抽出して上記静止画要求装置へ送信する。

【発明の効果】

【0014】

本発明は上述した構成を有するため、保存してある静止画以外の静止画が要求された際に当該静止画を動画像から高速かつ低負荷で抽出することができる。

【図面の簡単な説明】

【0015】

【図1】本発明の第１の実施形態のブロック図である。

【図2】本発明の第１の実施形態の動作を示すフローチャートである。

【図3】本発明の第１の実施形態の動作を示すフローチャートである。

【図4】本発明の第２の実施形態のブロック図である。

【図5】本発明の第２の実施形態における動画解析部のブロック図である。

【図6】本発明の第２の実施形態における静止画管理部のブロック図である。

【図7】本発明の第２の実施形態の動作を示すフローチャートである。

【図8】本発明の第２の実施形態の動作を示すフローチャートである。

【図9】本発明の第２の実施形態における静止画抽出コスト計算の説明図である。

【図10】本発明の第２の実施形態における各静止画の抽出コスト計算結果の一例を示す図である。

【図11】本発明の第２の実施形態における各静止画の品質計算結果の一例を示す図である。

【図12】本発明の第２の実施形態における各静止画の差分計算結果の一例を示す図である。

【図13】本発明の第２の実施形態における各静止画の蓄積利得計算結果の一例を示す図である。

【図14】本発明の第３の実施形態のブロック図である。

【図15】本発明の第３の実施形態における動画解析部のブロック図である。

【発明を実施するための形態】

【0016】

次に本発明の実施の形態について図面を参照して詳細に説明する。
[第１の実施形態]
図１を参照すると、本発明の第１の実施形態に係る静止画像提供装置１００は、動画取得部１０１と静止画蓄積部１０２と画像処理部１０３と要求処理部１０４とを有する。

【0017】

動画取得部１０１は、静止画像提供装置１００の外部から動画像を取得する機能を有する。例えば、動画取得部１０１は、動画像を記憶する動画蓄積部１１０から動画像を取得してよい。また動画取得部１０１は、ネットワークを通じて外部の装置から動画像を取得してよい。

【0018】

静止画蓄積部１０２は、静止画を記憶する機能を有する。静止画蓄積部１０２は、例えばハードディスク装置や半導体メモリなどの記憶装置にデータを記憶して管理するファイル装置によって構成される。

【0019】

画像処理部１０３は、動画取得部１０１により取得された動画像から静止画を抽出し、静止画蓄積部１０２に記憶する機能を有する。画像処理部１０３は、静止画蓄積部１０２への静止画の記憶では、動画像から静止画を抽出するのに要するコストに基づいて予め保存することにより得られる利得（以下、蓄積利得と記す）を算出し、動画像から抽出した複数の静止画の中から上記利得のより高い一部の静止画を抽出して、静止画蓄積部１０２に記憶する。

【0020】

動画像から静止画を抽出するのに要するコストの算出方法は、任意である。例えば以下のような方法を使用してよい。

【0021】

一つの方法として、静止画の動画中における格納形態に基づく方法がある。すなわち、動画像は静止画が連続したものであり、連続する静止画間の差分は小さい。この性質を利用して、一般に動画像を構成するほとんどの静止画には近傍の静止画との差分情報を利用した情報圧縮が施されている。従って、動画像から特定の静止画を抽出するには、対象とする静止画の情報だけでなく近傍の静止画の情報を抽出する必要がある。このため、必要とする近傍の静止画の数の大小によって、動画中の静止画の抽出コストを見積もることが可能である。

【0022】

別の方法として、実際に動画から各静止画を抽出し、その抽出に要した時間を計測する方法がある。

【0023】

また、静止画の蓄積利得を算出する方法は、任意である。例えば、静止画の蓄積利得は、静止画の抽出コストそのものであってもよい。あるいは、静止画の蓄積利得は、静止画の抽出コストと静止画の抽出コスト以外の何からの指標値とに基づいて算出してよい。

【0024】

要求処理部１０４は、要求元から要求された静止画を静止画蓄積部１０２から読み出して要求元へ送信する機能を有する。また要求処理部１０４は、要求元から要求された静止画が静止画蓄積部１０２に記憶されていなければ、要求元から要求された静止画を動画取得部１０１により取得した動画像から抽出し、要求元へ送信する機能を有する。要求元は、例えば静止画像提供装置１００の外部に存在する端末装置１２０であってよい。また要求元から要求処理部１０４に送られる要求は、動画像を一意に特定する動画像識別子と、この動画像識別子によって特定される動画像内で静止画を一意に特定する静止画識別子とを有していてよい。

【0025】

静止画像提供装置１００は、例えば、通信機能を有するコンピュータとプログラムとで実現することができる。プログラムは、磁気ディスク装置等の記憶媒体に記憶され、コンピュータの立ち上げ時などにコンピュータに読み込まれ、コンピュータの動作を制御することにより、コンピュータ上に動画取得部１０１、静止画蓄積部１０２、画像処理部１０３、および、要求処理部１０４として機能させる。

【0026】

次に本実施形態に係る静止画像提供装置１００の動作を説明する。

【0027】

静止画像提供装置１００は、要求元から要求を受け付けるのに先立って、図２のフローチャートに示される処理を実行する。

【0028】

まず静止画像提供装置１００の動画取得部１０１は、動画蓄積部１１０から動画を取得し、画像処理部１０３へ伝達する（ステップＳ１０１）。次に画像処理部１０３は、動画取得部１０１から受け取った動画の先頭の静止画に注目する（ステップＳ１０２）。

【0029】

次に画像処理部１０３は、注目中の静止画を動画から抽出するのに要するコストを算出する（ステップＳ１０３）。次に画像処理部１０３は、上記算出した抽出コストに基づいて、注目中の静止画の蓄積利得を算出する（ステップＳ１０４）。次に画像処理部１０３は、上記算出した蓄積利得に基づいて、注目中の静止画の蓄積可否を決定する（ステップＳ１０５）。上記蓄積可否の決定では、画像処理部１０３は、例えば、上記算出した蓄積利得を閾値と比較し、蓄積利得が閾値を超えていれば蓄積可、それ以外は蓄積不可とする。但し、そのような蓄積可否の決定に限定されず、他の任意の決定方法を使用してよい。

【0030】

次に画像処理部１０３は、注目中の静止画に対して蓄積可を決定すると（ステップＳ１０６でＹＥＳ）、動画から抽出した注目中の静止画を静止画蓄積部１０２に記憶する（ステップＳ１０７）。その際、静止画蓄積部１０２の注目中の静止画には、それが含まれていた動画を一意に特定する動画像識別子と、動画内で注目中の静止画を一意に特定する静止画識別子との組が対応付けられる。他方、画像処理部１０３は、注目中の静止画に対して蓄積不可を決定すると（ステップＳ１０６でＮＯ）、上記ステップＳ１０７の処理はスキップする。

【0031】

注目中の静止画に対する上述した処理を終えると、画像処理部１０３は、動画中の次の１つの静止画に注目を移す（ステップＳ１０８）。そして、画像処理部１０３は、次の注目中の静止画が存在していれば（ステップＳ１０９でＮＯ）、ステップＳ１０３の処理の戻り、上述したステップＳ１０３〜Ｓ１０７の処理を繰り返す。他方、次の注目中の静止画が存在しなければ（ステップＳ１０９でＹＥＳ）、すなわち動画の最後の静止画までステップＳ１０３〜Ｓ１０７の処理を完了していれば、図２の処理を終了する。

【0032】

以上のような処理が行われることにより、動画像を構成する複数の静止画のうち、蓄積利得のより高い一部の静止画が静止画蓄積部１０２に記憶される。

【0033】

次に、要求元から静止画の要求があった際の静止画像提供装置１００の動作を図３のフローチャートを参照して説明する。

【0034】

端末１２０から静止画の要求が静止画像提供装置１００に対して出されると、要求処理部１０４が、その要求を受信する（ステップＳ１１１）。次に、要求処理部１０４は、要求に含まれる動画識別子と静止画識別子との組に対応する静止画が静止画蓄積部１０２に記憶されているか否かを調査する（ステップＳ１１２）。次に、要求処理部１０４は、要求された静止画が蓄積されていれば（ステップＳ１１２でＹＥＳ）、静止画蓄積部１０２から要求された静止画を読み出し（ステップＳ１１３）、この読み出した静止画を要求元へ送信する（ステップＳ１１６）。

【0035】

他方、要求処理部１０４は、要求された静止画が静止画蓄積部１０２に記憶されていなければ（ステップＳ１１２でＮＯ）、まず、動画取得部１０１を通じて、要求された静止画を含む動画を取得する（ステップＳ１１４）。次に、要求処理部１０４は、上記取得した動画から要求された静止画を抽出する（ステップＳ１１５）。次に、動画取得部１０１は、上記抽出した静止画を要求元へ送信する（ステップＳ１１６）。

【0036】

このように本実施形態によれば、動画を構成する静止画が要求された際に当該静止画を要求元に速やかに提供することができる。その理由は、動画を構成する静止画の一部を予め抽出して静止画蓄積部に蓄積してあるため、要求された静止画が静止画蓄積部に蓄積されている場合には、静止画蓄積部から静止画を読み出せば済むためである。

【0037】

また本実施形態によれば、静止画蓄積部に予め保存してある静止画以外の静止画が要求された際に当該静止画を動画像から高速かつ低負荷で抽出することができる。その理由は、動画像から静止画を抽出するのに要するコストに基づいて予め保存することにより得られる利得を算出し、動画像を構成する複数の静止画の中から上記利得のより高い一部の静止画を選択し、静止画蓄積部１０２に記憶しているため、保存してある静止画以外の静止画の中に抽出コストが高い静止画が含まれる確率が小さくなるためである。

【0038】

[第２の実施形態]
＜本実施形態の特徴＞
本実施形態は、動画像から特定の静止画を抽出する装置で、動画の性質や内容から静止画を抽出する上で重要度の高い一部の静止画をあらかじめ抽出し保存しておくことにより高速かつ低負荷で静止画抽出を行なう。

【0039】

＜本実施形態が解決しようとする課題＞
映像監視、映像解析などの分野では、大量の動画の中からある特徴を持つ静止画を抽出する場合がある。たとえば、災害発生時に大量の屋外監視カメラ映像から災害発生時の災害現場の画像群を抽出したり、事件発生時に大量の街頭カメラ映像から事件現場に居た人物の写っている画像群を抽出したりするケースである。このようなケースでは、イベント発生時や監視者の操作時に動画像から大量の静止画を短時間に抽出する必要がある。

【0040】

動画像は静止画が連続したものであり、連続する静止画間の差分は小さい。この性質を利用して、一般に動画像を構成するほとんどの静止画には近傍の静止画との差分情報を利用した情報圧縮が施されている。このため、動画像から特定の静止画を抽出するには、対象とする静止画の情報だけでなく近傍の静止画の情報も抽出する必要があり、多くの計算機資源と時間を要する処理となっている。このような処理を短時間に大量に行なう必要がある場合、利用率の低い大量の計算機資源の用意が必要となることによるコストアップか、反応時間の悪化による操作性の低下が生じる。

【0041】

文書検索などの他の分野においては、同種の問題を解決するために、あらかじめ検索結果を生成し保存しておくといった手法がとられることが多い。しかしながら、一般に画像はサイズの大きい情報であり、動画に含まれる全ての静止画を保存するためには極めて容量の大きな記憶媒体が必要となるため、この手法を静止画に適用することは現実的には困難である。

【0042】

＜本実施形態の概要＞
本実施形態は、動画像から静止画を抽出する処理に大量の計算機資源が必要であるという課題を、静止画をあらかじめ生成・保存するという手段により解決する。また、静止画をあらかじめ保存するために極めて容量の大きな記憶媒体が必要となるという課題を、動画像の持つ性質を利用してあらかじめ保存することにより得られる利得が大きい静止画を選択し保存するという手段により解決する。

【0043】

本実施形態は、静止画提供部の中に、動画要求部、動画解析部、要求解析部、静止画蓄積部、静止画管理部を持つ。動画解析部は、計算機資源に余裕のある時間帯などの適切な状況において、動画要求部を通じて外部の動画を取得する。次に、動画像の先頭から順に静止画像を抽出し、静止画の内容、静止画の抽出に要する計算機資源や時間、既に静止画蓄積部に蓄積されている静止画との関連性などから、当該静止画をあらかじめ蓄積しておくことにより得られる利得（蓄積利得）の大きさを推定する。次に、動画解析部は、静止画管理部に当該静止画と静止画蓄積の利得の大きさを通知し、静止画管理部は、当該静止画を静止画蓄積部に蓄積すべきかを判定し、蓄積すべきと判断した場合は静止画蓄積部に当該静止画を蓄積し、必要に応じて静止画蓄積部に蓄積済みの静止画の削除などの管理を行なう。これにより、動画像から蓄積することにより得られる利得が大きい静止画のみが蓄積されるため、現実的な容量の記憶媒体により静止画像をあらかじめ蓄積することができる。

【0044】

また、外部より要求解析部に静止画要求があった際には、要求解析部は、静止画管理部に当該静止画の有無を問い合わせ、静止画管理部は、静止画蓄積部に当該静止画が存在した場合は静止画を要求解析部に提供し、要求解析部は外部に静止画を送信する。一方、静止画蓄積部に当該静止画が存在しなかった場合は、要求解析部は、当該静止画を抽出するために必要な動画像を動画要求部を通じて外部から入手し、動画解析部により当該静止画を抽出し外部に返信する。このとき、動画解析部は、静止画管理部から当該静止画抽出に利用可能な静止画を入手することにより動画解析に要する計算機資源や時間を低減する。さらに、ここで抽出された静止画は、静止画管理部により静止画蓄積部に蓄積すべきか否か判断の上、静止画蓄積部に蓄積される。これにより、外部から静止画要求があった際に静止画提供に要する計算機資源と時間を低減することができる。

【0045】

＜本実施形態の構成＞
図４を参照すると、本実施形態は、動画情報を外部に要求し動画を取得する動画要求部１−１、動画から静止画を抽出し、静止画を蓄積しておくことにより得られる利得を計算する動画解析部１−２、外部からの静止画要求に応じて静止画を提供する要求解析部１−３、静止画を蓄積しておくか否かを判断し静止画蓄積部に対し静止画の追加・変更・削除等を行う静止画管理部１−４、静止画を蓄積する静止画蓄積部１−５からなる静止画提供部１で構成される。また、静止画提供部１は、外部に、動画出力要求に応じて動画像を提供する動画出力部２−１、出力される動画を保持する動画蓄積部２−２、静止画を要求する静止画要求部３−１が存在することを前提とする。

【0046】

さらに、動画解析部１−２は、図５のように、解析処理を管理する解析管理部１−２−１、要求解析部１−３からの静止画要求を受信する静止画要求受信部１−２−２、動画要求部１−１から動画を取得する動画取得部１−２−３、動画から１枚または複数枚の静止画を抽出する静止画抽出部１−２−４、静止画の蓄積利得を計算する蓄積利得計算部１−２−５、動画から特定の静止画を抽出するのに要するコストを計算する静止画抽出コスト計算部１−２−６、静止画の撮影品質や画像の内容から静止画の品質を推定する静止画品質計算部１−２−７、静止画が他の静止画とどの程度の差分があるか計算する静止画差分計算部１−２−８で構成される。

【0047】

また、静止画管理部１−４は、図３のように、蓄積要求を受信する蓄積要求受信部１−４−１、静止画要求を受信し静止画蓄積部１−５に要求された静止画が存在していれば静止画を送信する静止画要求受信部１−４−２、静止画蓄積の可否や既存静止画の削除の要否を計算する蓄積可否計算部１−４−３、静止画の蓄積、削除を実行する蓄積実行部１−４−４で構成される。

【0048】

＜本実施形態の動作＞
次に、図７〜図８を参照して本実施形態の動作について詳細に説明する。

【0049】

解析管理部１−２−１は、定期的に起動し計算機資源の余裕の有無、前回解析実施からの時間差、外部における新規動画蓄積または動画修正の有無などから、解析を行うべきか否かを判断する（ステップＡ−１）。たとえば、計算機資源の５０％が使用されておらず、前回解析から２４時間以上が経過しており、外部に新規動画蓄積や動画修正が確認された場合に解析を開始すると判断する。

【0050】

解析を開始すると判断した場合、解析管理部１−２−１は、動画取得部１−２−３を用いて動画出力部２−１から新規に蓄積されたか、修正された動画を取得する（ステップＡ−２）。解析管理部１−２−１は、取得した動画を静止画抽出部１−２−４に送信し、動画の先頭にあたる静止画を取得する（ステップＡ−３）。解析管理部１−２−１は、取得した静止画と、取得元の動画情報を蓄積利得計算部１−２−５に送信する。

【0051】

蓄積利得計算部１−２−５は、受信した情報を静止画抽出コスト計算部１−２−６、静止画品質計算部１−２−７、静止画差分計算部１−２−８に送信する。

【0052】

静止画抽出コスト計算部１−２−６は、受信した静止画の抽出元動画における格納形態を解析し、静止画抽出に要する計算機資源と時間を計算する（ステップＡ−４）。一般に、動画は、図９に示すように、各画像を基準となる静止画からの差分の形で格納している。このため、基準となる画像から対象となる静止画を抽出するまでに計算すべき差分の数と、計算を実行する計算機の性能とから、静止画抽出に要する計算機資源と時間が計算される。

【0053】

図１０は、ある動画から静止画を抽出するために要する計算機資源量の推定結果の一例をフレーム番号毎に示している。図１０の静止画抽出計算量の欄に記載される0.10、0.40、0.80といった数値が各フレームの抽出コストを表している。ここでは、より大きな数値はより高いコストであることを表している。

【0054】

静止画品質計算部１−２−７は、静止画の品質を推定し数値化する（ステップＡ−５）。たとえば、動画中の静止画の中には、焦点が合っていないもの、カメラの移動などにより画像がぶれているもの、光源との位置関係により対象判別が不可能なものなどが存在するが、これらを個別の静止画として抽出する必要性は低い。一方、正面の顔が判別できるもの、文字が判読できるもの、人物または物体の全体が含まれているものは個別の静止画として抽出する必要性が高い。静止画品質計算部１−２−７は、焦点、ぶれ、画像の極端な輝度分布、顔・文字・物体認識の可否から、静止画の品質を推定し数値化することができる。

【0055】

図１１は、ある動画に含まれる静止画の焦点、ぶれの少なさ、輝度分布の大きさ、物体認識の可否を数値化し、その加重平均をとることにより静止画の品質を推定した結果の一例をフレーム番号毎に示している。図１１の焦点の欄に記載される0.5、1.0といった数値は、より大きな数値ほど焦点がより合っていることを表している。また、ぶれの少なさの欄に記載される0.1、0.3、1.0等の数値は、より大きな数値ほどぶれが少ないことを表している。また、輝度分布の大きさの欄に記載される0.5、1.0等の数値は、より大きな数値ほど大きな輝度分布であることを表している。また、物体認識の可否の欄に記載される0.0は物体認識不可を、1.0は物体認識可を表している。そして、最小値の欄に記載される0.3、0.5、1.0等の数値は、より大きな数値ほど静止画の品質がより良いことを表している。なお、図１１には、参考として、動画のズーム期間、フラッシュ期間、Ｐａｎｎｉｎｇ期間、Ｃｅｎｔｅｒｉｎｇ期間を付加している。

【0056】

静止画差分計算部１−２−８は、対象静止画が他の静止画とどの程度の差分を有するか計算する（ステップＡ−６）。対象静止画を動画内の他の静止画と比較し、通常状態の静止画との差分、直前の静止画との差分が大きい静止画は、大きな差分を有する静止画と判定する。これらは、場面の転換や激しい動作、通常と異なる事象の発生を捉えている可能性が高く、静止画として抽出する必要性が高いと思われるためである。

【0057】

図１２は、ある動画における静止画間の差分の計算結果の一例をフレーム番号毎に示している。図１２の静止画間差分量の欄に記載された0.50、0.70、1.00等の数値は、より大きな数値ほど差分量がより多いことを表している。

【0058】

蓄積利得判定部１−２−５は、静止画抽出コスト計算部１−２−６、静止画品質計算部１−２−７、静止画差分計算部１−２−８の計算結果を受けて、蓄積利得を算出する（ステップＡ−７）。

【0059】

図１３は、ある動画における静止画の蓄積利得の算出結果の一例をフレーム番号毎に示している。図１３の蓄積利得の欄に記載される0.373、0.530、0.80等の数値は、より大きな数値ほど利得がより大きいことを表している。蓄積利得を、静止画抽出コスト計算部１−２−６、静止画品質計算部１−２−７、静止画差分計算部１−２−８の計算結果の加重平均値として計算する場合、抽出コストがより高いほど、品質がより良いほど、差分量がより多いほど、利得がより大きくなる。

【0060】

解析管理部１−２−１は、蓄積利得計算部１−２−５の計算結果と、対象静止画の属する動画情報、対象静止画を蓄積要求受信部１−４−１に送信する。

【0061】

蓄積可否判定部１−４−３は、蓄積要求受信部１−４−１が受信した情報と、既に静止画蓄積部１−５に蓄積済みの情報から、蓄積の可否を判定する（ステップＡ−８）。蓄積可否判定方法としては、静止画蓄積部１−５の蓄積容量に十分な余裕がある場合は、受信した静止画の蓄積利得が一定値を越えていたら蓄積可とし、十分な余裕がない場合は静止画蓄積部１−５に蓄積済みの静止画のうち、最も蓄積利得が小さい静止画の蓄積利得より、受信した静止画の蓄積利得が大きく、かつ受信した静止画との直前５枚程度の静止画が静止画蓄積部１−５に蓄積されていない場合、蓄積可とする方法が考えられる。たとえば、蓄積容量に十分な余裕がなく、静止画蓄積部１−５に蓄積済みの静止画のうち、最も蓄積利得が小さい静止画の蓄積利得が0.7であった場合、蓄積要求受信部１−４−１が受信した蓄積利得計算部１−２−５の計算結果が図１３の通りであったとすると、フレーム番号35が最初に条件を満たすため、蓄積可とする。蓄積可否判定部１−４−３が蓄積可と判定した場合、蓄積要求受信部１−４−１が受信した情報が静止画蓄積部１−５に蓄積される（ステップＡ−９）。このとき、静止画蓄積部１−５の蓄積容量に十分な余裕がない場合は（ステップＡ−１０）、静止画蓄積部１−５に蓄積済みの静止画のうち、最も蓄積利得が小さい静止画を静止画蓄積部１−５から削除する（ステップＡ−１１）。

【0062】

以上の一連の処理後、解析管理部１−２−１は、次の静止画の抽出を静止画抽出部１−２−４に要求し、同様の処理を静止画が抽出できなくなるまで繰り返す（ステップＡ−１２、Ａ−１３）。図１３の場合、フレーム番号40、45、57、63、68、73、78、83、88が静止画蓄積部１−５に蓄積される。

【0063】

次に図８を参照すると、要求解析部１−３が静止画要求部３−１から静止画要求を受け付けると（ステップＢ−１）、要求解析部１−３は、静止画要求受信部１−４−２に静止画要求を送信する。静止画要求送信部１−４−２は、要求された静止画が静止画蓄積部１−５に蓄積されているか否か検索する（ステップＢ−２）。要求された静止画が静止画蓄積部１−５に蓄積されている場合、静止画を静止画蓄積部１−５から抽出し、要求解析部１−３を通じて静止画要求部３−１に送信する（ステップＢ−３）。

【0064】

要求された静止画が静止画蓄積部１−５に蓄積されていない場合、要求解析部１−３は、静止画要求受信部１−２−２を通して解析管理部１−２−１に静止画要求を送信する。解析管理部１−２−１は、動画取得部１−２−３を通して要求された静止画を含む動画を取得する（ステップＢ−４）。解析管理部１−２−１は、取得した動画から静止画抽出部１−２−４を使用して要求された静止画を抽出し（ステップＢ−４）、静止画要求受信部１−２−２、要求解析部１−３を通して静止画要求部３−１に送信する（ステップＢ−５）。ここで、図９を参照して既に説明したように、動画中の静止画の位置によっては、その静止画を抽出するには、対象とする静止画の近傍の静止画の情報が必要である。この近傍の静止画が静止画管理部１−４から入手できる場合、近傍静止画の情報を動画から抽出する代わりに静止画管理部１−４から入手することにより、動画解析に要する計算機資源や時間を低減する。

【0065】

＜本実施形態の効果＞
第1の効果は、動画像から静止画を抽出する際に高い確率であらかじめ蓄積されている静止画を利用できることによる、抽出所要時間を削減する効果である。

【0066】

第２の効果は、計算機資源に余裕のある状態であらかじめ動画像から静止画を抽出しておくことによる、計算機資源利用の平準化、用意すべき計算機資源量を低減する効果である。

【0067】

第３の効果は、１回の動画像取得から多数の静止画をあらかじめ蓄積しておくことによる、静止画像抽出効率を高める効果である。

【0068】

[第３の実施形態]
本発明の第３の実施形態について、構成図を用いて説明する。

【0069】

図１４に示すように、本実施形態は、図４に示した第２の実施形態に、要求する可能性の高い静止画の情報を通知する要求情報通知部４−１が追加されている。要求する可能性の高い静止画とは、特定人物・物品が含まれている静止画像など、静止画要求部３−１が未来のある時点で要求する可能性の高い静止画である。

【0070】

さらに、本実施形態は、図４に示した第２の実施形態に、類似静止画抽出部１−６が追加されている。類似静止画抽出部１−６は、抽出要求のあった静止画に最も近い時刻の静止画を静止画蓄積部１０５から抽出する。これにより、静止画要求時に動画を取得できない場合でも何らかの静止画を抽出することができる。

【0071】

また、本実施形態における動画解析部１−２は、図１５に示すように、静止画抽出コスト計算部１−２−６、静止画品質計算部１−２−７、静止画差分計算部１−２−８の代わりに、或いはそれらに加えて、静止画抽出規則保持部１−２−６、静止画要求情報取得部１−２−７を有する。

【0072】

静止画抽出規則保持部１−２−６は、ある静止画が蓄積された場合、同時刻の別の動画の静止画も蓄積するといった抽出規則を保持する。本実施形態において、蓄積利得計算部１−２−５は、要求時通知部４−１から静止画要求情報取得部１−２−７を通じて得られる要求される可能性の高い静止画に静止画抽出部１−２−４で抽出された静止画が該当する場合、蓄積利得が最大であると判断する。さらに、静止画抽出部１−２−４で抽出された静止画が静止画抽出規則保持部１−２−６に蓄積すべきとの規則が記述されていた場合、蓄積利得が最大であると判断する。一方、上記条件に合致しない場合は、蓄積利得が最小であると判断する。

【産業上の利用可能性】

【0073】

映像監視、映像解析などの分野での利用が考えられる。具体的には、大量の街頭カメラ映像から、特定人物の写っている画像群を抽出したり、大量のテレビ録画から、特定商品が写っている画像群を抽出したり、大量の施設監視カメラ映像から、不正侵入や置き去り画像群を抽出したり、大量の河川監視カメラ映像から、洪水や土石流の画像群を抽出するといった用途が考えられる。

【符号の説明】

【0074】

１００…静止画像提供装置
１０１…動画取得部
１０２…静止画蓄積部
１０３…画像処理部
１０４…要求処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】