特許 6410329 映像記録作成装置、映像記録作成方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6410329

(24)【登録日】2018年10月5日

(45)【発行日】2018年10月24日

(54)【発明の名称】映像記録作成装置、映像記録作成方法およびプログラム

(51)【国際特許分類】

   H04N 5/91 20060101AFI20181015BHJP

【ＦＩ】

   H04N5/91

【請求項の数】8

【全頁数】13

(21)【出願番号】特願2016-565809(P2016-565809)

(86)(22)【出願日】2014年12月26日

(86)【国際出願番号】JP2014084542

(87)【国際公開番号】WO2016103457

(87)【国際公開日】20160630

【審査請求日】2017年6月19日

(73)【特許権者】

【識別番号】300016765

【氏名又は名称】ＮＥＣディスプレイソリューションズ株式会社

(74)【代理人】

【識別番号】100123788

【弁理士】

【氏名又は名称】宮崎 昭夫

(74)【代理人】

【識別番号】100127454

【弁理士】

【氏名又は名称】緒方 雅昭

(72)【発明者】

【氏名】鶴薗 賢吾

【審査官】 松元 伸次

(56)【参考文献】

【文献】 特開２００７−２８８６９７（ＪＰ，Ａ）

【文献】 特開２００８−１４８１２１（ＪＰ，Ａ）

【文献】 特開２０１０−０８１３２３（ＪＰ，Ａ）

【文献】 特開平０９−０９３５８８（ＪＰ，Ａ）

【文献】 特開２００８−１７６５３８（ＪＰ，Ａ）

【文献】 特開２００５−１０８２２５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ１７／３０

Ｈ０４Ｎ５／７６−５／７７５

５／８０−５／９５６

７／１０

７／１４−７／５６

２１／００−２１／８５８

(57)【特許請求の範囲】

【請求項1】

複数の画像が順に画面に表示される映像の記録を作成する映像記録作成装置であって、
情報を記憶する記憶部と、
前記映像を示す複数のフレームからなる映像信号を入力とし、該映像信号から所定の時間間隔でフレーム画像を取得する画像キャプチャ部と、
前記画像キャプチャ部が取得したフレーム画像のうち、時間的に連続する前後のフレーム画像である第１のフレーム画像と第２のフレーム画像について、前記第１のフレーム画像から前記画面の表示情報の領域を抽出し、該抽出領域の表示情報と、前記第２のフレーム画像内の、前記抽出領域に対応する領域の表示情報とを比較し、前記第１のフレーム画像から抽出した前記表示情報が前記第２のフレーム画像で変化した場合に、前記第１のフレーム画像を記録フレームとして前記記憶部に格納する映像処理部と、を有する、映像記録作成装置。

【請求項2】

請求項１に記載の映像記録作成装置において、
前記表示情報は文字及び図形の少なくとも一方を含む、映像記録作成装置。

【請求項3】

請求項１または２に記載の映像記録作成装置において、
前記映像処理部は、前記第１のフレーム画像と前記第２のフレーム画像の間でバイナリ比較を行い、該第１および第２のフレーム画像間に差異がある場合に、前記抽出領域に基づく比較を行う、映像記録作成装置。

【請求項4】

請求項１から３のいずれか１項に記載の映像記録作成装置において、
前記映像信号を発生する映像発生部を、さらに有する、映像記録作成装置。

【請求項5】

請求項１から４のいずれか１項に記載の映像記録作成装置において、
前記映像を示す映像データが前記記憶部に保持され、
前記映像信号が前記映像データよりなる、映像記録作成装置。

【請求項6】

請求項１から５のいずれか１項に記載の映像記録作成装置において、
前記第１のフレーム画像から抽出した前記表示情報は、前記第１のフレーム画像の一部の領域に存在する、映像記録作成装置。

【請求項7】

複数の画像が順に画面に表示される映像の記録を作成する映像記録作成方法であって、
前記映像を示す複数のフレームからなる映像信号から所定の時間間隔でフレーム画像を取得し、
取得したフレーム画像のうち、時間的に連続する前後のフレーム画像である第１のフレーム画像と第２のフレーム画像について、前記第１のフレーム画像から前記画面の表示情報の領域を抽出し、該抽出領域の表示情報と、前記第２のフレーム画像内の、前記抽出領域に対応する領域の表示情報とを比較し、前記第１のフレーム画像から抽出した前記表示情報が前記第２のフレーム画像で変化した場合に、前記第１のフレーム画像を記録フレームとして記憶部に格納する、映像記録作成方法。

【請求項8】

複数の画像が順に画面に表示される映像を示す複数のフレームからなる映像信号から所定の時間間隔でフレーム画像を取得する手順と、
取得したフレーム画像のうち、時間的に連続する前後のフレーム画像である第１のフレーム画像と第２のフレーム画像について、前記第１のフレーム画像から前記画面の表示情報の領域を抽出し、該抽出領域の表示情報と、前記第２のフレーム画像内の、前記抽出領域に対応する領域の表示情報とを比較し、前記第１のフレーム画像から抽出した前記表示情報が前記第２のフレーム画像で変化した場合に、前記第１のフレーム画像を記録フレームとして記憶部に格納する手順と、をコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像の記録を作成する映像記録作成装置及び映像記録作成方法に関する。また、本発明は、そのような映像記録作成装置に用いられるプログラムに関する。

【背景技術】

【0002】

プレゼンテーションや会議の記録情報として、パーソナルコンピュータ（ＰＣ）等の画面に表示された資料の画像を映像（動画）として保存する場合がある。このような場合に、保存した映像（動画）を要約して記録することができれば、短時間で、資料を確認することができる。
プレゼンテーション資料の映像を要約することができる装置が提案されている（特許文献１参照）。
特許文献１には、オーディオビジュアルプレゼンテーションの要約を自動的に作成するシステムが記載されている。このシステムは、プレゼンテーションをキャプチャする画像キャプチャ装置と、キャプチャされたプレゼンテーションデータを画像キャプチャ装置から受け取るコンピューティング装置と、を有する。

【0003】

コンピューティング装置は、オーディオビジュアルプレゼンテーションのオーディオビジュアルデータ（オリジナル）にアクセスすることができる。コンピューティング装置は、スライドセグメンテーションモジュール、ショット検出モジュール及びテンプレートマッチングモジュールを有する。
スライドセグメンテーションモジュールは、ビデオフレームからスライド領域を抽出する。ショット検出モジュールは、隣接フレーム間でスライド領域の変化（スライドの変化点）を検出し、該変化に応じてビデオフレームのグループを識別する。テンプレートマッチングモジュールは、抽出されたスライド領域を分析することによって、予め保持されたスライド（オリジナル）を対応するビデオショットにリンクさせる。具体的には、グループとされたビデオフレームをキーフレームとし、このキーフレームをスライド（オリジナル）を対応するビデオショットにリンクするテンプレートとして使用する。キーフレーム又はスライド（オリジナル）によって映像の要約が作成される。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００５−１０８２２５号公報

【発明の概要】

【0005】

しかしながら、特許文献１に記載のシステムにおいては、同一ページ内の表示要素を段階的に表示する場合に、スライドの変化点を正確に検出することは困難である。
例えば、第１及び第２の文字列を含むスライドについて、第１の文字列を表示し、その後、第１の文字列に第２の文字列が追加された状態で表示する場合がある。この場合、第１の文字列の表示画面に対応するフレームと、第１及び第２の文字列の表示画面に対応するフレームとの間で、スライド領域の変化が検出されてしまう。その結果、同一のページについて、２つの要約フレームが作成されてしまう。
本発明の目的は、上記問題を解決し、適切に要約された記録、例えば要約フレームを作成することができる、映像記録作成装置、映像記録作成方法およびプログラムを提供することにある。

【0006】

上記目的を達成するため、本発明の一態様によれば、
複数の画像が順に画面に表示される映像の記録を作成する映像記録作成装置であって、
情報を記憶する記憶部と、
前記映像を示す複数のフレームからなる映像信号を入力とし、該映像信号から所定の時間間隔でフレーム画像を取得する画像キャプチャ部と、
前記画像キャプチャ部が取得したフレーム画像について、時間的に連続する前後のフレーム画像を比較し、前のフレーム画像に含まれている前記画面の表示情報が後のフレーム画像で変化した場合に、前記前のフレーム画像を記録フレームとして前記記憶部に格納する映像処理部と、を有する、映像記録作成装置が提供される。

【0007】

本発明の別の態様によれば、複数の画像が順に画面に表示される映像の記録を作成する映像記録作成方法であって、
前記映像を示す複数のフレームからなる映像信号から所定の時間間隔でフレーム画像を取得し、
取得したフレーム画像について、時間的に連続する前後のフレーム画像を比較し、前のフレーム画像に含まれている前記画面の表示情報が後のフレーム画像で変化した場合に、前記前のフレーム画像を記録フレームとして記憶部に格納する、映像記録作成方法が提供される。

【0008】

本発明の他の態様によれば、
複数の画像が順に画面に表示される映像を示す複数のフレームからなる映像信号から所定の時間間隔でフレーム画像を取得する手順と、
取得したフレーム画像について、時間的に連続する前後のフレーム画像を比較し、前のフレーム画像に含まれている前記画面の表示情報が後のフレーム画像で変化した場合に、前記前のフレーム画像を記録フレームとして記憶部に格納する手順と、をコンピュータに実行させるためのプログラムが提供される。

【図面の簡単な説明】

【0009】

【図1】本発明の第１の実施形態である映像記録作成装置の概略構成を示すブロック図である。

【図2】図１に示す映像記録作成装置において行われる映像記録作成処理の一手順を示すフローチャートである。

【図3A】プレゼンテーション資料の映像から取得したフレームイメージの一例を示す模式図である。

【図3B】プレゼンテーション資料の映像から取得したフレームイメージの別の例を示す模式図である。

【図3C】プレゼンテーション資料の映像から取得したフレームイメージのさらに別の例を示す模式図である。

【図3D】プレゼンテーション資料の映像から取得したフレームイメージのさらに別の例を示す模式図である。

【図4】本発明の第２の実施形態である映像記録作成装置の概略構成を示すブロック図である。

【発明を実施するための形態】

【0010】

次に、本発明の実施形態について図面を参照して説明する。
（第１の実施形態）
図１は、本発明の第１の実施形態である映像記録作成装置の概略構成を示すブロック図である。
図１を参照すると、映像記録作成装置１は、ＣＰＵ（Central Processing Unit）部１０、記憶部２０、画像キャプチャ部３０、通信部４０及び操作部５０を有し、これらは内部バス６０に接続されている。
操作部５０は、複数の操作キー（キーボードやタッチパネルなども含む）を備え、使用者による入力操作に応じた操作内容を示す操作信号を出力する。使用者は、操作部５０を用いて映像記録作成装置１を動作させるための入力操作を行う。
通信部４０は、通信ケーブルや無線ＬＡＮ（Local Area Network）を介して外部装置と通信を行う。通信部４０は、インターネットへの接続が可能な通信機能を有してもよい。ここでは、通信部４０は、外部装置である映像発生装置２に接続されている。

【0011】

映像発生装置２は、例えば、パーソナルコンピュータ（ＰＣ）やタブレット端末などの情報処理端末である。映像発生装置２は、複数のスライド画像が順に画面に表示される映像を示す複数のフレームからなる映像信号を発生する。プレゼンテーション資料の各ページが、それぞれスライド画像として提供される。映像発生装置２からの映像信号は、映像記録作成装置１の通信部４０に供給される。
記憶部２０は、半導体メモリ、光ディスクや磁気ディスクを用いた記憶デバイスなどで構成される記憶装置であって、映像記録作成装置１を動作させるのに必要な種々のプログラムやデータを保持する。例えば、記憶部２０は、ソフトウェア２１、直前のフレームイメージ２２、現在のフレームイメージ２３、現在のフレームの文字認識結果２４、直前のフレームの文字認識結果２５及び記録フレームイメージ群２６を保持する。
ソフトウェア２１は、映像の記録、例えば、映像の要約を作成するためのプログラムである。直前のフレームイメージ２２及び現在のフレームイメージ２３として、プレゼンテーション映像の時間的に連続する前後のフレームに関する画像データが保持される。現在のフレームの文字認識結果２４は、現在のフレームイメージ２３の文字認識結果である。直前のフレームの文字認識結果２５は、直前のフレームイメージ２２の文字認識結果である。記録フレームイメージ群２６は、要約フレームイメージを保持する。

【0012】

画像キャプチャ部３０は、映像発生装置２から供給された映像信号から画像（フレームイメージ）を順次取得する。画像キャプチャ部３０は、取得した画像（フレームイメージ）を直接、又は、ＣＰＵ部１０を介して、記憶部２０の現在のフレームイメージ２３に保存する。フレームイメージを現在のフレームイメージ２３に保存する際に、現在のフレームイメージ２３に既にフレームイメージが保存されている場合は、現在のフレームイメージ２３に保存さていたフレームイメージは、直前のフレームイメージ２２に保存（転送）される。この動作に同期して、現在のフレームの文字認識結果２４の内容が直前のフレームの文字認識結果２５に保存（転送）される。現在のフレームイメージ２３から直前のフレームイメージ２２への転送処理及び現在のフレームの文字認識結果２４から直前のフレームの文字認識結果２５への転送処理は、連動して実行される。これら転送処理は画像キャプチャ部３０及びＣＰＵ部１０のどちらが行ってもよい。
ＣＰＵ部１０は、記憶部２０に格納されたプログラムに従って動作し、操作部５０からの操作信号に従って必要な処理を実行する。ＣＰＵ部１０は、バイナリ比較部１１、文字認識部１２及び文字認識結果比較部１３を有する。これらバイナリ比較部１１、文字認識部１２及び文字認識結果比較部１３は、映像処理部を構成するものであって、例えば、ＣＰＵ部１０がソフトウェア２１を実行することにより実現されてもよい。

【0013】

バイナリ比較部１１は、現在のフレームイメージ２３と直前のフレームイメージ２２との間でバイナリ比較（バイナリベースでの比較）を行い、比較結果を文字認識部１２に供給する。バイナリ比較は、フレームイメージが現在のフレームイメージ２３に格納される度に実行される。
文字認識部１２は、第１及び第２の文字認識処理を実行する。文字認識とは、例えば画像処理技術で知られているパターン認識の１つであって、フレームイメージ内に含まれる文字（記号を含む）を認識することをいう。フレームイメージ内に含まれる文字（記号を含む）は、表示情報である。
第１の文字認識処理において、文字認識部１２は、直前のフレームの文字認識結果２５を参照し、現在のフレームイメージ２３の対応領域について文字認識を行う。ここで、現在のフレームイメージ２３の対応領域は、直前のフレーム内の文字列が存在する領域（矩形領域）に対応する。一方、第２の文字認識処理においては、文字認識部１２は、現在のフレームイメージ２３全体に対して文字認識を行い、その認識結果を現在のフレームの文字認識結果２４に格納する。

【0014】

文字認識結果比較部１３は、直前のフレームの文字認識結果２５と第１の文字認識処理の結果（現在のフレームイメージ２３の対応領域の文字認識結果）とを比較する。そして、両結果が一致しなかった場合に、文字認識結果比較部１３は、直前のフレームイメージ２２を記録フレーム（要約フレーム）として記録フレームイメージ群２６に格納する。
なお、図１に示した構成例では、画像キャプチャ部３０は、ＣＰＵ部１０とは別に設けられているが、これに代えて、ＣＰＵ部１０の機能ブロックの一つが画像キャプチャ部３０を構成してもよい。この場合、画像キャプチャ部３０を構成する機能ブロックは、ソフトウェア２１により提供されてもよい。
ソフトウェア２１を含むプログラムは、記録媒体を用いて提供されてもよく、インターネット等の通信網を介して提供されてもよい。記録媒体は、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ（Digital Versatile Disc）、ＵＳＢ（Universal Serial Bus）メモリ、メモリカードなどである。

【0015】

次に、映像記録作成装置１の映像記録作成動作について詳細に説明する。
図２は、映像記録作成処理の一手順を示すフローチャートである。
図２を参照すると、まず、画像キャプチャ部３０が、映像発生装置２から取得したフレームイメージを現在のフレームイメージ２３として記憶部２０に保存する（ステップＳ１）。そして、ＣＰＵ部１０が、現在のフレームイメージ２３の保存が１回目か否かを判定する（ステップＳ２）。この判定は、バイナリ比較部１１によって行われてもよい。
現在のフレームイメージ２３の保存が１回目である場合は、文字認識部１２が、現在のフレームイメージ２３全体の文字認識を行い、その結果を現在のフレームの文字認識結果２４として記憶部２０に保存する（ステップＳ３）。そして、画像キャプチャ部３０によるキャプチャ動作を一定期間スリープする（ステップＳ４）。ステップＳ４の後、再度、ステップＳ１の処理が実行される。

【0016】

現在のフレームイメージ２３の保存が１回目でない場合は、バイナリ比較部１１が、現在のフレームイメージ２３と直前のフレームイメージ２２の間でバイナリ比較を行う（ステップＳ５）。そして、バイナリ比較部１１は、現在のフレームイメージ２３と直前のフレームイメージ２２の間で変化が有ったか否かを判定する（ステップＳ６）。
ステップＳ６で変化が無いと判断された場合は、ステップＳ４の処理が実行される。ステップＳ６で変化が有ると判断された場合は、文字認識部１２が、直前のフレームの文字認識結果２５を参照し、現在のフレームイメージ２３の対応領域について文字認識を行う（ステップＳ７）。次に、文字認識結果比較部１３が、直前のフレームの文字認識結果２５と現在のフレームイメージ２３の対応領域の文字認識結果とを比較する（ステップＳ８）。そして、文字認識結果比較部１３が、両フレームの文字列が一致したか否かを判定する（ステップＳ９）。

【0017】

ステップＳ９の判定で文字列が一致した場合は、ステップＳ４の処理が実行される。ステップＳ９の判定で文字列が一致しなかった場合は、文字認識結果比較部１３が、直前のフレームイメージ２２を要約フレームとして記録フレームイメージ群２６に格納する（ステップＳ１０）。その後、文字認識部１２が、現在のフレームイメージ２３全体の文字認識を行い、その結果を現在のフレームの文字認識結果２４として記憶部２０に保存する（ステップＳ１１）。ステップＳ１１の後、ステップＳ４の処理が実行される。
上述の映像記録作成装置１によれば、時間的に連続する前後のフレーム間で、前のフレーム内に含まれている文字列が後のフレームで変化した場合に、前のフレームが要約フレームとして記録フレームイメージ群２６に格納される。これにより、プレゼンテーション資料の文字を含むページについて、フレームイメージを重複することなく記録フレームイメージ群２６に格納することができる。

【0018】

以下に、具体的な例を挙げて映像記録作成動作を詳細に説明する。
図３Ａ〜図３Ｄに、プレゼンテーション資料の映像から所定の時間間隔で取得したフレームイメージの一例を示す。図３Ａは、１ページ目のスライド画像に対応するフレームイメージを示す。図３Ｂは、２ページ目のスライド画像の第１の表示状態に対応するフレームイメージを示す。図３Ｃは、２ページ目のスライド画像の第２の表示状態に対応するフレームイメージを示す。図３Ｄは、３ページ目のスライド画像に対応するフレームイメージを示す。
図３Ａに示すように、１ページ目のスライド画像は、文字列として、「社外秘」、「２０１０−１１年度売上報告」及び「１」を含む。映像記録作成装置１では、画像キャプチャ部３０が１ページ目のスライド画像に対応するフレームイメージＰ１を現在のフレームイメージ２３に保存し、文字認識部１２が、現在のフレームイメージ２３全体の文字認識を行い、その結果を現在のフレームの文字認識結果２４に保存する。ここで、現在のフレームの文字認識結果２４は、「社外秘」、「２０１０−１１年度売上報告」及び「１」を含む。

【0019】

図３Ｂおよび図３Ｃに示すように、２ページ目のスライド画像は、文字列として、「目次」、「２０１０年度の売上比較」及び「２０１１年度の売上比較」を含む。第１の表示状態では「目次」のみが表示され、第２の表示状態では、「目次」、「２０１０年度の売上比較」及び「２０１１年度の売上比較」の全てが表示される。
映像記録作成装置１では、画像キャプチャ部３０が２ページ目のスライド画像の第１の表示状態に対応するフレームイメージＰ２−１を現在のフレームイメージ２３に保存する。このとき、現在のフレームイメージ２３に保存されていたフレームイメージＰ１は、直前のフレームイメージ２２に保存（転送）され、かつ、現在のフレームの文字認識結果２４の内容（フレームＰ１の文字認識結果）が直前のフレームの文字認識結果２５に保存（転送）される。

【0020】

フレームイメージＰ２−１が現在のフレームイメージ２３に保存されると、バイナリ比較部１１が、現在のフレームイメージ２３（フレームイメージＰ２−１）と直前のフレームイメージ２２（フレームイメージＰ１）との間でバイナリ比較を行う。これらフレームイメージ２２、２３の間には変化が有る。このため、文字認識部１２が、直前のフレームの文字認識結果２５（フレームイメージＰ１の文字認識結果）を参照し、現在のフレームイメージ２３（フレームイメージＰ２−１）の対応領域について文字認識を行う。そして、文字認識結果比較部１３が、直前のフレームの文字認識結果２５と現在のフレームイメージ２３の対応領域の文字認識結果とを比較する。
直前のフレームの文字認識結果２５は、「社外秘」、「２０１０−１１年度売上報告」及び「１」を含む。一方、フレームイメージＰ２−１の対応領域の文字認識結果は、「社外秘」及び「２」を含む。すなわち、直前のフレームの文字認識結果２５に含まれていた「２０１０−１１年度売上報告」は、フレームイメージＰ２−１には含まれていない。直前のフレームの文字認識結果２５とフレームイメージＰ２−１の対応領域の文字認識結果との間で文字列が一致しないので、文字認識結果比較部１３は、直前のフレームイメージ２２（フレームイメージＰ１）を記録フレームイメージ群２６に格納する。

【0021】

次に、画像キャプチャ部３０が２ページ目のスライド画像の第２の表示状態に対応するフレームイメージＰ２−２を現在のフレームイメージ２３に保存する。このとき、現在のフレームイメージ２３に保存されていたフレームイメージＰ２−１は、直前のフレームイメージ２２に保存（転送）され、かつ、現在のフレームの文字認識結果２４の内容（フレームＰ２−１の文字認識結果）が直前のフレームの文字認識結果２５に保存（転送）される。
フレームイメージＰ２−２が現在のフレームイメージ２３に保存されると、バイナリ比較部１１が、現在のフレームイメージ２３（フレームイメージＰ２−２）と直前のフレームイメージ２２（フレームイメージＰ２−１）との間でバイナリ比較を行う。これらフレームイメージ２２、２３の間には変化が有る。このため、文字認識部１２が、直前のフレームの文字認識結果２５（フレームイメージＰ２−１の文字認識結果）を参照し、現在のフレームイメージ２３（フレームイメージＰ２−２）の対応領域について文字認識を行う。そして、文字認識結果比較部１３が、直前のフレームの文字認識結果２５と現在のフレームイメージ２３の対応領域の文字認識結果とを比較する。

【0022】

直前のフレームの文字認識結果２５は、「社外秘」、「目次」及び「２」を含む。一方、フレームイメージＰ２−２の対応領域の文字認識結果は、「社外秘」「目次」及び「２」を含む。すなわち、直前のフレームの文字認識結果２５とフレームイメージＰ２−２の対応領域の文字認識結果との間で文字列は一致する。よって、文字認識結果比較部１３は、直前のフレームイメージ２２（フレームイメージＰ２−１）を記録フレームイメージ群２６には格納しない。
図３Ｄに示すように、３ページ目のスライド画像は、文字列として、「社外秘」、「２０１０年」、「Ａ」、「Ｂ」、「Ｃ」、「Ｄ」、「Ｅ」、「２０１０年」及び「３」を含み、かつ、図形（グラフ）を含む。
映像記録作成装置１では、画像キャプチャ部３０が３ページ目のスライド画像に対応するフレームイメージＰ３を現在のフレームイメージ２３に保存する。このとき、現在のフレームイメージ２３に保存されていたフレームイメージＰ２−２は、直前のフレームイメージ２２に保存（転送）され、かつ、現在のフレームの文字認識結果２４の内容（フレームＰ２−２の文字認識結果）が直前のフレームの文字認識結果２５に保存（転送）される。

【0023】

フレームイメージＰ３が現在のフレームイメージ２３に保存されると、バイナリ比較部１１が、現在のフレームイメージ２３（フレームイメージＰ３）と直前のフレームイメージ２２（フレームイメージＰ２−２）との間でバイナリ比較を行う。これらフレームイメージ２２、２３の間には変化が有る。このため、文字認識部１２が、直前のフレームの文字認識結果２５（フレームイメージＰ２−２の文字認識結果）を参照し、現在のフレームイメージ２３（フレームイメージＰ３）の対応領域について文字認識を行う。そして、文字認識結果比較部１３が、直前のフレームの文字認識結果２５と現在のフレームイメージ２３の対応領域の文字認識結果とを比較する。
直前のフレームの文字認識結果２５は、「社外秘」、「目次」、「２０１０年度売上比較」、「２０１１年度売上比較」及び「２」を含む。一方、フレームイメージＰ３の対応領域の文字認識結果は、「社外秘」及び「３」を含む。すなわち、直前のフレームの文字認識結果２５に含まれていた「目次」、「２０１０年度売上比較」、「２０１１年度売上比較」及び「２」は、フレームイメージＰ３には含まれていない。直前のフレームの文字認識結果２５とフレームイメージＰ３の対応領域の文字認識結果との間で文字列が一致しないので、文字認識結果比較部１３は、直前のフレームイメージ２２（フレームＰ２−２）を記録フレームイメージ群２６に格納する。

【0024】

フレームイメージＰ３の処理を行った後の記録フレームイメージ群２６には、１ページ目のスライド画像を示すフレームイメージＰ１及び２ページ目のスライド画像の最後の状態を示すフレームイメージＰ２−２が格納されている。このように、各ページのフレームイメージを重複することなく記録フレームイメージ群２６に格納することが可能である。
なお、単に、時間的に連続する前後のフレーム間で文字列の検出結果が一致しない場合に、前のフレームを要約フレームとする方法では、２ページ目のスライド画像について、図３Ｂに示したフレームイメージＰ２−１と図３Ｃに示したフレームイメージＰ２−２が要約フレームとして保存される。この場合、不要なフレームＰ２−１が要約フレームとして保存されるという問題が生じる。これに対して、本実施形態では、２ページ目のスライド画像のような、文字列が順次追加されて複数の表示状態で表示される場合において、文字列の追加が完了した最後の状態を示す１つのフレームイメージが記録フレームイメージ群２６に格納される。このように、不要なフレームが要約フレームとして保存されることを抑制することができる。

【0025】

（第２の実施形態）
図４は、本発明の第２の実施形態である映像記録作成装置の概略構成を示すブロック図である。図１に示した映像記録作成装置１では文字認識を用いて映像の要約を作成していたが、本実施形態の映像記録作成装置１ａは、図形認識を用いて映像の要約を作成する。図形認識は、例えば画像処理技術で知られているパターン認識の１つであって、フレームイメージ内に含まれているグラフ等の図形を認識することをいう。フレームイメージ内に含まれる図形は表示情報である。
映像記録作成装置１ａは、文字認識部１２、文字認識結果比較部１３、現在のフレームの文字認識結果２４及び直前のフレームの文字認識結果２５に代えて、図形認識部１２ａ、図形認識結果比較部１３ａ、現在のフレームの図形認識結果２４ａ及び直前のフレームの図形認識結果２５ａを有する。この他の構成は、図１に示した映像記録作成装置１と同じである。図形認識部１２ａ及び図形認識結果比較部１３ａは、ソフトウェア２１により実現される機能ブロックであってもよい。

【0026】

図形認識部１２ａは、第１及び第２の図形認識処理を実行する。第１の図形認識処理において、図形認識部１２ａは、直前のフレームの図形認識結果２５ａを参照し、現在のフレームイメージ２３の対応領域について図形認識を行う。ここで、現在のフレームイメージ２３の対応領域は、直前のフレーム内の図形が存在する領域（矩形領域）に対応する。一方、第２の図形認識処理においては、図形認識部１２ａは、現在のフレームイメージ２３全体に対して図形認識を行い、その認識結果を現在のフレームの図形認識結果２４ａに格納する。
図形認識結果比較部１３ａは、直前のフレームの図形認識結果２５ａと第１の図形認識処理の結果（現在のフレームイメージ２３の対応領域の図形認識結果）とを比較する。そして、両結果が一致しなかった場合、すなわち、直前のフレームで認識した図形が現在のフレームで変化した場合に、認識結果比較部１３ａは、直前のフレームイメージ２２を記録フレーム（要約フレーム）として記録フレームイメージ群２６に格納する。
図形認識を用いた映像記録作成処理の手順は、図２に示した文字認識を用いた映像記録作成処理手順のステップＳ３、Ｓ７、Ｓ８、Ｓ９、Ｓ１１において、「文字」を「図形」に置き換えることで説明することができる。

【0027】

本実施形態の映像記録作成装置１ａによれば、文字が少ない図形主体の資料の映像について、要約フレームの抽出が可能であり、図形を含むページについて、フレームイメージを重複することなく記録フレームイメージ群２６に格納することが可能である。例えば、同一ページの表示画面でありながら、図形が順次追加されて複数の表示状態で表示されるケース（例えば、図３Ａ〜図３Ｄ）において、図形の追加が完了した最後の状態を示す１つのフレームイメージが記録フレームイメージ群２６に格納される。よって、不要なフレームが要約フレームとして保存されることを抑制することができる。

【0028】

以上説明した各実施形態の映像記録作成装置は本発明の一例であり、その構成及び動作は、適宜に変更することができる。
例えば、第１の実施形態の映像記録作成装置において、第２の実施形態で説明した図形認識に関わる構成を加えてもよい。この場合、文字認識部１２及び文字認識結果比較部１３がそれぞれ、図形認識部１２ａ及び図形認識結果比較部１３ａの機能を有していてもよい。
また、第１又は第２の実施形態の映像記録作成装置において、現在のフレームイメージ２３に保存さていたフレームイメージが直前のフレームイメージ２２に保存（転送）され、現在のフレームの文字認識結果２４（画像認識結果）の内容が直前のフレームの文字認識結果２５（画像認識結果）に保存（転送）されたが、転送せずに現在のフレームイメージ（文字認識結果、画像認識結果）と直前のフレームイメージ（文字認識結果、画像認識結果）との、現在または直前を示す属性を変更するようにしてもよい。つまり、現在のフレームイメージ（文字認識結果、画像認識結果）を直前のフレームイメージ（文字認識結果、画像認識結果）とし、直前のフレームイメージ（文字認識結果、画像認識結果）に現在のフレームイメージ（文字認識結果、画像認識結果）を保存する。この場合、現在のフレームイメージ（文字認識結果、画像認識結果）を直前のフレームイメージ（文字認識結果、画像認識結果）に保存（転送）する時間を短縮することができる。
また、第１又は第２の実施形態の映像記録作成装置において、映像発生装置２は映像記録作成装置内に設けられてもよい。

【0029】

映像発生装置２は、入力操作に応じて、画面に表示されるスライド画像を切り替えるように構成されてもよい。また、映像発生装置２は、複数のスライド画像が所定のシーケンスに従って順に画面に表示されるように構成されてもよい。いずれの場合も、映像発生装置２は、画面に表示されているスライド画像を示す映像信号を出力する。すなわち、映像発生装置２は、複数のスライド画像が順に画面に表示される映像を示す映像信号を出力する。
さらに、複数のスライド画像が順に画面に表示される映像を示す映像データが記憶部２０に格納されてもよい。この場合、記憶部２０に格納された映像データに基づく映像信号が画像キャプチャ部３０に供給される。
以上説明した本発明は、モニタやプロジェクターなどの映像表示装置、そのような映像表示装置に表示された内容を記録する記録装置、映像を遠隔地へ伝送する映像伝送装置に適用することができる。

【0030】

また、本発明は、以下の付記１〜８のような形態をとり得るが、これら形態に限定されない。
［付記１］
複数の画像が順に画面に表示される映像の記録を作成する映像記録作成装置であって、
情報を記憶する記憶部と、
前記映像を示す複数のフレームからなる映像信号を入力とし、該映像信号から所定の時間間隔でフレーム画像を取得する画像キャプチャ部と、
前記画像キャプチャ部が取得したフレーム画像について、時間的に連続する前後のフレーム画像を比較し、前のフレーム画像に含まれている前記画面の表示情報が後のフレーム画像で変化した場合に、前記前のフレーム画像を記録フレームとして前記記憶部に格納する映像処理部と、を有する、映像記録作成装置。
［付記２］
付記１に記載の映像記録作成装置において、
前記映像処理部は、前記前後のフレーム画像を比較する際に、前記前のフレーム画像から前記表示情報の領域を抽出し、該抽出領域と、前記後のフレーム画像内の前記抽出領域に対応する領域とに基づいて前記前後のフレーム画像を比較する、映像記録作成装置。
［付記３］
付記１または２に記載の映像記録作成装置において、
前記表示情報は文字及び図形の少なくとも一方を含む、映像記録作成装置。
［付記４］
付記１から３のいずれか１つに記載の映像記録作成装置において、
前記映像処理部は、前記前後のフレーム画像の間でバイナリ比較を行い、該フレーム画像間に差異がある場合に、前記抽出領域に基づく比較を行う、映像記録作成装置。
［付記５］
付記１から４のいずれか１つに記載の映像記録作成装置において、
前記映像信号を発生する映像発生部を、さらに有する、映像記録作成装置。
［付記６］
付記１から５のいずれか１つに記載の映像記録作成装置において、
前記映像を示す映像データが前記記憶部に保持され、
前記映像信号が前記映像データよりなる、映像記録作成装置。
［付記７］
複数の画像が順に画面に表示される映像の記録を作成する映像記録作成方法であって、
前記映像を示す複数のフレームからなる映像信号から所定の時間間隔でフレーム画像を取得し、
取得したフレーム画像について、時間的に連続する前後のフレーム画像を比較し、前のフレーム画像に含まれている前記画面の表示情報が後のフレーム画像で変化した場合に、前記前のフレーム画像を記録フレームとして記憶部に格納する、映像記録作成方法。
［付記８］
複数の画像が順に画面に表示される映像を示す複数のフレームからなる映像信号から所定の時間間隔でフレーム画像を取得する手順と、
取得したフレーム画像について、時間的に連続する前後のフレーム画像を比較し、前のフレーム画像に含まれている前記画面の表示情報が後のフレーム画像で変化した場合に、前記前のフレーム画像を記録フレームとして記憶部に格納する手順と、をコンピュータに実行させるためのプログラム。

【符号の説明】

【0031】

１、１ａ 映像記録作成装置
２ 映像発生部
１０ ＣＰＵ部
１１ バイナリ比較部
１２ 文字認識部
１２ａ 図形認識部
１３ 文字認識結果比較部
１３ａ 図形認識結果比較部
２０ 記憶部
３０ 画像キャプチャ部
４０ 通信部
５０ 操作部
６０ 内部バス

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図3D】

【図4】