特許 7114975 フレーム補間装置およびフレーム補間方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-08-01

(45)【発行日】2022-08-09

(54)【発明の名称】フレーム補間装置およびフレーム補間方法

(51)【国際特許分類】

   H04N 7/01 20060101AFI20220802BHJP

【ＦＩ】

H04N7/01 350

【請求項の数】 3

(21)【出願番号】P 2018059253

(22)【出願日】2018-03-27

(65)【公開番号】P2019176218

(43)【公開日】2019-10-10

【審査請求日】2020-12-16

(73)【特許権者】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(72)【発明者】

【氏名】伊藤 真也

【審査官】秦野 孝一郎

(56)【参考文献】

【文献】特開２００９－１９４５１８（ＪＰ，Ａ）

【文献】特開２０１２－２５３４９２（ＪＰ，Ａ）

【文献】国際公開第２０１６／１６３０２０（ＷＯ，Ａ１）

【文献】特開２０１０－２７８７６０（ＪＰ，Ａ）

【文献】特開２０１３－１６５４８６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／０１

(57)【特許請求の範囲】

【請求項1】

ユーザデバイスにおいて操作されている画面が、他デバイスと共有可能な動画として入力されると共に、入力される前記動画の連続する複数のフレームから補間フレームを作成するフレーム補間装置において、
前記フレームから所定のオブジェクトを抽出するオブジェクト抽出部と、
抽出された前記オブジェクトが次のフレームで移動する方向である動き方向を判断するオブジェクト動き判断部と、
前記オブジェクト動き判断部で判断した前記動き方向を用いて前記補間フレーム上での前記オブジェクトの位置を算出するオブジェクト位置算出部と、
算出された前記オブジェクト位置から前記補間フレームの背景画像を作成する背景画像生成部と、
前記オブジェクトに対応するテンプレートを、生成された前記背景画像の前記オブジェクト位置に配置して補間フレームを生成する合成部と、
前記テンプレートが記憶されるテンプレート記憶部と、
を有し、
前記テンプレート記憶部に記憶される前記テンプレートは、前記動画毎に更新が可能であることを特徴とするフレーム補間装置。

【請求項2】

前記オブジェクトはカーソルであることを特徴とする請求項１記載のフレーム補間装置。

【請求項3】

ユーザデバイスにおいて操作されている画面が、他デバイスと共有可能な動画として入力されると共に、前記動画の連続する複数のフレームから補間フレームを作成するフレーム補間方法において、
前記フレームから所定のオブジェクトを抽出するオブジェクト抽出工程と、
抽出された前記オブジェクトが次のフレームで移動する方向である動き方向を判断するオブジェクト動き判断工程と、
前記オブジェクト動き判断工程で判断した前記動き方向を用いて前記補間フレーム上での前記オブジェクトの位置を算出するオブジェクト位置算出工程と、
算出された前記オブジェクト位置から前記補間フレームの背景画像を作成する背景画像生成工程と、
前記オブジェクトに対応するテンプレートを、生成された前記背景画像の前記オブジェクト位置に配置して補間フレームを生成する合成工程と、
前記テンプレートが記憶されるテンプレート記憶工程と、
を有し、
前記テンプレート記憶工程で記憶される前記テンプレートは、前記動画毎に更新が可能であることを特徴とするフレーム補間方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、フレーム補間装置およびフレーム補間方法に関する。

【背景技術】

【0002】

従来、動画内の連続する２フレーム間の動きベクトルをブロックごとに検出し、動きベクトルを用いて補間フレームを作成し、元のフレーム間に挿入することで高フレームレート化する、いわゆるフレーム補間技術が知られている。

【0003】

例えば特許文献１には、２フレーム間の補間フレームを作成する際に、２フレーム間における動きベクトルを算出して、前後フレームそれぞれで動きベクトルを１／２にしたときの画像を作成して平均化することで補間フレームを作成する装置が記載されている。しかし特許文献１に記載の装置では、フレームに動きの激しい移動体が含まれていると画像の動きに滑らかさがなくなってしまう。

【0004】

それに対し特許文献２には、ある時点のフレーム画像から移動体画像を矩形に切り抜き、切り抜かれたフレーム画像から背景画像を作成し、作成した背景画像に、別な時点の移動体の動きを予測して、切り抜いた移動体画像を上書きすることで、フレーム間補間画像を得る画像処理装置が記載されている。

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、特許文献２に記載の装置では、切り抜いた矩形内に含まれる移動体以外の背景部分（以下ノイズということがある。）について考慮されていない。つまり、矩形内に含まれる移動体以外の背景部分と、作成した背景画像とがうまく合成できず、不自然なフレーム間補間画像を得る可能性がある。

【課題を解決するための手段】

【0006】

上記課題を解決するために、請求項１にかかる発明は、ユーザデバイスにおいて操作されている画面が、他デバイスと共有可能な動画として入力されると共に、入力される前記動画の連続する複数のフレームから補間フレームを作成するフレーム補間装置において、前記フレームから所定のオブジェクトを抽出するオブジェクト抽出部と、抽出された前記オブジェクトが次のフレームで移動する方向である動き方向を判断するオブジェクト動き判断部と、前記オブジェクト動き判断部で判断した前記動き方向を用いて前記補間フレーム上での前記オブジェクトの位置を算出するオブジェクト位置算出部と、算出された前記オブジェクト位置から前記補間フレームの背景画像を作成する背景画像生成部と、前記オブジェクトに対応するテンプレートを、生成された前記背景画像の前記オブジェクト位置に配置して補間フレームを生成する合成部と、前記テンプレートが記憶されるテンプレート記憶部と、を有し、前記テンプレート記憶部に記憶される前記テンプレートは、前記動画毎に更新が可能であることを特徴とする。

【発明の効果】

【0007】

本発明によれば、移動体を含む画像について、高画質なフレーム補間画像を得ることができる。

【図面の簡単な説明】

【0008】

【図1】第１の実施の形態における画像処理システム１０００の構成図である。

【図2】第１の実施の形態におけるユーザデバイス１００のハードウェア構成図である。

【図3】第１の実施の形態におけるユーザデバイス１００の機能ブロック図である。

【図4】カーソルの画像例である。

【図5】第１の実施形態の補間フレーム生成部１５の機能ブロック図である。

【図6】第１の実施形態のフレーム補間処理を説明するフロー図である。

【図7】フレーム補間処理を説明するための第一の画像例である。

【図8】フレーム補間処理を説明するための第二の画像例である。

【図9】フレーム補間処理を説明するための第三の画像例である。

【図10】フレーム補間処理を説明するための第四の画像例である。

【図11】フレーム補間処理を説明するための第五の画像例である。

【発明を実施するための形態】

【0009】

以下、添付の図面に基づき、本発明の実施の形態について説明する。なお、本発明の実施の形態を説明するための各図面において、同一の機能もしくは形状を有する部材や構成部品等の構成要素については、判別が可能な限り同一符号を付すことにより一度説明した後ではその説明を省略する。

【0010】

図１は、第１の実施の形態における画像処理システム１０００の構成例を示す図である。図１に示されるように、画像処理システム１０００は、フレーム補間装置であるユーザデバイス１００ａ～１００ｅ、サーバ２００、投影装置２０１、及びネットワーク３００を含む。ユーザデバイスは、ネットワーク３００を介して、他のユーザデバイス１００及びサーバ２００と接続されている。

【0011】

ユーザデバイス１００ａ～１００ｅは、ネットワーク３００経由で、他のユーザデバイス１００ａ～１００ｅから動画データを受信して、受信することにより各ユーザデバイス１００に入力された動画データに対して後述するフレーム補間処理を行い、補間処理後の動画データを表示可能なデバイスである。また、ユーザデバイス１００ａ～１００ｅは、ネットワーク３００経由で、サーバ２００から受信した動画データについても、同様に後述するにフレーム補間処理を行い、補間処理後の動画を表示可能なデバイスである。

【0012】

ユーザデバイス１００ａおよび１００ｂは、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、タブレットＰＣ又はスマートフォン等である。ユーザデバイス１００ｂには投影装置２０１が接続されている。

【0013】

投影装置２０１は、例えば、プロジェクタであり、ユーザデバイス１００ｂから出力される信号を受けて、画像を投影する。なお、投影装置２０１は、直接ネットワークと接続されて動画データを受信して、画像を投影してもよい。

【0014】

ユーザデバイス１００ｃはネットワーク３００経由で受信した動画データを表示可能なディスプレイである。

【0015】

ユーザデバイス１００ｄは、ディスプレイと音声デバイスを有し、ネットワーク３００経由で受信した動画データおよび音声データを再生することが可能なネットワーク会議デバイスである。

【0016】

ユーザデバイス１００ｅは、ネットワーク３００経由で受信した動画データを表示可能なディスプレイを有する電子黒板である。

【0017】

以降ユーザデバイス１００ａ～１００ｅをそれぞれ区別しない場合は、ユーザデバイス１００と呼ぶことがある。

【0018】

サーバ２００は、動画データをネットワーク３００経由でユーザ１００に送信する機能を有する。例えば、テレビ会議の多地点制御装置であり、あるユーザデバイス１００からカメラで撮影した動画データや、オフィス文書等が操作されるＰＣ画面の動画データを受信し、それら動画データを、ネットワーク２００を介して他のユーザデバイス１００に送信可能である。

【0019】

なおユーザデバイス１００ａ～１００ｅは前述した通り、少なくともネットワーク３００経由で受信した動画データを表示、再生可能であるが、自らが動画データや音声データをネットワーク３００経由、またはネットワーク３００とサーバ２００経由で配信する機能を有していてもよい。

【0020】

ここで、本画像処理システム１０００において、ユーザデバイス１００ａおよび１００ｂはＰＣ機能を有しているため、サーバ２００およびネットワーク３００を利用してＰＣで操作している画面を動画データとして他のユーザデバイスに送信することができる。つまりユーザデバイス１００ａおよび１００ｂにおいてＰＣ操作されている画面は動画データとして、他デバイスと共有することができる。この状態を特にＰＣ画面共有モードと呼ぶことがある。

【0021】

図１においては、ユーザデバイス１００ａおよび１００ｂがＰＣ画面共有モードにおいて共有する画面を提供する側として動作することもでき、また受信する側として動作することもできる。それに対して図１においては、ユーザデバイス１００ｃ、１００ｄ、１００ｅは受信する側として動作する。しかしこれに限られず、ユーザデバイス１００ｃ、１００ｄ、１００ｅであってもそれぞれのＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）を用いてＰＣと接続することにより、提供する側および受信する側の両方として動作することが可能となる。

【0022】

図２は、第１の実施の形態におけるユーザデバイス１００のハードウェア構成図である。図２に示されるように、ユーザデバイス１００は、それぞれ相互に接続されているＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１、表示装置１０２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０３、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０４、通信Ｉ／Ｆ１０５、記憶装置１０６及び入出力Ｉ／Ｆ１０７等を有する。

【0023】

ユーザデバイス１００での処理を実現するプログラムは、ＲＯＭ１０３又は記憶装置１０６に格納される。記憶装置１０６は、一例としてＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等の記憶媒体であり、インストールされたプログラムを格納すると共に、必要なデータを格納する。記憶装置１０６は、その他の例として、外部記憶媒体がユーザデバイス１００に装着されたものであってもよい。

【0024】

ＲＡＭ１０４は、プログラムの起動指示があった場合に、ＲＯＭ１０３又は記憶装置１０６からプログラムを読み出して格納する。ＣＰＵ１０１は、ＲＡＭ１０４に格納されたプログラムに従ってユーザデバイス１００に係る機能を実現する。

【0025】

表示装置１０２は、ユーザデバイス１００が有する表示装置であり、例えば、液晶ディスプレイ、タッチパネルディスプレイ、有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）、またプロジェクタ等の投影装置であってもよい。

【0026】

通信Ｉ／Ｆ１０５は、他のユーザデバイス１００又はサーバ２００等とネットワークを介して通信を行うための有線又は無線のインタフェースである。

【0027】

入出力Ｉ／Ｆ１０７は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）機器、ハードウェアキー、状態通知用ＬＥＤ、液晶ディスプレイ等の様々な入出力装置との接続を行うためのインタフェースである。

【0028】

そして、ユーザデバイス１００は、上述のハードウェア構成に加え、カメラ、スキャナ、プリンタ、キーボード、マウス、マイク、スピーカ、電子ペンなどそれぞれのデバイス特有のハードウェア構成を有する。

【0029】

なお、サーバ２００も図２と同様のハードウェア構成を有していてもよい。

【0030】

図３は、第１の実施の形態におけるユーザデバイス１００の機能ブロック図である。図３に示されるように、ユーザデバイス１００は、蓄積部１１、動きベクトル検出部１２、シーン判断部１３、処理モード選択部１４、補間フレーム生成部１５及び画像表示部１６を含む。これら各部は、ユーザデバイス１００にインストールされた１以上のプログラムがＣＰＵ１０１に実行させる処理により実現される。

【0031】

蓄積部１１は、ネットワーク３００からユーザデバイス１００に入力される動画の、最新フレームから連続する過去フレームまで遡って所定のフレーム数分、蓄積する。フレームは、例えば、所定の水平解像度及び垂直解像度を有し、１ドットがＲＧＢの３色で、各色の色深度は８ｂｉｔであるカラー画像データである。色深度のビット数は、８ｂｉｔに限られず１６ｂｉｔ等さらに大きくてもよい。また、フレームは、ＹＵＶ（ＹＣｂＣｒ）のような輝度色差信号のデータ形式で記録されていてもよい。

【0032】

動きベクトル検出部１２は、蓄積部１１から読み出した複数のフレームに基づいて、動きベクトルを検出する。本実施の形態では、最新フレームと１つ前のフレームの２枚から動きベクトルを検出するものとするが、非線形な動きや複数の動きが交差する複雑なケースに対応できるよう３フレーム以上を使って動きベクトルを検出する既存の方法もあり、当該既存の方法を本実施の形態に用いてもよい。

【0033】

シーン判断部１３は、蓄積部１１から読み出した複数のフレーム及び動きベクトル検出部１２で検出された動きベクトルに基づいて、シーン種別を判断する。本実施の形態において、シーン種別は、画面の一部又は全部が移動する状態に対応するスクロールシーン、スクロールしていない状態でカーソルだけが動いているポインタシーン、スクロールシーン又はポインタシーン以外のシーン、一例として静止しているシーンが含まれる。

【0034】

処理モード選択部１４は、文字及び図表が含まれるオフィス文書向けの第１の処理モードと、自然画向けの第２の処理モードを含む、複数処理モードのうちいずれかを選択する。処理モードは、ユーザによって選択されてもよい。

【0035】

補間フレーム生成部１５は、選択された処理モード及びシーン判断結果に応じた方法で、最新フレームと１つ前のフレームの間に挿入する補間フレームを生成する。

【0036】

画像表示部１６は、入力されたフレーム間に補間フレームが挿入された動画を、ユーザデバイス１００が有する表示装置１０２、又は投影装置２０１に、補間処理後の動画を順次出力又は表示する。

【0037】

ここでカーソルとは、コンピュータなどの表示画面上において、ユーザに対し入力位置を示したり、表示画面上の位置を指し示したりするために表示画面上を動く下線や記号、イラスト等であり、マウスカーソル、ポインタ、マウスポインタ、文字入力カーソル等と呼ばれることもある。ユーザデバイス１００であれば、カーソルは表示装置１０２上に表示される。カーソルの表示画面上の画像例として、図４（ａ）（ｂ）（ｃ）のように、矢印、指のイラスト、レーザポインタを模したイラスト等があるがこれに限られない。以降の説明では、図４（ａ）を「マウスカーソル」、図４（ｂ）を「ハンドカーソル」、図４（ｃ）を「レーザポインタ」と呼ぶことがある。

【0038】

図５は、補間フレーム生成部１５の機能構成例を示す図である。図５に示されるように、補間フレーム生成部１５はオブジェクト抽出部１５１、オブジェクト動き判断部１５２、オブジェクト位置算出部１５３、背景画像生成部１５４、テンプレート記憶部１５５、合成部１５６を含む。

【0039】

オブジェクト抽出部１５１は、シーン判断部１３の判断結果がポインタシーンだった場合、蓄積部１１から入力された連続する３フレームに対してオブジェクトを抽出する。オブジェクトとは、フレームを構成している画像データから、人（ユーザ）にとって画像として意味のある単位で切り取った画像データを言う。

【0040】

オブジェクト動き判断部１５２は、オブジェクト抽出部１５１で抽出された、各フレームのオブジェクトの位置を比較することで、オブジェクトの動き方向を判断する。

【0041】

オブジェクト位置算出部１５３は、オブジェクト動き判断部１５２で判断したオブジェクトの動き方向と連続する複数フレームからオブジェクトの移動位置を算出する。

【0042】

背景画像生成部１５４は、蓄積部１１より入力されたフレームから、オブジェクト抽出部１５１で抽出されたオブジェクトを取り除いた背景画像を生成する。

【0043】

テンプレート記憶部１５５は、テンプレートとなるオブジェクトを記憶する。テンプレート記憶部１５５に記憶されるオブジェクトは、あらかじめ決められた所定のオブジェクト、例えば画像処理システム１０００のユーザによって頻繁に使用されるオブジェクトであってもよい。頻繁に使用されるオブジェクトの例としては前述のカーソルが挙げられるがこれに限られず、所望のオブジェクトを記憶してよい。さらに、テンプレート記憶部１５５に記憶されるオブジェクトは、新たなテンプレートが追加されたり、記憶されているテンプレートを置き換えられたりすることにより、更新されてもよい。

【0044】

また、テンプレートとして採用するオブジェクトの条件を、あらかじめ決めておき、動画毎またはフレーム毎にオブジェクト抽出部１５１で新たに抽出されたオブジェクトがその条件を満たせば、補間フレーム生成部１５がテンプレートとして新たにテンプレート記憶部１５５に記憶してもよい。

【0045】

合成部１５６は、オブジェクト抽出部１５１で抽出されたオブジェクトがテンプレート記憶部１５５に記憶されているテンプレートと一致しているかを確認する。抽出されたオブジェクトがテンプレートと一致する場合、テンプレート記憶部１５５に記憶されているテンプレートを、背景画像生成部１５４で生成した背景画像上の、オブジェクト位置算出部１５３で算出された位置に合成する。オブジェクトが一致しない場合、オブジェクト抽出部１５１で抽出されたオブジェクトを、背景画像生成部１５４で生成した背景画像上の、オブジェクト位置算出部１５３で算出された位置に合成する。

【0046】

図６は補間フレーム生成部１５の処理を説明するフロー図である。

【0047】

図３で説明したように、補間フレーム生成部１５に、蓄積部１１から動画データ、シーン判断部１３からシーン判断結果、処理モード選択部１４から処理モードが入力される。すると補間フレーム生成部１５は、シーン判断工程として、対象フレームについてのシーン判断結果が「ポインタシーン」であるかを確認する（Ｓ６０１）。

【0048】

シーン判断工程でＹｅｓ、つまりポインタシーンであると判断された場合は、ステップＳ６０２の処理に移行する。シーン判断工程で、ＮＯ、つまりポインタシーンでないと判断された場合はステップＳ６０９の処理に移行する。

【0049】

以降はまず、シーン判断工程でＹｅｓ、つまりポインタシーンであると判断された場合について説明する説明する。

【0050】

オブジェクト抽出部１５１は、オブジェクト抽出工程として、入力された動画データからオブジェクトを抽出する（Ｓ６０２）。なおオブジェクト抽出の具体的な方法は後述する。

【0051】

オブジェクト抽出工程が終了すると、オブジェクト動き判断部１５２は、オブジェクト動き判断工程として、連続するフレーム、一例として３フレームについてオブジェクトの位置を確認してオブジェクトの動き方向を判断する（Ｓ６０３）。

【0052】

オブジェクト動き判断工程が終了すると、オブジェクト位置算出部１５３は、オブジェクト位置算出工程として、連続する３フレームについて、オブジェクトの位置を確認して補間フレーム内のオブジェクトの位置を算出する（Ｓ６０４）。補間フレーム内のオブジェクトの位置は、連続的な動きを再現できる位置を算出する。例えば前後のフレームの中間位置としたり、さらにオブジェクトの移動の加速度を考慮したりしてもよいが、これらに限られない。

【0053】

オブジェクト位置算出工程が終了すると、背景画像生成部１５４は、背景画像生成工程として、補間フレームの背景画像を生成する（Ｓ６０５）。つまり背景画像生成部１５４は、蓄積部１１から入力された動画データから、オブジェクト抽出工程（Ｓ６０２）で抽出されたオブジェクトを取り除いた画像を、補間フレームの背景画像として生成する。

【0054】

背景画像生成工程が終了すると、合成部１５６は、比較工程として、オブジェクト抽出工程で抽出されたオブジェクトと、図６のテンプレート記憶部１５５に記憶されたテンプレートが一致しているかどうかを比較し判断する（Ｓ６０６）。

【0055】

比較工程が終了すると、合成部１５６は合成工程として、ステップＳ６０７、ステップＳ６０８のいずれかを実行する。

【0056】

まず比較工程において、オブジェクト抽出工程で抽出されたオブジェクトがテンプレート記憶部１５５に記憶されたテンプレートと一致している場合は、ステップＳ６０７の処理に移行する。

【0057】

テンプレート利用合成工程として、合成部１５６は、ステップＳ６０５の処理で生成された補間フレームの背景画像に対して、テンプレート記憶部１５５に記憶されたテンプレートを、ステップＳ６０４で算出された位置座標に合成することで補間フレームを生成する（Ｓ６０７）。補間フレーム生成が終了すると、補間フレーム生成部１５のフローが終了する。

【0058】

次に比較工程において、オブジェクト抽出工程で抽出されたオブジェクトがテンプレート記憶部１５５に記憶されたテンプレートと一致していない場合は、ステップＳ６０８に移行する。

【0059】

オブジェクト利用合成工程として、合成部１５６は、ステップＳ６０５において生成された補間フレームの背景画像に対して、ステップＳ６０２の処理で抽出されたオブジェクトを、ステップＳ６０４の処理で算出された位置座標に合成することで補間フレームを生成する（Ｓ６０８）。補間フレーム生成の処理が終了すると、補間フレーム生成部１５のフローが終了する。

【0060】

ここでシーン判断工程（Ｓ６０１）において、対象フレームがポインタシーン以外と判断された場合について述べる。シーン判断工程（Ｓ６０１）において、対象フレームがポインタシーン以外と判断された場合、補間フレーム生成部１５は、オブジェクト抽出を行わない補間フレーム生成工程として、一例として前後のフレームのコピーや線形補間などを利用した補間フレームを生成する（Ｓ６０９）。補間フレーム生成の処理が終了すると、補間フレーム生成部１５のフローが終了する。

【0061】

このように本実施形態においては、画面共有モードの動画像データにおいて、オブジェクトのうち、ユーザが頻繁に動かす可能性のあるカーソル等のオブジェクトをテンプレート化し、補間フレームを作る際はカーソル等のオブジェクトを、前のフレームからではなくテンプレートから参照して合成する。したがって、前のフレームのノイズまで合成した補間フレームを生成することを防ぐことができ、動画の高画質化を実現すること可能である。

【0062】

図７は、図６のステップＳ６０１でポインタシーンと判断された後の、ステップＳ６０２のオブジェクト抽出工程からステップＳ６０５補正フレーム背景画像生成工程までの処理画像例である。

【0063】

図７（ａ）は、ステップＳ６０１でポインタシーンと判断された入力フレームを示した図である。図７（ａ）に示す左から右方向への矢印は、時間（ｔ）経過を示している。ユーザデバイス１００は時間（ｔ）経過にしたがって、左のフレームの画像から右のフレームの画像へと変化していく動画データを、ネットワーク３００を介して受信する。そして時間（ｔ）経過にしたがって、左のフレームから順に蓄積部１１に入力される。以下、同様の図については同様の意味である。また、各フレームは、シーン判断部１３の判断結果がポインタシーンであることを前提としており、以下の説明においても同様である。

【0064】

図７（ｂ）は、オブジェクト抽出工程によって、図７（ａ）の各フレームからオブジェクトが抽出された結果を示した図である。矩形の点線内が、各フレーム内で抽出されたオブジェクトを示している。

【0065】

図７（ｃ）は、オブジェクト動き判断工程によって、図７（ｂ）で示したオブジェクトの、それぞれのフレームでの動きを、連続する３フレームから判断した結果を示した図である。より具体的にいうと、あるフレームでのオブジェクトの抽出位置から、次のフレームでのオブジェクトの抽出位置までに、オブジェクトが動く向きと動く量を判断した結果ということもできる。判断された動く向きを点線白矢印で示す。

【0066】

図７（ｄ）は、オブジェクト位置算出工程と背景画像生成工程を説明する図である。２点鎖線で示されるフレームが補間フレームを示す。連続する３フレームから、オブジェクトが補間フレーム上ではどこに存在するのかを算出し、さらに図７（ａ）の入力フレームからオブジェクトを取り除いて補間フレームの背景画像を生成した結果を示した図である。

【0067】

図７（ｄ）では、オブジェクトが補間フレーム上ではどこに存在するのかを、補間フレームの背景画像上に星印★で示している。このとき、補間フレームの背景画像の生成方法は、オブジェクトを取り除くことの他は、オブジェクト以外の領域を前フレームからコピーしてきてもよいし、前後のフレームから線形補間で生成してもよい。

【0068】

図８（ａ）の左は、抽出されたオブジェクトであり図８（ａ）の右は、テンプレートに記憶されている画像データである。この場合、比較工程において、抽出されたオブジェクトとテンプレート記憶部１５５に記憶されているテンプレートが一致しているかを比較している。

【0069】

図８（ｂ）はテンプレート利用合成工程において、図７（ｄ）で算出されたオブジェクトの位置★にテンプレートを合成することで生成された補間フレームを示している。図８（ａ）でテンプレートとオブジェクトが一致しているため、テンプレートを合成する。

【0070】

次に図９を用いてテンプレートとオブジェクトが一致しない場合の合成について説明する。

【0071】

図９（ａ）左は図８（ａ）左のマウスカーソルをハンドカーソルに変更した図である。図９（ａ）は図８（ａ）の場合と異なり、オブジェクトが「ハンドカーソル」で、テンプレートが「マウスカーソル」となっており、オブジェクトとテンプレートが不一致の場合である。

【0072】

図９（ｂ）は、オブジェクト利用合成工程において、図７（ｄ）算出されたオブジェクトの位置★にオブジェクトを合成することで生成された補間フレーム示している。図９（ａ）でテンプレートとオブジェクトが不一致であるため、オブジェクトを合成する。

【0073】

図１０および図１１はオブジェクト抽出工程Ｓ６０２の処理の説明図である。

【0074】

まず図１０（ａ）にオブジェクト抽出で用いる連続する３フレームを示す。まず、３フレームに対してエッジ抽出を行う。図１０（ｂ）は、図１０（ａ）入力フレームに対してエッジ抽出を行った結果である。黒画素がエッジ画素、白画素が非エッジ画素を表している。このとき、エッジ抽出を行うための信号はＲＧＢ信号のうち、解像度の決定に寄与するＧ信号を用いてもよいし、輝度信号を用いてもよい。

【0075】

次に、連続する２フレームに対してエッジ画像の差分を求める。図１０（ｃ）は、図１０（ｂ）のエッジ画像で隣り合う２フレームに対して差分を求めた結果（エッジ差分画像）である。黒画素がエッジ画素、白画素が非エッジ画素を表している。

【0076】

なお、図８、図９で説明したテンプレートとオブジェクトの比較の際も、このようなエッジ抽出を、テンプレートと抽出されたオブジェクトに対して行なって差分を取ることにより、一致しているかを判断することができる。このとき、画像の端部に関しては多少の不一致を許容するようにしてもよい。

【0077】

次に、２枚のエッジ差分画像に含まれるオブジェクトを矩形領域で囲み、オブジェクト候補を抽出する。そして２枚のエッジ差分画像で作られたオブジェクト候補に対して論理和を取る。図１１（ａ）は図１０（ｃ）のそれぞれのエッジ差分画像に対してオブジェクト候補を抽出して論理和を取った結果である。

【0078】

次に、入力フレームに対して、前処理で求めたオブジェクト候補をマージする。図１１（ｂ）は、図１０（ａ）の入力フレームに対して図１１（ａ）で求めたオブジェクト候補をマージした結果である。ここでは各フレームのオブジェクト候補に対して仮としてa1～a3、b1～b3、c1～c3とナンバリングしている。

【0079】

最後に、３フレームのオブジェクト候補に関して、同位置のオブジェクト候補の差分を算出してオブジェクトを含む領域を判断する。図１１（ｃ）は、図１１（ｂ）で同位置のオブジェクト候補について差分を算出して、オブジェクトを含む領域を判断した結果である。図１１（ｂ）の場合、同位置のオブジェクト候補とは（a1,b1,c1）（a2,b2,c2）（a1,b2,c3）となり、差分を取り、それぞれのフレームで抽出されたオブジェクトがa3,b1,c2のオブジェクトとなる。図８（ｂ）の３つのフレームのオブジェクトが、左からそれぞれ、図１１（ｃ）のa3,b1,c3に該当する。

【0080】

以上、本発明の各実施形態について詳述したが、かかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

【符号の説明】

【0081】

１００ ユーザデバイス
１５ 補間フレーム生成部
１５１ オブジェクト抽出部
１５２ オブジェクト動き判断部
１５３ オブジェクト位置算出部
１５４ 背景画像生成部
１５５ テンプレート記憶部
１５６ 合成部

【先行技術文献】

【特許文献】

【0082】

【文献】特開平３－２６３９８９号公報

【文献】特開平１０‐３３６５９９号公報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】