特許 7091767 フレーム補間装置およびフレーム補間方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-06-20

(45)【発行日】2022-06-28

(54)【発明の名称】フレーム補間装置およびフレーム補間方法

(51)【国際特許分類】

   H04N 7/01 20060101AFI20220621BHJP

【ＦＩ】

H04N7/01 270

H04N7/01 400

【請求項の数】 4

(21)【出願番号】P 2018059208

(22)【出願日】2018-03-27

(65)【公開番号】P2019176216

(43)【公開日】2019-10-10

【審査請求日】2021-02-08

(73)【特許権者】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(72)【発明者】

【氏名】伊波 雄

【審査官】益戸 宏

(56)【参考文献】

【文献】特開２００４－１２８７０２（ＪＰ，Ａ）

【文献】特開２００９－１９４５１８（ＪＰ，Ａ）

【文献】特開２００８－２８８６９７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／０１

Ｇ０９Ｇ ３／００－５／００

(57)【特許請求の範囲】

【請求項1】

入力される動画の前フレームと後フレームである前後フレームの間の補間フレームを生成するフレーム補間装置であって、
前記前後フレームの間で動きのあるオブジェクトである動きオブジェクトを含む領域である動きオブジェクト領域を、前記前後フレームそれぞれにおいて抽出するオブジェクト抽出部と、
前記前後フレームそれぞれの動きオブジェクト領域に基づいて前記動きオブジェクト領域の動き方向を判断するオブジェクト動き判断部と、
前記動き方向に基づいて算出される前記補間フレーム内の前記動きオブジェクト領域である補間オブジェクト領域と、前記動きオブジェクトの画像とからなる補間オブジェクトを生成する補間オブジェクト生成部と、
前記前フレーム内から、前記動きオブジェクト領域の動きに応じて画像が変化する領域であるエフェクト領域を抽出するエフェクト領域抽出部と、
前記前フレーム内の、前記エフェクト領域及び前記動きオブジェクト領域を含む領域であるオブジェクト周辺領域を算出するオブジェクト周辺領域算出部と、
算出された前記オブジェクト周辺領域の、前記後フレーム内における画像である、オブジェクト周辺画像を抽出するオブジェクト周辺画像抽出部と、
前記前フレームに対し、前記オブジェクト周辺領域に前記オブジェクト周辺画像を合成し、さらに前記補間オブジェクト領域に前記動きオブジェクトの画像を合成して、前記補間フレームを生成する画像生成部とを有するフレーム補間装置。

【請求項2】

前記オブジェクト周辺領域算出部は、前記後フレームの動きオブジェクト領域を含まないように前記オブジェクト周辺領域を算出する請求項１のフレーム補間装置。

【請求項3】

前記オブジェクトはカーソルである請求項１または２のフレーム補間装置。

【請求項4】

入力される動画の前フレームと後フレームとの前後フレーム間の補間フレームを生成するフレーム補間方法であって、
前記前後フレームの間で動きのあるオブジェクトである動きオブジェクトを含む領域である動きオブジェクト領域を、前記前後フレームそれぞれにおいて抽出するオブジェクト抽出工程と、
前記前後フレームそれぞれの動きオブジェクト領域に基づいて前記動きオブジェクト領域の動き方向を判断するオブジェクト動き判断工程と、
前記動き方向に基づいて前記補間フレーム内の前記動きオブジェクト領域である補間オブジェクト領域と、前記動きオブジェクトの画像とからなる補間オブジェクトを生成する補間オブジェクト生成工程と、
前記前フレーム内から、前記動きオブジェクト領域の動きに応じて画像が変化する領域であるエフェクト領域を抽出するエフェクト領域抽出工程と、
前記前フレーム内で、前記エフェクト領域及び前記前フレームの動きオブジェクト領域を含む領域であるオブジェクト周辺領域を算出するオブジェクト周辺領域算出工程と、
前記後フレーム内から、前記オブジェクト周辺領域の画像である、オブジェクト周辺画像を抽出するオブジェクト周辺画像抽出工程と、
前記前フレームに対し、前記オブジェクト周辺領域に前記オブジェクト周辺画像を上書きし、前記補間オブジェクト領域に前記動きオブジェクトの画像を上書きして、前記補間フレームを生成する画像生成工程とを有するフレーム補間方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、フレーム補間装置およびフレーム補間方法に関する。

【背景技術】

【0002】

従来、動画内の連続する２フレーム間の動きベクトルをブロックごとに検出し、動きベクトルを用いて補間フレームを作成し、元のフレーム間に挿入することで高フレームレート化する、いわゆるフレーム補間技術が知られている。

【0003】

例えば特許文献１には、２フレーム間の補間フレームを作成する際に、２フレーム間における動きベクトルを算出して、前後フレームそれぞれで動きベクトルを１／２にしたときの画像を作成して平均化することで補間フレームを作成する装置が記載されている。しかし特許文献１に記載の装置では、フレームに動きの激しい移動体が含まれていると画像の動きに滑らかさがなくなってしまう。

【0004】

それに対し特許文献２には、ある時点のフレーム画像から移動体画像を矩形に切り抜き、切り抜かれたフレーム画像から背景画像を作成し、作成した背景画像に、別な時点の移動体の動きを予測して、切り抜いた移動体画像を上書きすることで、フレーム間補間画像を得る画像処理装置が記載されている。

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、特許文献２に記載の装置では、切り抜いた矩形内に含まれる移動体以外の背景部分について考慮されていない。つまり、矩形内に含まれる移動体以外の背景部分と、作成した背景画像とがうまく合成できず、不自然なフレーム間補間画像を得る可能性がある。

【課題を解決するための手段】

【0006】

上記課題を解決するために、請求項１にかかる発明は、入力される動画の前フレームと後フレームである前後フレームの間の補間フレームを生成するフレーム補間装置であって、前記前後フレームの間で動きのあるオブジェクトである動きオブジェクトを含む領域である動きオブジェクト領域を、前記前後フレームそれぞれにおいて抽出するオブジェクト抽出部と、前記前後フレームそれぞれの動きオブジェクト領域に基づいて前記動きオブジェクト領域の動き方向を判断するオブジェクト動き判断部と、前記動き方向に基づいて算出される前記補間フレーム内の前記動きオブジェクト領域である補間オブジェクト領域と、前記動きオブジェクトの画像とからなる補間オブジェクトを生成する補間オブジェクト生成部と、前記前フレーム内から、前記動きオブジェクト領域の動きに応じて画像が変化する領域であるエフェクト領域を抽出するエフェクト領域抽出部と、前記前フレーム内の、前記エフェクト領域及び前記動きオブジェクト領域を含む領域であるオブジェクト周辺領域を算出するオブジェクト周辺領域算出部と、算出された前記オブジェクト周辺領域の、前記後フレーム内における画像である、オブジェクト周辺画像を抽出するオブジェクト周辺画像抽出部と、前記前フレームに対し、前記オブジェクト周辺領域に前記オブジェクト周辺画像を合成し、さらに前記補間オブジェクト領域に前記動きオブジェクトの画像を合成して、前記補間フレームを生成する画像生成部とを有するフレーム補間装置である。

【発明の効果】

【0007】

本発明によれば、移動体を含む画像について、高画質なフレーム補間画像を得ることができる。

【図面の簡単な説明】

【0008】

【図1】第１の実施の形態における画像処理システム１０００の構成図である。

【図2】第１の実施の形態におけるユーザデバイス１００のハードウェア構成図である。

【図3】第１の実施の形態におけるユーザデバイス１００の機能ブロック図である。

【図4】カーソルの画像例である。

【図5】第１の実施形態の補間フレーム生成部１５の機能ブロック図である。

【図6】第１の実施形態のフレーム補間２理を説明するフロー図である。

【図7】フレーム補間処理を説明するための第一の画像例である。

【図8】フレーム補間処理を説明するための第二の画像例である。

【図9】フレーム補間処理を説明するための第三の画像例である。

【図10】フレーム補間処理を説明するための第四の画像例である。

【図11】フレーム補間処理を説明するための第五の画像例である。

【発明を実施するための形態】

【0009】

以下、添付の図面に基づき、本発明の実施の形態について説明する。なお、本発明の実施の形態を説明するための各図面において、同一の機能もしくは形状を有する部材や構成部品等の構成要素については、判別が可能な限り同一符号を付すことにより一度説明した後ではその説明を省略する。

【0010】

図１は、第１の実施の形態における画像処理システム１０００の構成例を示す図である。図１に示されるように、画像処理システム１０００は、フレーム補間装置であるユーザデバイス１００ａ～１００ｅ、サーバ２００、投影装置２０１、及びネットワーク３００を含む。ユーザデバイスは、ネットワーク３００を介して、他のユーザデバイス１００及びサーバ２００と接続されている。

【0011】

ユーザデバイス１００ａ～１００ｅは、ネットワーク３００経由で、他のユーザデバイス１００ａ～１００ｅから動画データを受信して、後述するようなフレーム補間方法でフレーム補間処理を行い、補間処理後の動画を表示可能なデバイスである。また、ユーザデバイス１００ａ～１００ｅは、サーバ２００から受信した動画データについても、後述するようにフレーム補間処理を行い、補間処理後の動画を表示可能なデバイスである。

【0012】

ユーザデバイス１００ａおよび１００ｂは、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、タブレットＰＣ又はスマートフォン等である。ユーザデバイス１００ｂには投影装置２０１が接続されている。

【0013】

投影装置２０１は、例えば、プロジェクタであり、ユーザデバイス１００ｂから出力される信号を受けて、画像を投影する。なお、投影装置２０１は、直接ネットワークと接続されて動画データを受信して、画像を投影してもよい。

【0014】

ユーザデバイス１００ｃはネットワーク３００経由で受信した動画データを表示可能なディスプレイである。

【0015】

ユーザデバイス１００ｄは、ディスプレイと音声デバイスを有し、ネットワーク３００経由で受信した動画データおよび音声データを再生することが可能なネットワーク会議デバイスである。

【0016】

ユーザデバイス１００ｅは、ネットワーク３００経由で受信した動画データを表示可能なディスプレイを有する電子黒板である。

【0017】

以降ユーザデバイス１００ａ～１００ｅをそれぞれ区別しない場合は、ユーザデバイス１００と呼ぶことがある。

【0018】

サーバ２００は、動画データをネットワーク３００経由でユーザデバイス１００に送信する機能を有する。例えば、テレビ会議の多地点制御装置であり、あるユーザデバイス１００からカメラで撮影した動画データや、オフィス文書等が操作されるＰＣ画面の動画データを受信し、それら動画データを、ネットワーク３００を介して他のユーザデバイス１００に送信可能である。

【0019】

なおユーザデバイス１００ａ～１００ｅは前述した通り、少なくともネットワーク３００経由で受信した動画データを表示、再生可能であるが、自らが動画データや音声データをネットワーク３００経由、またはネットワーク３００とサーバ２００経由で配信する機能を有していてもよい。

【0020】

ここで、本画像処理システム１０００において、ユーザデバイス１００ａおよび１００ｂはＰＣ機能を有しているため、サーバ２００およびネットワーク３００を利用してＰＣで操作している画面を動画データとして他のユーザデバイスに送信することができる。つまりユーザデバイス１００ａおよび１００ｂにおいてＰＣ操作されている画面は動画データとして、他デバイスと共有することができる。この状態を特にＰＣ画面共有モードと呼ぶことがある。

【0021】

図１においては、ユーザデバイス１００ａおよび１００ｂがＰＣ画面共有モードにおいて共有する画面を提供する側として動作することもでき、また受信する側として動作することもできる。それに対して図１においては、ユーザデバイス１００ｃ、１００ｄ、１００ｅは受信する側として動作する。しかしこれに限られず、ユーザデバイス１００ｃ、１００ｄ、１００ｅであってもそれぞれのＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）を用いてＰＣと接続することにより、提供する側および受信する側の両方として動作することが可能となる。

【0022】

図２は、第１の実施の形態におけるユーザデバイス１００のハードウェア構成図である。図２に示されるように、ユーザデバイス１００は、それぞれ相互に接続されているＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１、表示装置１０２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０３、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０４、通信Ｉ／Ｆ１０５、記憶装置１０６及び入出力Ｉ／Ｆ１０７等を有する。

【0023】

ユーザデバイス１００での処理を実現するプログラムは、ＲＯＭ１０３又は記憶装置１０６に格納される。記憶装置１０６は、一例としてＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等の記憶媒体であり、インストールされたプログラムを格納すると共に、必要なデータを格納する。記憶装置１０６は、その他の例として、外部記憶媒体がユーザデバイス１００に装着されたものであってもよい。

【0024】

ＲＡＭ１０４は、プログラムの起動指示があった場合に、ＲＯＭ１０３又は記憶装置１０６からプログラムを読み出して格納する。ＣＰＵ１０１は、ＲＡＭ１０４に格納されたプログラムに従ってユーザデバイス１００に係る機能を実現する。

【0025】

表示装置１０２は、ユーザデバイス１００が有する表示装置であり、例えば、液晶ディスプレイ、タッチパネルディスプレイ、有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）、またプロジェクタ等の投影装置であってもよい。

【0026】

通信Ｉ／Ｆ１０５は、他のユーザデバイス１００又はサーバ２００等とネットワークを介して通信を行うための有線又は無線のインタフェースである。

【0027】

入出力Ｉ／Ｆ１０７は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）機器、ハードウェアキー、状態通知用ＬＥＤ、液晶ディスプレイ等の様々な入出力装置との接続を行うためのインタフェースである。

【0028】

そして、ユーザデバイス１００は、上述のハードウェア構成に加え、カメラ、スキャナ、プリンタ、キーボード、マウス、マイク、スピーカ、電子ペンなどそれぞれのデバイス特有のハードウェア構成を有する。

【0029】

なお、サーバ２００も図２と同様のハードウェア構成を有していてもよい。

【0030】

図３は、第１の実施の形態におけるユーザデバイス１００の機能ブロック図である。図３に示されるように、ユーザデバイス１００は、蓄積部１１、フレーム補間部１２、画像表示部１３を含む。これら各部は、ユーザデバイス１００にインストールされた１以上のプログラムがＣＰＵ１０１に実行させる処理により実現される。

【0031】

蓄積部１１は、ネットワーク３００から時系列で順次入力される動画を、最新フレームから連続する過去フレームまで遡って所定のフレーム数分、蓄積する。フレームは、例えば、所定の水平解像度及び垂直解像度を有し、１ドットがＲＧＢの３色で、各色の色深度は８ｂｉｔであるカラー画像データである。色深度のビット数は、８ｂｉｔに限られず１６ｂｉｔ等さらに大きくてもよい。また、フレームは、ＹＵＶ（ＹＣｂＣｒ）のような輝度色差信号のデータ形式で記録されていてもよい。

【0032】

フレーム補間部１２は、蓄積部１１から読み出した複数の入力フレームに基づいて、最新フレームと１つ前のフレームの間に挿入する補間フレームを生成する。ここで、補間するフレーム数は１枚でも複数枚でもよい。なお、連続するフレームを、Ｎを整数として、Ｎ－１フレーム、Ｎフレーム、Ｎ＋１フレーム…と呼ぶことがある。

【0033】

また、連続する二つの入力フレーム、一例としてＮ－１フレームとＮフレームを合わせて前後フレームと呼ぶことがある。そして連続する二つの入力フレームのうち最新の方のフレーム、つまりＮフレームを後フレームと呼び、１つ前のフレーム、つまりＮ－１を前フレームと呼ぶことがある。この時連続する二つの入力フレームの間に補間フレームが挿入されている場合は、補間フレームの直前の入力フレームが前フレームであるＮ－１フレームであり、補間フレームの直後の入力フレームが後フレームであるＮフレームである。

【0034】

画像表示部１３は、入力されたフレーム間に補間フレームが挿入された動画を、ユーザデバイス１００が有する表示装置１０２、又は投影装置２０１に、補間処理後の動画を順次出力又は表示する。

【0035】

図４は、フレーム補間部１２の機能について説明する図である。図４に示されるように、フレーム補間部１２は、オブジェクト抽出部１２０、オブジェクト動き判断部１２１、補間オブジェクト生成部１２２、エフェクト領域抽出部１２３、オブジェクト周辺領域算出部１２４、オブジェクト周辺画像抽出部１２５、画像生成部１２６を含む。

【0036】

オブジェクト抽出部１２０は、蓄積部１１から入力される複数のフレームから、所定のオブジェクトの位置情報を抽出する。

【0037】

ここでオブジェクトとは、フレームを構成している画像データから、人（ユーザ）にとって画像として意味のある単位で切り取った画像データをいう。またフレーム内でオブジェクトを含む領域をオブジェクト領域という。オブジェクト領域として切り取る形状は種々選択可能であるが、一例として以降ではオブジェクトを含んで矩形に切り取られた領域として説明する。この場合、あるフレームでのオブジェクト領域は、一例として矩形の頂点の座標であらわすことができる。

【0038】

オブジェクトの例として、特に動画データがＰＣ操作画面の場合は、カーソルが挙げられる。カーソルとは、コンピュータなどの表示画面上において、ユーザに対し入力位置を示したり、表示画面上の位置を指し示したりするために表示画面上を動く下線や記号、イラスト等であり、マウスカーソル、ポインタ、マウスポインタ、文字入力カーソル等と呼ばれることもある。ユーザデバイス１００であれば、カーソルは表示装置１０２上に表示される。以降オブジェクトを図面に示すときは、矢印型のマウスカーソルとして示す。

【0039】

ここでオブジェクト領域の抽出方法の例を述べる。一例として、各フレーム画像を構成するＲＧＢ信号のうち解像度の決定に寄与するＧ信号を用いたり、または輝度信号等を用いたりして、各フレームのエッジ画像を生成することにより、フレーム画像データからオブジェクトが特定できる。

【0040】

そして、各フレームのエッジ画像を互いに演算することで、各フレームに共通に存在しかつ連続するフレーム間で動きのあるカーソルのようなオブジェクト（動きオブジェクトと呼ぶことがある。）を含む、動きオブジェクト領域が抽出される。

【0041】

さらに、フレーム画像全体のうち、動きオブジェクト領域部分の画像が、オブジェクトの画像であるオブジェクト画像として抽出できる。オブジェクト画像としては、このようにフレーム画像からオブジェクト領域の画像データを抽出した画像に限られない。例えば、よく利用するカーソルなどをあらかじめ決められた画像データとして準備しておき、前述の動作オブジェクトのエッジ画像と、あらかじめ決められた画像データとを比較し、類似している場合に、あらかじめ決められた画像データをオブジェクト画像としてもよい。

【0042】

また、動きオブジェクトを特定する方法のその他の例として、入力フレームを複数ブロックに分割し、各ブロックの前フレームと後フレームでの相関の程度を利用することもできる。つまり相関の高いブロックの位置が、前フレームと後フレームで異なっている場合に、そのブロックを動きオブジェクト領域とすることもできる。またオブジェクト画像は、上述のようなエッジ画像を生成して抽出して特定してもよいし、そのブロックの画像を用いてもよい。

【0043】

図４の説明に戻ると、オブジェクト動き判断部１２１は、オブジェクト抽出部１２０から得られる動きオブジェクト領域から、動きオブジェクト領域の、前後フレーム間での動き方向を判断する。

【0044】

補間オブジェクト生成部１２２は、オブジェクト動き判断部１２１で判断した動き方向を用いて、補間フレーム内の動きオブジェクト領域である補間オブジェクト領域を算出する。そして上述の動きオブジェクト画像と補間オブジェクト領域とからなる補間オブジェクトを生成する。

【0045】

なお、補間フレーム内の動きオブジェクト領域は、動画の連続的な動きを再現できる位置を算出する。例えば前後のフレームの動きオブジェクト領域の中間位置としたり、さらにオブジェクト領域の移動の加速度を考慮したりしてもよいが、これらに限られない。

【0046】

エフェクト領域抽出部１２３は、蓄積部１１から得られる補間フレームの直前のフレーム（前フレーム）から、エフェクト領域を抽出する。

【0047】

ここでエフェクト領域について説明する。ＰＣ画面等の画面上にソフトウェア的に再現された、ソフトボタンと呼ばれる入力キーが知られている。その他ソフトキー、ＧＵＩ（Ｇｒａｐｈｉｃ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）ボタンなどと呼ばれることもある。このソフトボタンは、画面上に表示されたボタン部分をカーソルでクリックされたり、ボタン部分が選択された状態で別途実行するためのハードキーが押されたりして、入力が行われる。

【0048】

このように、画面上で、ボタン部分にカーソルが置かれたり、ボタン部分が選択されたりしている状態（ボタンがアクティブな状態と呼ぶことがある。）であることを、画面上でユーザに対し視覚的に強調する効果を得るために、その状態の前の状態とで画像の一部を変化させる、一例として色を変えるなどをおこなうことがある。このような、動きオブジェクトの動きに応じた画像の変化をエフェクトと呼ぶことがある。エフェクトとしてはその他にボタンや、ボタン内に記載されている文字の大きさを大きくするなどもあるがこれらに限られない。そしてエフェクトが発生する領域をエフェクト領域と呼ぶ。

【0049】

図４の説明に戻るとオブジェクト周辺領域算出部１２４は、オブジェクト抽出部１２０から得られる補間フレームの直前のフレーム（前フレーム）における動きオブジェクト領域と、エフェクト領域抽出部１２３から得られるエフェクト領域から、オブジェクト領域とエフェクト領域の両方を含む、前フレームオブジェクト周辺領域を算出する。詳細は後述する。

【0050】

オブジェクト周辺画像抽出部１２５は、蓄積部１１から得られる、補間フレームの直後のフレーム（後フレーム）のオブジェクト周辺領域算出部１２４から得られた前フレームオブジェクト周辺領域の画像である後フレームオブジェクト周辺画像を抽出する。

【0051】

画像生成部１２６は、蓄積部１１から得られる、補間フレームの直前のフレーム（前フレーム）に、補間フレームオブジェクト領域を合成、一例として上書きし、さらにオブジェクト周辺領域に、オブジェクト周辺画像を合成、一例として上書きすることで補間フレームを生成する。そして、蓄積部１１から得られた入力フレームおよび生成された補間フレームを画像表示部１３に送信する。

【0052】

図５は、補間フレームを生成する際のフロー図である。図５で説明するフローは、蓄積部１１からフレーム補間部１２にフレーム画像が入力されると開始する。

【0053】

まずオブジェクト抽出部１２０はオブジェクト抽出工程として、蓄積部１１から入力される複数のフレームそれぞれから、オブジェクト領域およびオブジェクト画像を抽出する（Ｓ１）。

【0054】

オブジェクト抽出工程が終了すると、オブジェクト動き判断部１２１はオブジェクト動き判断工程として、オブジェクト抽出部１２０から得られるオブジェクト領域に基づき、前後のフレーム間でのオブジェクトの動き方向を判断する（Ｓ２）。

【0055】

オブジェクト動き判断工程が終了すると、補間オブジェクト生成部１２２は補間オブジェクト生成工程として、オブジェクト動き判断部１２１にて判断した動き方向に基づき、補間フレームでのオブジェクト領域と補間フレームの画像データであるオブジェクト画像とからなる補間オブジェクトを生成する（Ｓ３）。

【0056】

補間オブジェクト生成工程が終了すると、エフェクト領域抽出部１２３はエフェクト領域抽出工程として、蓄積部１１から得られる、補間フレームの直前のフレーム（前フレーム）から、エフェクトの領域を抽出する（Ｓ４）。

【0057】

エフェクト領域抽出工程が終了すると、オブジェクト周辺領域算出部１２４はオブジェクト周辺領域算出工程として、オブジェクト抽出部１２０から得られる補間フレームの直前のフレーム（前フレーム）のオブジェクト領域と、エフェクト領域抽出部１２３から得られるエフェクト領域とから、オブジェクト領域とエフェクト領域の両方を含む、オブジェクト周辺領域を算出する（Ｓ５）。

【0058】

オブジェクト周辺領域算出工程が終了すると、オブジェクト周辺画像抽出部１２５は、オブジェクト周辺画像抽出工程として、オブジェクト周辺領域算出部１２４から得られるオブジェクト周辺領域情報に基づき、蓄積部１１から得られる、補間フレームの直後のフレーム（後フレーム）からオブジェクト周辺画像を抽出する（Ｓ６）。

【0059】

オブジェクト周辺領域抽出工程が終了すると、画像生成部１２６は画像生成工程として、蓄積部１１から得られる、補間フレームの直前のフレーム（前フレーム）に、補間オブジェクト生成部１２２から得られる補間オブジェクトを合成する。また、オブジェクト周辺領域算出部１２４から得られるオブジェクト周辺領域に、オブジェクト周辺画像抽出部１２５から得られるオブジェクト周辺画像を合成する。こうして補間フレームを生成する（Ｓ７）。そして画像生成部１２６は、蓄積部１１から得られたフレームおよび、補間フレームを画像表示部１３に送信する。なお、合成は、例として前フレームにオブジェクト周辺画像を重畳、上書きすることで行ってもよいし、前フレームの一部の画像に替えて埋め込んで行ってもよいが、これらに限られない。

【0060】

なお、本処理は、ＰＣ画面共有モードで、かつカーソルのように特定の動きをするオブジェクトが抽出された際にのみ実行されるフローとしてもよい。それ以外の場合では、前後のフレームのコピーや、前後のフレームから線形補間などを利用して生成した画像を、補間フレームとして用いればよい。

【0061】

図６を用いて上述した実施形態の効果を説明する。図６（ａ）（ｂ）に示す左から右方向への矢印は、画像表示部１３が時間（ｔ）経過に従って表示するフレーム画像を模式的に示している。つまり左図の実線内の画像が前フレーム、中央図の二点鎖線内の画像が生成された補間フレーム、右図の実線内の画像が後フレームである。

【0062】

図６の（ａ）（ｂ）いずれも、前フレームと後フレームは共通である。前フレームは、文書作成、電子メール、表計算等の各種アプリケーションにおいて「ボタン」と記載されたソフトボタン上にオブジェクトとしてのカーソルが位置し、ボタンの色がグレーになるというエフェクトが発生している状態である。そして後フレームは、カーソルが前フレームとは別の場所に移動した結果、「ボタン」と記載されたソフトボタンのエフェクトが消滅し、ボタンの色が白になった状態である。なお、図６（ａ）（ｂ）内の点線で形成された矩形は、実際に表示されるものではなく、以下の補間フレーム生成工程説明のために示している。

【0063】

まず、図６（ａ）を用いて従来の補間フレーム生成工程について説明する。前フレームからオブジェクト領域であるカーソル領域と、オブジェクト画像であるカーソル画像とを抽出（図６（ａ）左図の点線）する。そして後フレームのカーソル領域（図６（ａ）右図の点線）も抽出し、前フレームと後フレームそれぞれにおけるカーソル領域から、前後のフレーム間でのカーソル領域の動き方向を判断し、補間フレームにおける補間フレームのカーソル領域を算出する。

【0064】

そして、抽出したカーソル画像を、前フレームのコピー画像内の、算出した補間フレームにおけるカーソル領域である補間カーソル領域に合成する。ここで、この時点の画像には、前フレームのカーソル画像がそのまま残っている。そこでさらに、後フレームにおける前フレームのカーソル領域の画像（図６（ａ）右図の点線）を抽出し、前フレームのカーソル領域に合成することでカーソル画像を消去する。このようにして図６（ａ）中央図に示される補間フレームが生成される。

【0065】

このような従来の補間フレーム生成工程では、図６（ａ）中央図に示されるように補間フレーム画像のエフェクト領域の一部が白く抜け、画質異常が発生し、その結果再生される動画が不自然になってしまう。フレーム内での位置の動きはないが、オブジェクトであるカーソルの動きに伴って色が変化するエフェクト領域を含む画像のため生じる課題である。

【0066】

それに対し、図５までで説明した本実施形態による補間フレームの生成工程を、図６（ｂ）を用いて説明する。前フレームからオブジェクトであるカーソル位置とカーソル画像を抽出（図６（ｂ）左図の点線）する。この時、図６（ａ）で説明した補間フレーム生成工程では、オブジェクト領域、一例としてオブジェクトであるカーソルを囲む最小の矩形領域を抽出する。それに対し図７（ｂ）本実施形態の補間フレーム生成工程では、図６（ｂ）左図の点線に示すように、カーソルだけでなくエフェクト領域も含むオブジェクト周辺領域を算出する。

【0067】

そして、後フレームのカーソル位置も抽出し、前フレームと後フレームにおけるカーソルの位置から、カーソルの動き方向を判断し、補間フレームにおけるカーソル位置を算出する。

【0068】

そして、前フレームのコピー画像内に、抽出したカーソル画像を、算出した補間フレームにおけるカーソル位置に合成する。ここで、この時点の画像には、前フレームのカーソル画像が残っている。そこでさらに、抽出したカーソル位置については、後フレームの同じ位置の矩形画像（図６（ｂ）右図の点線）を上書きする。このようにして生成された画像を補間フレーム（図６（ｂ）中央図）とする。

【0069】

図６（ｂ）においては、エフェクトがフレーム間で消失した場合にオブジェクトを囲む矩形抽出領域を、エフェクト領域も含むように算出する構成により、図６（ａ）中央図のような白抜けをなくすことができる。

【0070】

次に、オブジェクト周辺領域算出工程の詳細を説明する。図７は例として用いる入力フレーム画像である。左図が前フレームであるフレームＮ、右図が後フレームであるフレームＮ＋１である。いずれもフレーム画像全体のうち、ソフトボタンとカーソルを含む同じ画像領域部分を示している。

【0071】

図７左図は、矢印型のカーソルが「ボタン」と記載されたソフトボタン上を指し、エフェクトとしてソフトボタンの色がグレーに変化している状態である。

【0072】

図７右図は、図７左図で左上にあったカーソルが右下に移動している。その結果ソフトボタン上からマウスカーソルが離れ、アクティブ状態ではなくなった結果、エフェクトが解除されボタンの色は白で表示されている。

【0073】

図７の例についてのオブジェクト周辺領域抽出の詳細を、図８～図１０を用いて説明する。まず図８は、図７左図に、図７左図のカーソルを仮想的に同じフレーム内に示した図である。区別の為、図７左図のカーソルを黒矢印、図７右図のカーソルをグレーにして示している。図８中、黒矢印の周囲の黒の実線Ｃ（Ｎ）と、グレー矢印の周囲のグレーの実線Ｃ（Ｎ＋１）は、それぞれカーソルを矩形に最小に切り取ったオブジェクト領域である。また図８の一点鎖線Ｅは、エフェクト領域である。

【0074】

次に図８内の点線で示される矩形領域ついて説明する。図８には、点線で囲まれた矩形領域がＲin（以降判断領域内枠と呼ぶことがある。）とＲout（以降判断領域外枠と呼ぶことがある。）との二つ示されている。

【0075】

Ｒinは図８中では、黒の実線と同じ領域である。以降図９、図１０において、Ｒinは領域の大きさを複数回変更されるため、図８のＲinをＲin(m=0)とする。具体的にはＲin内に、エフェクト領域およびＣ（Ｎ）の両方が含まれ、かつ、Ｃ（Ｎ＋１）は含まれないように変更される。

【0076】

次にＲoutについて説明すると、まずオブジェクト領域Ｃ（Ｎ）の各頂点p1(x1,y1)、p2(x2,y2)、p3(x3,y3)、p4(x3,y2)とオブジェクト領域Ｃ（Ｎ＋１）の各頂点とのうち最も近い点同士を算出する。図８ではＣ（Ｎ）のp1(x1,y1)とＣ（Ｎ＋１）のp1′(x1′,y1′)が最も近い点同士である。この時、p1′(x1′,y1′)がＲoutの頂点の一つとなる。

【0077】

さらに、p1とp1′のx方向の距離、つまりx1′- x1がa、p1とp1′のy方向の距離、つまりy1′- y1をbとすると、p3′（x3-a, y′1)と、p2′(x1′, y2+b)をそれぞれ頂点とする。最後にp4′(x3-b,y2+b)が頂点として決まる。このようにしてＲinの初期設定であるＲin(m=0)が決定される。図８においては、Ｒin内に１点鎖線で示されるエフェクト領域Ｅとオブジェクト領域Ｃ（Ｎ）が含まれていない。

【0078】

そこでＲinを図９のＲin(m=1)に示すように拡大する。この時、初期設定のＲin(m=0)とＲoutとの距離aおよび距離bを、それぞれ半分のa/2およびb/2となるように、Ｒinを拡大する。こうすることでＮ＋１フレームのオブジェクトを含まないように拡大することができる。図９ではＲin(m=1)内にエフェクト領域とオブジェクト領域Ｃ（Ｎ）が含まれていない。そこでさらにＲinを拡大する。

【0079】

最終的に図１０のようにエフェクト領域とオブジェクト領域が含まれるまで、Ｒin(m)とＲoutとの距離aおよび距離bを、それぞれ半分のa/2^mおよびb/2^mとなるようにＲin(m)を拡大させ、含まれた時点のＲin(m)がオブジェクト周辺領域として確定する。

【0080】

図１１は、図８、図９、図１０を用いて説明した、オブジェクト周辺領域算出部が実行する処理フローである。

【0081】

まず、判断領域内枠の初期設定工程として、Ｒin(m=0)が設定される（Ｓ５０１）。そして、判断領域外枠設定工程として、Ｒoutが設定される（Ｓ５０２）。

【0082】

オブジェクト周辺領域判断工程として、判断領域内枠と判断領域外枠に囲まれた領域にエフェクト領域とオブジェクト領域が含まれか否かを判定する（Ｓ５０３）

【0083】

含まれている場合、その時点のＲinがオブジェクト周辺領域として算出されて終了する（Ｓ５０４）。

【0084】

含まれていない場合、判断領域内側を拡大し（Ｓ５０５）、オブジェクト周辺領域判断工程（Ｓ５０３）を繰り返す。

【0085】

以上、本発明の各実施形態について詳述したが、かかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

【符号の説明】

【0086】

１００ ユーザデバイス
１２ フレーム補間部
１２０ オブジェクト抽出部
１２１ オブジェクト動き判断部
１２２ 補間オブジェクト生成部
１２３ エフェクト領域抽出部
１２４ オブジェクト周辺領域算出部
１２５ オブジェクト周辺画像抽出部
１２５ 画像生成部

【先行技術文献】

【特許文献】

【0087】

【文献】特開平３－２６３９８９号公報

【文献】特開平１０－３３６５９９号公報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】