特許 5977964 多視点映像フレーム内挿装置、方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5977964

(24)【登録日】2016年7月29日

(45)【発行日】2016年8月24日

(54)【発明の名称】多視点映像フレーム内挿装置、方法及びプログラム

(51)【国際特許分類】

   H04N 7/01 20060101AFI20160817BHJP

   H04N 13/00 20060101ALI20160817BHJP

【ＦＩ】

   H04N7/01 Z

   H04N13/00

【請求項の数】4

【全頁数】18

(21)【出願番号】特願2012-52259(P2012-52259)

(22)【出願日】2012年3月8日

(65)【公開番号】特開2013-187777(P2013-187777A)

(43)【公開日】2013年9月19日

【審査請求日】2015年2月2日

【権利譲渡・実施許諾】特許権者において、実施許諾の用意がある。

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100121119

【弁理士】

【氏名又は名称】花村 泰伸

(72)【発明者】

【氏名】三須 俊枝

(72)【発明者】

【氏名】境田 慎一

【審査官】 秦野 孝一郎

(56)【参考文献】

【文献】 特開２０１１−２２３４９３（ＪＰ，Ａ）

【文献】 特開２００９−３５０７（ＪＰ，Ａ）

【文献】 特表２００９−５０９４５４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ７／０１

Ｈ０４Ｎ １３／００

(57)【特許請求の範囲】

【請求項1】

ある視点の第一入力映像と別の視点の第二入力映像とに基づいて、前記第二入力映像の内挿フレームを生成する多視点映像フレーム内挿装置であって、
前記第一入力映像と前記第二入力映像との間の視差ベクトルを推定する視差推定手段と、
前記第一入力映像の動きベクトルを推定する動き推定手段と、
前記動き推定手段により推定された動きベクトルに従って、前記視差推定手段により推定された視差ベクトルを動き補償する動き補償手段と、
前記動き補償手段により動き補償された視差ベクトルに従って、前記第一入力映像を視差補償し、前記第二入力映像の内挿フレームを生成する視差補償手段と、
を備えることを特徴とする多視点映像フレーム内挿装置。

【請求項2】

ある視点の第一入力映像と別の視点の第二入力映像とに基づいて、前記第二入力映像の内挿フレームを生成する多視点映像フレーム内挿装置であって、
前記第一入力映像と前記第二入力映像との間の視差ベクトルを推定する視差推定手段、前記第一入力映像の動きベクトルを推定する動き推定手段、前記視差推定手段により推定された視差ベクトルに従って、前記動き推定手段により推定された動きベクトルを視差補償する視差補償手段、及び前記視差補償手段により視差補償された動きベクトルに従って、前記第二入力映像を動き補償し、前記第二入力映像の内挿フレームを生成する動き補償手段を備える第１の多視点映像フレーム内挿装置、及び、請求項１に記載の多視点映像フレーム内挿装置のうちのいずれか一方または両方と、
前記第二入力映像の動きベクトルを、第二動きベクトルとして推定する第二動き推定手段と、
前記第二動き推定手段により推定された第二動きベクトルに従って、前記第二入力映像を動き補償し、前記第二入力映像の内挿フレームを生成する第二動き補償手段と、
前記第１の多視点映像フレーム内挿装置及び請求項１に記載の多視点映像フレーム内挿装置のうちのいずれか一方または両方により生成された内挿フレームと、前記第二動き補償手段により生成された内挿フレームとを合成し、合成後の内挿フレームを前記第二入力映像の新たな内挿フレームとして出力する映像合成手段と、
を備えることを特徴とする多視点映像フレーム内挿装置。

【請求項3】

ある視点の第一入力映像と別の視点の第二入力映像とに基づいて、前記第二入力映像の内挿フレームを生成する多視点映像フレーム内挿方法であって、
前記第一入力映像と前記第二入力映像との間の視差ベクトルを推定するステップと、
前記第一入力映像の動きベクトルを推定するステップと、
前記動きベクトルに従って前記視差ベクトルを動き補償し、動き補償した視差ベクトルを生成するステップと、
前記動き補償した視差ベクトルに従って前記第一入力映像を視差補償し、前記第二入力映像の内挿フレームを生成するステップと、
を有することを特徴とする多視点映像フレーム内挿方法。

【請求項4】

コンピュータを、請求項１または２に記載の多視点映像フレーム内挿装置として機能させるための多視点映像フレーム内挿プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像のフレーム内挿を行う技術に関し、特に、多視点映像のうちのある視点の低速映像に対し、別の視点の高速映像を利用して内挿フレームを生成する多視点映像フレーム内挿装置、方法及びプログラムに関する。

【背景技術】

【0002】

従来、対象物を複数の視点から撮影し、これにより得られた多視点映像を伝送する多視点映像伝送システムが知られている。多視点映像（２視点映像を含む）を立体テレビ放送等で用いる場合には、ある視点の映像は高フレームレート（高速）で伝送し、他の視点の映像はより低フレームレート（低速）で伝送する。この多視点映像伝送システムによれば、伝送帯域を節減することができ、効率的な多視点映像の伝送を実現することができる。

【0003】

このような多視点映像伝送システムでは、映像のフレームレートに差があったとしても、視聴者は、視差の認知が可能であるため、提示された映像に立体感を感じ取ることができる。また、人間の視覚特性は、より高品質な映像に頼って精細な絵柄を認知する傾向があるため、視聴者は、どちらかというと高品質寄りの映像を主観品質として認知することができる。

【0004】

ところで、映像処理の技術分野では、映像品質を向上させるための技術が知られている。例えば、映像のフレームレートを、低フレームレートから高フレームレートに変換する手法として、同一フレームを複数回提示する手法、近傍フレーム同士で平均値または重みつき平均値を用いる手法、動きベクトルに基づいて被写体の動きを考慮した中割フレームを生成する手法（特許文献１を参照）が提案されている。具体的には、特許文献１の手法は、映像のフィールド間で動きベクトルを検出し、外部からの指示により映像を内挿する時間位置を決定し、検出した動きベクトルに基づいて、決定した時間位置に映像を内挿するものである。これにより、映像の速度を可変にすることができる。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開平１１−８８８４１号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、前述の同一フレームを複数回提示する手法では、映像の動きにぎこちなさを生じる。また、前述の近傍フレーム同士で平均値または重みつき平均値を用いる手法では、中割画像にぼやけや二重像を生じてしまい、精細感が低下し、またはフリッカが発生してしまう。また、前述の特許文献１に記載された動きベクトルに基づく手法では、特に動きが大きい場合に、動きベクトルの頑健な抽出が困難となり、動き補償の単位であるブロック状に、劣化が露呈してしまう。

【0007】

これらのいずれの手法も、一つの映像系列に対して内挿を行うものであり、複数の映像系列の相関を利用する方式にはなっていない。

【0008】

そこで、本発明は前記課題を解決するためになされたものであり、その目的は、ある視点の第一入力映像及び別の視点の第二入力映像を含む多視点映像に対し、第二入力映像の内挿フレームを、第一入力映像を利用して生成することで、第二入力映像の高精細化を実現可能な多視点映像フレーム内挿装置、方法及びプログラムを提供することにある。

【課題を解決するための手段】

【0010】

前記課題を解決するため、本発明の請求項１に係る多視点映像フレーム内挿装置は、ある視点の第一入力映像と別の視点の第二入力映像とに基づいて、前記第二入力映像の内挿フレームを生成する多視点映像フレーム内挿装置であって、前記第一入力映像と前記第二入力映像との間の視差ベクトルを推定する視差推定手段と、前記第一入力映像の動きベクトルを推定する動き推定手段と、前記動き推定手段により推定された動きベクトルに従って、前記視差推定手段により推定された視差ベクトルを動き補償する動き補償手段と、前記動き補償手段により動き補償された視差ベクトルに従って、前記第一入力映像を視差補償し、前記第二入力映像の内挿フレームを生成する視差補償手段と、を備えることを特徴とする。

【0011】

本発明の請求項２に係る多視点映像フレーム内挿装置は、ある視点の第一入力映像と別の視点の第二入力映像とに基づいて、前記第二入力映像の内挿フレームを生成する多視点映像フレーム内挿装置であって、前記第一入力映像と前記第二入力映像との間の視差ベクトルを推定する視差推定手段、前記第一入力映像の動きベクトルを推定する動き推定手段、前記視差推定手段により推定された視差ベクトルに従って、前記動き推定手段により推定された動きベクトルを視差補償する視差補償手段、及び前記視差補償手段により視差補償された動きベクトルに従って、前記第二入力映像を動き補償し、前記第二入力映像の内挿フレームを生成する動き補償手段を備える第１の多視点映像フレーム内挿装置、及び、請求項１に記載の多視点映像フレーム内挿装置のうちのいずれか一方または両方と、前記第二入力映像の動きベクトルを、第二動きベクトルとして推定する第二動き推定手段と、前記第二動き推定手段により推定された第二動きベクトルに従って、前記第二入力映像を動き補償し、前記第二入力映像の内挿フレームを生成する第二動き補償手段と、前記第１の多視点映像フレーム内挿装置及び請求項１に記載の多視点映像フレーム内挿装置のうちのいずれか一方または両方により生成された内挿フレームと、前記第二動き補償手段により生成された内挿フレームとを合成し、合成後の内挿フレームを前記第二入力映像の新たな内挿フレームとして出力する映像合成手段と、を備えることを特徴とする。

【0013】

本発明の請求項３に係る多視点映像フレーム内挿方法は、ある視点の第一入力映像と別の視点の第二入力映像とに基づいて、前記第二入力映像の内挿フレームを生成する多視点映像フレーム内挿方法であって、前記第一入力映像と前記第二入力映像との間の視差ベクトルを推定するステップと、前記第一入力映像の動きベクトルを推定するステップと、前記動きベクトルに従って前記視差ベクトルを動き補償し、動き補償した視差ベクトルを生成するステップと、前記動き補償した視差ベクトルに従って前記第一入力映像を視差補償し、前記第二入力映像の内挿フレームを生成するステップと、を有することを特徴とする。

【0014】

本発明の請求項４に係る多視点映像フレーム内挿プログラムは、コンピュータを、請求項１または２に記載の多視点映像フレーム内挿装置として機能させることを特徴とする。

【発明の効果】

【0015】

以上のように、本発明によれば、第二入力映像の内挿フレームを、第一入力映像を利用して生成するようにしたから、第二入力映像を時間方向に高精細化することができる。

【図面の簡単な説明】

【0016】

【図1】実施例１に係る多視点映像フレーム内挿装置の動作例の説明図である。

【図2】実施例１に係る多視点映像フレーム内挿装置の構成例を示すブロック図である。

【図3】実施例１に係る多視点映像フレーム内挿装置の処理を示すフローチャートである。

【図4】実施例１の視差補償手段の処理を説明する図であり、（１）は動きベクトルＶ_１の例を示し、（２）は視差ベクトルＤ_０の例を示し、（３）は視差ベクトルＤ_０だけ部分領域をずらしたときの動きベクトルＶ_１の例を示し、（４）は視差補償した動きベクトルＷ_１の例を示す。

【図5】実施例１の動き補償手段の処理を説明する図であり、（１）は第二入力映像Ｓ_０の例を示し、（２）は動きベクトルＷ_１の例を示し、（３）は出力内挿映像Ｓ_１の例を示す。

【図6】実施例２に係る多視点映像フレーム内挿装置の動作例の説明図である。

【図7】実施例２に係る多視点映像フレーム内挿装置の構成例を示すブロック図である。

【図8】実施例２に係る多視点映像フレーム内挿装置の処理を示すフローチャートである。

【図9】実施例２の動き補償手段の処理を説明する図である。（１）は視差ベクトルＤ_０の例を示し、（２）は動きベクトルＶ_１の例を示し、（３）は動きベクトルＶ_１だけ部分領域をずらしたときの視差ベクトルＤ_０の例を示し、（４）は動き補償した視差ベクトルＥ_０の例を示す。

【図10】実施例２の視差補償手段の処理を説明する図である。（１）は第一入力映像Ｆ_１の例を示し、（２）は視差ベクトルＥ_０の例を示し、（３）は出力内挿映像Ｓ_１の例を示す。

【図11】実施例３に係る多視点映像フレーム内挿装置の動作例の説明図である。

【図12】実施例３に係る多視点映像フレーム内挿装置の構成例を示すブロック図である。

【図13】実施例３に係る多視点映像フレーム内挿装置の処理を示すフローチャートである。

【図14】実施例４に係る多視点映像フレーム内挿装置の動作例の説明図である。

【発明を実施するための形態】

【0017】

以下、本発明を実施するための形態について図面を用いて詳細に説明する。以下に説明する実施例１〜４に係る多視点映像フレーム内挿装置は、ある視点（視点１）から撮影された高速映像（第一入力映像Ｆ）と、別の視点（視点２）から撮影された低速映像（第二入力映像Ｓ）とを入力し、第一入力映像Ｆ及び第二入力映像Ｓを用いて、視点２の第二入力映像Ｓの内挿フレームである出力内挿映像を生成する。

【0018】

尚、多視点映像フレーム内挿装置は、さらに別の視点（視点Ｖ；Ｖは３以上の整数）から撮影された低速映像も入力し、視点１の第一入力映像Ｆ及び視点Ｖの第二入力映像Ｓを用いて、視点Ｖの第二入力映像Ｓの内挿フレームである出力内挿映像を生成するようにしてもよい。この場合の多視点映像フレーム内挿装置は、後述する「視点２」を「視点Ｖ」に置き換えた構成を付加したものとすればよい。

【0019】

以下、高速映像である第一入力映像をＦ_ｔとし、低速映像である第二入力映像をＳ_ｔとする。添え字のｔはフレーム番号を表す。第一入力映像Ｆ_ｔについては、整数ｔのフレームが存在するものとし、第二入力映像Ｓ_ｔについては、Ｄの整数倍（Ｄは２以上の整数）のｔについてフレームが存在するものとする。多視点映像フレーム内挿装置は、第二入力映像Ｓ_ｔに対し、Ｄの整数倍以外のｔについてフレームを生成するものであり、以下に示す実施例１〜４では、Ｄ＝２の場合を示している。第一入力映像Ｆ_ｔのサンプリング時刻はｔ＝・・・，−２，−１，０，１，２，・・・、第二入力映像Ｓ_ｔのサンプリング時刻はｔ＝・・・，−４，−２，０，２，４，・・・であり、多視点映像フレーム内挿装置は、第二入力映像Ｓ_ｔに対し、ｔ＝・・・，−３，−１，１，３，・・・の内挿フレームを生成する。

【実施例1】

【0020】

まず、実施例１について説明する。実施例１は、視点１と視点２との間の視差ベクトル及び視点１の動きベクトルを用いて、視点２の動きベクトルを予測し、予測した視点２の動きベクトルを用いて視点２の映像を動き補償し、視点２の内挿フレーム（出力内挿映像）を生成するものである。

【0021】

図１は、実施例１に係る多視点映像フレーム内挿装置の動作例の説明図であり、図２は、その構成例を示すブロック図であり、図３は、その処理を示すフローチャートである。図２を参照して、実施例１に係る多視点映像フレーム内挿装置１は、視差推定手段１１、遅延手段１２、動きベクトル推定手段（動き推定手段）１３、視差補償手段１４及び動き補償手段１５を備えている。

【0022】

以下、第一入力映像Ｆ_ｔの隣接する２個のフレームＦ_０，Ｆ_１（以下、第一入力映像Ｆ_０，Ｆ_１という。）及び第二入力映像Ｓ_ｔのフレームＳ_０（以下、第二入力映像Ｓ_０という。）から、視点２の出力内挿映像のフレームＳ_１（以下、出力内挿映像Ｓ_１という。）を生成する手法について説明する。生成する視点２の出力内挿映像Ｓ_１は、視点１の第一入力映像Ｆ_１であるサンプリング時刻ｔ＝１のフレームに対応するものである。多視点映像フレーム内挿装置１が視点１の第一入力映像Ｆ_０，Ｆ_１及び視点２の第二入力映像Ｓ_０を入力すると（ステップＳ３０１）、視差推定手段１１は、第一入力映像Ｆ_０を入力すると共に、第二入力映像Ｓ_０を入力し、第一入力映像Ｆ_０及び第二入力映像Ｓ_０に基づいて、第二入力映像Ｓ_０から第一入力映像Ｆ_０への視差ベクトルＤ_０を推定する（ステップＳ３０２）。視差ベクトルＤ_０は、視差補償手段１４に出力される。

【0023】

視差ベクトルＤ_０は、典型的には、第一入力映像Ｆ_０と第二入力映像Ｓ_０との間のパターン照合により部分領域毎の対応付けが行われ、視差推定されたベクトルであって、フレーム内の部分領域毎に求めた複数の視差ベクトルのマップである。すなわち、マッチングした部分領域を基準にした、第一入力映像Ｆ_０の画素座標と第二入力映像Ｓ_０の画素座標との間の差をいい、その差の大きさ及び方向を示すべクトルで表したものである。

【0024】

例えば、視差推定手段１１は、第二入力映像Ｓ_０（または第一入力映像Ｆ_０）をブロック分割し（部分領域に分割し）、各ブロックの画素値パターンと最も類似する領域を、相互相関の最大化または誤差の最小化によって第一入力映像Ｆ_０（または第二入力映像Ｓ_０）の中から探索することにより、視差ベクトルＤ_０を推定する。

【0025】

遅延手段１２は、第一入力映像Ｆ_０を入力し、第一入力映像Ｆ_０を、第一入力映像Ｆ_ｔのフレーム間隔に相当する時間分遅延させ、遅延させた第一入力映像Ｆ_０を動きベクトル推定手段１３に出力する（ステップＳ３０３）。後述する動きベクトル推定手段１３において、時刻ｔ−１（＝０）のフレーム（第一入力映像Ｆ_０）を時刻ｔ（＝１）の時点で参照するために、遅延手段１２は、１時点前のフレーム（第一入力映像Ｆ_０）を記憶する。

【0026】

動きベクトル推定手段１３は、第一入力映像Ｆ_１を入力すると共に、遅延手段１２から第一入力映像Ｆ_０を入力し、第一入力映像Ｆ_０，Ｆ_１に基づいて、第一入力映像Ｆ_０から第一入力映像Ｆ_１への動きベクトルＶ_１を推定する（ステップＳ３０４）。動きベクトルＶ_１は、視差補償手段１４に出力される。

【0027】

動きベクトルＶ_１は、典型的には、第一入力映像Ｆ_０，Ｆ_１のパターン照合により部分領域毎の対応付けが行われ、推定されたベクトルであって、フレーム内の部分領域毎に求めた複数の動きベクトルのマップである。すなわち、マッチングした部分領域を基準にした、第一入力映像Ｆ_０の画素座標と第一入力映像Ｆ_１の画素座標との間の差をいい、その差の大きさ及び方向を示すべクトルで表したものである。

【0028】

例えば、動きベクトル推定手段１３は、第一入力映像Ｆ_０（または第一入力映像Ｆ_１）をブロック分割し（部分領域に分割し）、各ブロックの画素値パターンと最も類似する領域を、相互相関の最大化または誤差の最小化によって第一入力映像Ｆ_１（または第一入力映像Ｆ_０）の中から探索することにより、動きベクトルＶ_１を推定する。

【0029】

視差補償手段１４は、視差推定手段１１から視差ベクトルＤ_０を入力すると共に、動きベクトル推定手段１３から動きベクトルＶ_１を入力し、第二入力映像Ｓ_０の部分領域毎に、視差ベクトルＤ_０の符号を逆にしたベクトル−Ｄ_０に従って、動きベクトルＶ_１を視差補償し、視差補償した動きベクトルＷ_１（第二入力映像Ｓ_０から出力内挿映像Ｓ_１への動きベクトルＷ_１）を生成する（ステップＳ３０５）。視差補償した動きベクトルＷ_１は、動き補償手段１５に出力される。これにより、視点１における動きベクトルＶ_１の分布が、視点２における動きベクトルの予測分布を示す動きベクトルＷ_１に変換される。

【0030】

図４は、視差補償手段１４の処理を説明する図である。（１）は動きベクトルＶ_１の例を示し、（２）は視差ベクトルＤ_０の例を示し、（３）は視差ベクトルＤ_０だけ部分領域をずらしたときの動きベクトルＶ_１の例を示し、（４）は視差補償した動きベクトルＷ_１の例を示す。図４（１）に示すように、動きベクトルＶ_１は、第一入力映像Ｆ_ｔのフレームがブロック分割された所定の部分領域毎に、異なるベクトルを有しており、図４（２）に示すように、視差ベクトルＤ_０は、第二入力映像Ｓ_ｔのフレームがブロック分割された所定の部分領域毎に、異なるベクトルを有している。尚、動きベクトルＶ_１及び視差ベクトルＤ_０は、画素単位で異なるベクトルを有していてもよい。

【0031】

視差補償手段１４は、図４（１）に示した動きベクトルＶ_１に対し、図４（２）に示した視差ベクトルＤ_０だけずらした部分領域（図４（３）の点線で示す領域）に存在する動きベクトル（図４（３）の点線内の動きベクトル）について、その動きベクトルを、視差ベクトルＤ_０の符号を反転したベクトル−Ｄ_０だけ並進することにより、動きベクトルＶ_１を視差補償し、視差補償した動きベクトルＷ_１を生成する（図４（４）を参照）。尚、図４（３）に示した動きベクトルを、視差ベクトルＤ_０の符号を反転したベクトル−Ｄ_０だけ並進させた結果、図４（４）の斜線部のように、ベクトルが未定義の箇所が存在し得る。この場合、視差補償手段１４は、その箇所の動きベクトルＷ_１についてはゼロベクトルとするか、または近傍の動きベクトルＷ_１を用いて外挿したベクトルに設定する。

【0032】

図１〜図３に戻って、動き補償手段１５は、第二入力映像Ｓ_０を入力すると共に、視差補償手段１４から動きベクトルの予測分布を示す動きベクトルＷ_１を入力し、第二入力映像Ｓ_０の部分領域毎に、動きベクトルＷ_１に従って第二入力映像Ｓ_０を動き補償し、動き補償した出力内挿映像Ｓ_１を生成し（ステップＳ３０６）、出力内挿映像Ｓ_１を出力する（ステップＳ３０７）。出力内挿映像Ｓ_１は、第一入力映像Ｆ_１の時刻に対応した映像となる。

【0033】

図５は、動き補償手段１５の処理を説明する図である。（１）は第二入力映像Ｓ_０の例を示し、（２）は動きベクトルＷ_１の例を示し、（３）は出力内挿映像Ｓ_１の例を示す。動き補償手段１５は、図５（１）に示した第二入力映像Ｓ_０に対し、図５（２）に示した動きベクトルＷ_１の符号を逆にしたベクトル−Ｗ_１だけずらした部分領域（図５（３）の点線で示す領域）に存在する映像（図５（３）の点線内の映像）について、その映像を、動きベクトルＷ_１だけ並進することにより、第二入力映像Ｓ_０を動き補償し、動き補償した出力内挿映像Ｓ_１を生成する（図５（３）を参照）。

【0034】

以上のように、実施例１に係る多視点映像フレーム内挿装置１によれば、視差推定手段１１が、第一入力映像Ｆ_０及び第二入力映像Ｓ_０に基づいて、第二入力映像Ｓ_０から第一入力映像Ｆ_０への視差ベクトルＤ_０を推定し、動きベクトル推定手段１３が、第一入力映像Ｆ_０，Ｆ_１に基づいて、第一入力映像Ｆ_０から第一入力映像Ｆ_１への動きベクトルＶ_１を推定し、視差補償手段１４が、第二入力映像Ｓ_０の部分領域毎に、視差ベクトルＤ_０の符号を逆にしたベクトル−Ｄ_０に従って、動きベクトルＶ_１を視差補償し、視差補償した動きベクトルＷ_１（第二入力映像Ｓ_０から出力内挿映像Ｓ_１への動きベクトルＷ_１）を生成するようにした。また、動き補償手段１５が、第二入力映像Ｓ_０の部分領域毎に、動きベクトルＷ_１に従って第二入力映像Ｓ_０を動き補償し、動き補償した出力内挿映像Ｓ_１を生成するようにした。これにより、視点２の低速映像である第二入力映像Ｓ_０の内挿フレーム（出力内挿映像Ｓ_１）を、別の視点１の高速映像である第一入力映像Ｆ_０，Ｆ_１を利用して生成するようにしたから、低速映像の高精細化を実現することができる。

【0035】

（実施例１の変形例）
実施例１の変形例として、多視点映像フレーム内挿装置１は、第一入力映像Ｆ_０，Ｆ_１の代わりに第一入力映像Ｆ_１，Ｆ_２を入力し、第二入力映像Ｓ_０の代わりに第二入力映像Ｓ_２を入力するようにしてもよい（後述する図１４を参照）。この場合、視差推定手段１１は、第一入力映像Ｆ_２及び第二入力映像Ｓ_２に基づいて視差ベクトルＤ_２を推定し、動きベクトル推定手段１３は、第一入力映像Ｆ_１，Ｆ_２に基づいて動きベクトル−Ｖ_２を推定する。また、視差補償手段１４は、視差ベクトルＤ_２に従って動きベクトル−Ｖ_２を視差補償し、動きベクトル−Ｗ_２を生成し、動き補償手段１５は、動きベクトル−Ｗ_２に従って第二入力映像Ｓ_２を動き補償し、出力内挿映像Ｓ_１を生成する。

【実施例2】

【0036】

次に、実施例２について説明する。実施例２は、視点１と視点２との間の視差ベクトル及び視点１の動きベクトルを用いて、生成すべき内挿フレームの時点の視差ベクトルを予測し、予測した視差ベクトルを用いて視点１の映像を視差補償し、視点２の内挿フレーム（出力内挿映像）を生成するものである。

【0037】

図６は、実施例２に係る多視点映像フレーム内挿装置の動作例の説明図であり、図７は、その構成例を示すブロック図であり、図８は、その処理を示すフローチャートである。図７を参照して、実施例２に係る多視点映像フレーム内挿装置２は、視差推定手段１１、遅延手段１２、動きベクトル推定手段１３、動き補償手段２１及び視差補償手段２２を備えている。多視点映像フレーム内挿装置２の視差推定手段１１、遅延手段１２及び動きベクトル推定手段１３は、図２に示した多視点映像フレーム内挿装置１の視差推定手段１１、遅延手段１２及び動きベクトル推定手段１３と同様である。

【0038】

以下、視点１の第一入力映像Ｆ_０，Ｆ_１及び視点２の第二入力映像Ｓ_０から視点２の出力内挿映像Ｓ_１を生成する手法について説明する。図８において、ステップＳ８０１〜ステップＳ８０４の処理は、図３に示したステップＳ３０１〜ステップＳ３０４の処理と同様であるから、説明を省略する。

【0039】

動き補償手段２１は、ステップＳ８０４から移行して、視差推定手段１１から視差ベクトルＤ_０を入力すると共に、動きベクトル推定手段１３から動きベクトルＶ_１を入力し、第二入力映像Ｓ_０の部分領域毎に、動きベクトルＶ_１に従って視差ベクトルＤ_０を動き補償し、動き補償した視差ベクトルＥ_０（第一入力映像Ｆ_１から出力内挿映像Ｓ_１への視差ベクトルＥ_０）を生成する（ステップＳ８０５）。動き補償した視差ベクトルＥ_０は、視差補償手段２２に出力される。これにより、時刻ｔ＝０における視点２から視点１への視差ベクトルＤ_０の分布が、時刻ｔ＝１における視点１から視点２への視差ベクトルの予測分布を示す視差ベクトルＥ_０に変換される。

【0040】

図９は、動き補償手段２１の処理を説明する図である。（１）は視差ベクトルＤ_０の例を示し、（２）は動きベクトルＶ_１の例を示し、（３）は動きベクトルＶ_１だけ部分領域をずらしたときの視差ベクトルＤ_０の例を示し、（４）は動き補償した視差ベクトルＥ_０の例を示す。図９（１）に示すように、視差ベクトルＤ_０は、第二入力映像Ｓ_ｔのフレームがブロック分割された所定の部分領域毎に、異なるベクトルを有しており、図９（２）に示すように、動きベクトルＶ_１は、第一入力映像Ｆ_ｔのフレームがブロック分割された所定の部分領域毎に、異なるベクトルを有している。尚、視差ベクトルＤ_０及び動きベクトルＶ_１は、画素単位で異なるベクトルを有していてもよい。

【0041】

動き補償手段２１は、図９（１）に示した視差ベクトルＤ_０に対し、図９（２）に示した動きベクトルＶ_１の符号を反転したベクトル−Ｖ_１だけずらした部分領域（図９（３）の点線で示す領域）に存在する視差ベクトル（図９（３）の点線内の視差ベクトル）について、その視差ベクトルを、動きベクトルＶ_１だけ並進することにより、視差ベクトルＤ_０を動き補償し、動き補償した視差ベクトルＥ_０を生成する（図９（４）を参照）。尚、図９（３）に示した視差ベクトルを、動きベクトルＶ_１だけ並進させた結果、図９（４）の斜線部のように、ベクトルが未定義の箇所が存在し得る。この場合、動き補償手段２１は、その箇所の視差ベクトルＥ_０についてはゼロベクトルとするか、または近傍の視差ベクトルＥ_０を用いて外挿したベクトルに設定する。

【0042】

図６〜図８に戻って、視差補償手段２２は、第一入力映像Ｆ_１を入力すると共に、動き補償手段２１から視差ベクトルの予測分布を示す視差ベクトルＥ_０を入力し、第二入力映像Ｓ_０の部分領域毎に、視差ベクトルＥ_０に従って第一入力映像Ｆ_１を視差補償し、視差補償した出力内挿映像Ｓ_１を生成し（ステップＳ８０６）、出力内挿映像Ｓ_１を出力する（ステップＳ８０７）。出力内挿映像Ｓ_１は、第一入力映像Ｆ_１の時刻に対応した映像となる。

【0043】

図１０は、視差補償手段２２の処理を説明する図である。（１）は第一入力映像Ｆ_１の例を示し、（２）は視差ベクトルＥ_０の例を示し、（３）は出力内挿映像Ｓ_１の例を示す。視差補償手段２２は、図１０（１）に示した第一入力映像Ｆ_１に対し、図１０（２）に示した視差ベクトルＥ_０の符号を逆にしたベクトル−Ｅ_０だけずらした部分領域（図１０（３）の点線で示す領域）に存在する映像（図１０（３）の点線内の映像）について、その映像を、視差ベクトルＥ_０だけ並進することにより、第一入力映像Ｆ_１を視差補償し、視差補償した出力内挿映像Ｓ_１を生成する（図１０（３）を参照）。

【0044】

以上のように、実施例２に係る多視点映像フレーム内挿装置２によれば、視差推定手段１１が、第一入力映像Ｆ_０及び第二入力映像Ｓ_０に基づいて、第二入力映像Ｓ_０から第一入力映像Ｆ_０への視差ベクトルＤ_０を推定し、動きベクトル推定手段１３が、第一入力映像Ｆ_０，Ｆ_１に基づいて、第一入力映像Ｆ_０から第一入力映像Ｆ_１への動きベクトルＶ_１を推定し、動き補償手段２１が、第二入力映像Ｓ_０の部分領域毎に、動きベクトルＶ_１に従って視差ベクトルＤ_０を動き補償し、動き補償した視差ベクトルＥ_０（第一入力映像Ｆ_１から出力内挿映像Ｓ_１への視差ベクトルＥ_０）を生成するようにした。また、視差補償手段２２が、第二入力映像Ｓ_０の部分領域毎に、視差ベクトルＥ_０に従って第一入力映像Ｆ_１を視差補償し、視差補償した出力内挿映像Ｓ_１を生成するようにした。これにより、視点２の低速映像である第二入力映像Ｓ_０の内挿フレーム（出力内挿映像Ｓ_１）を、別の視点１の高速映像である第一入力映像Ｆ_０，Ｆ_１を利用して生成するようにしたから、低速映像の高精細化を実現することができる。

【0045】

（実施例２の変形例）
実施例２の変形例として、多視点映像フレーム内挿装置２は、第一入力映像Ｆ_０，Ｆ_１の代わりに第一入力映像Ｆ_１，Ｆ_２を入力し、第二入力映像Ｓ_０の代わりに第二入力映像Ｓ_２を入力するようにしてもよい（後述する図１４を参照）。この場合、視差推定手段１１は、第一入力映像Ｆ_２及び第二入力映像Ｓ_２に基づいて視差ベクトルＤ_２を推定し、動きベクトル推定手段１３は、第一入力映像Ｆ_１，Ｆ_２に基づいて動きベクトル−Ｖ_２を推定する。また、動き補償手段２１は、動きベクトル−Ｖ_２に従って視差ベクトルＤ_２を動き補償し、視差ベクトルＥ_２を生成し、視差補償手段２２は、視差ベクトルＥ_２に従って第一入力映像Ｆ_１を視差補償し、出力内挿映像Ｓ_１を生成する。

【実施例3】

【0046】

次に、実施例３について説明する。実施例３は、視点２の動きベクトルを用いて視点２の映像を動き補償し、視点２の内挿フレーム（出力内挿映像）を生成し、この出力内挿映像と、実施例１または２にて生成した視点２の出力内挿映像とを合成するものである。

【0047】

図１１は、実施例３に係る多視点映像フレーム内挿装置の動作例の説明図であり、図１２は、その構成例を示すブロック図であり、図１３は、その処理を示すフローチャートである。図１２を参照して、実施例３に係る多視点映像フレーム内挿装置３は、図２に示した実施例１の多視点映像フレーム内挿装置１の構成または図７に示した実施例２の多視点映像フレーム内挿装置２の構成に加え、第二遅延手段３１、第二動きベクトル推定手段（第二動き推定手段）３２、第二動き補償手段３３及び映像合成手段３４を備えている。

【0048】

以下、視点１の第一入力映像Ｆ_０，Ｆ_１及び視点２の第二入力映像Ｓ_０，Ｓ_２から視点２の出力内挿映像Ｓ_１を生成する手法について説明する。生成する視点２の出力内挿映像Ｓ_１は、視点１の第一入力映像Ｆ_１であるサンプリング時刻ｔ＝１のフレームに対応するものである。多視点映像フレーム内挿装置３は、視点１の第一入力映像Ｆ_０，Ｆ_１及び視点２の第二入力映像Ｓ_０，Ｓ_２を入力すると（ステップＳ１３０１）、実施例１，２に示したとおり、第一入力映像Ｆ_０，Ｆ_１及び第二入力映像Ｓ_０に基づいて出力内挿映像Ｓ_１を生成し（ステップＳ１３０２）、出力内挿映像Ｓ_１を第一内挿映像Ｓ_１−１とする（ステップＳ１３０３）。図１３におけるステップＳ１３０２の処理は、多視点映像フレーム内挿装置３が多視点映像フレーム内挿装置１を備える場合、図３に示した実施例１のステップＳ３０２〜ステップＳ３０６の処理と同様であり、多視点映像フレーム内挿装置３が多視点映像フレーム内挿装置２を備える場合、図８に示した実施例２のステップＳ８０２〜ステップＳ８０６の処理と同様であるから、説明を省略する。

【0049】

第二遅延手段３１は、ステップＳ１３０１から移行して、第二入力映像Ｓ_０を入力し、第二入力映像Ｓ_０を、第二入力映像Ｓ_ｔのフレーム間隔に相当する時間分遅延させ、遅延させた第二入力映像Ｓ_０を第二動きベクトル推定手段３２に出力する（ステップＳ１３０４）。後述する第二動きベクトル推定手段３２において、第二入力映像Ｓ_０から第二入力映像Ｓ_２への動きベクトルＺ_２の分布を生成するために、第二遅延手段３１は、１時点前の第二入力映像Ｓ_０を記憶する。

【0050】

第二動きベクトル推定手段３２は、第二入力映像Ｓ_２を入力すると共に、遅延手段３１から第二入力映像Ｓ_０を入力し、第二入力映像Ｓ_０，Ｓ_２に基づいて、第二入力映像Ｓ_０から第二入力映像Ｓ_２への動きベクトルＺ_２を推定する（ステップＳ１３０５）。動きベクトルＺ_２は、第二動き補償手段３３に出力される。

【0051】

動きベクトルＺ_２は、典型的には、第二入力映像Ｓ_０，Ｓ_２のパターン照合により部分領域毎の対応付けが行われ、推定されたベクトルであって、フレーム内の部分領域毎に求めた複数の動きベクトルのマップである。すなわち、マッチングした部分領域を基準にした、第二入力映像Ｓ_０の画素座標と第二入力映像Ｓ_２の画素座標との間の差をいい、その差の大きさ及び方向を示すべクトルで表したものである。

【0052】

例えば、第二動きベクトル推定手段３２は、第二入力映像Ｓ_０（または第二入力映像Ｓ_２）をブロック分割し（部分領域に分割し）、各ブロックの画素値パターンと最も類似する領域を、相互相関の最大化または誤差の最小化によって第二入力映像Ｓ_２（または第二入力映像Ｓ_０）の中から探索することにより、動きベクトルＺ_２を推定する。

【0053】

第二動き補償手段３３は、第二入力映像Ｓ_０を入力すると共に、第二動きベクトル推定手段３２から動きベクトルＺ_２を入力し、第二入力映像Ｓ_０の部分領域毎に、動きベクトルＺ_２を所定倍したベクトルに従って、第二入力映像Ｓ_０を動き補償し、動き補償した第二内挿映像Ｓ_１−２を生成する（ステップＳ１３０６）。ここで、所定倍とは、例えば、動き補償元の第二入力映像Ｓ_０から動き補償先の第二内挿映像Ｓ_１−２への時刻の差分を、動きベクトルＺ_２を推定した２フレームにおける第二入力映像Ｓ_０から第二入力映像Ｓ_２への時間の差分で除した値である。本例の所定倍は１／２である。

【0054】

尚、第二動き補償手段３３は、第二入力映像Ｓ_０の代わりに第二入力映像Ｓ_２を入力し、第二入力映像Ｓ_２の部分領域毎に、動きベクトルＺ_２を所定倍して符号を逆にしたベクトルに従って、第二入力映像Ｓ_２を動き補償し、動き補償した第二内挿映像Ｓ_１−２を生成するようにしてもよい。

【0055】

映像合成手段３４は、ステップＳ１３０３及びステップＳ１３０６から移行して、多視点映像フレーム内挿装置１または多視点映像フレーム内挿装置２から第一内挿映像Ｓ_１−１を入力すると共に、第二動き補償手段３３から第二内挿映像Ｓ_１−２を入力し、第一内挿映像Ｓ_１−１と第二内挿映像Ｓ_１−２とを合成して出力内挿映像Ｓ_１を生成し（ステップＳ１３０７）、出力内挿映像Ｓ_１を出力する（ステップＳ１３０８）。出力内挿映像Ｓ_１は、第一入力映像Ｆ_１の時刻に対応した映像となる。例えば、映像合成手段３４は、第一内挿映像Ｓ_１−１と第二内挿映像Ｓ_１−２との平均を求め、その結果を出力内挿映像Ｓ_１として出力する。

【0056】

以上のように、実施例３に係る多視点映像フレーム内挿装置３によれば、実施例１の多視点映像フレーム内挿装置１または実施例２の多視点映像フレーム内挿装置２が第一内挿映像Ｓ_１−１を生成し、第二動きベクトル推定手段３２が、第二入力映像Ｓ_０，Ｓ_２に基づいて、第二入力映像Ｓ_０から第二入力映像Ｓ_２への動きベクトルＺ_２を推定し、第二動き補償手段３３が、第二入力映像Ｓ_０の部分領域毎に、動きベクトルＺ_２を所定倍したベクトルに従って、第二入力映像Ｓ_０を動き補償し、動き補償した第二内挿映像Ｓ_１−２を生成するようにした。また、映像合成手段３４が、第一内挿映像Ｓ_１−１と第二内挿映像Ｓ_１−２とを合成して出力内挿映像Ｓ_１を生成するようにした。これにより、視点２の低速映像である第二入力映像Ｓ_０の内挿フレーム（出力内挿映像Ｓ_１）を、別の視点１の高速映像である第一入力映像Ｆ_０，Ｆ_１を利用して生成するようにしたから、低速映像の高精細化を実現することができる。また、第一内挿映像Ｓ_１−１と第二内挿映像Ｓ_１−２とを合成するようにしたから、実施例１，２に比べて頑健性の高い出力内挿映像Ｓ_１を生成することができる。

【実施例4】

【0057】

次に、実施例４について説明する。実施例４は、視点２の動きベクトルを用いて視点２の映像を動き補償し、視点２の内挿フレーム（出力内挿映像）を生成し、この出力内挿映像と、前述の実施例１の変形例または実施例２の変形例（第一入力映像Ｆ_０，Ｆ_１の代わりに第一入力映像Ｆ_１，Ｆ_２を入力し、第二入力映像Ｓ_０の代わりに第二入力映像Ｓ_２を入力する例）にて生成した視点２の出力内挿映像とを合成するものである。

【0058】

図１４は、実施例４に係る多視点映像フレーム内挿装置の動作例の説明図である。実施例４に係る多視点映像フレーム内挿装置４は、図１２に示した実施例３と同様の構成部を備えているが、多視点映像フレーム内挿装置１，２が、第一入力映像Ｆ_０，Ｆ_１の代わりに第一入力映像Ｆ_１，Ｆ_２を入力し、第二入力映像Ｓ_０の代わりに第二入力映像Ｓ_２を入力する点で、実施例３と相違する。多視点映像フレーム内挿装置１，２の視差推定手段１１及び遅延手段１２、多視点映像フレーム内挿装置１の動きベクトル推定手段１３及び視差補償手段１４、多視点映像フレーム内挿装置２の動き補償手段２１及び視差補償手段２２の各処理は、実施例１の変形例及び実施例２の変形例に示したので、ここでは説明を省略する。このように、多視点映像フレーム内挿装置４が多視点映像フレーム内挿装置１を備える場合、多視点映像フレーム内挿装置１の動き補償手段１５は、動きベクトル−Ｗ_２に従って第二入力映像Ｓ_２を動き補償し、第一内挿映像Ｓ_１−１を生成する。また、多視点映像フレーム内挿装置４が多視点映像フレーム内挿装置２を備える場合、多視点映像フレーム内挿装置２の視差補償手段２２は、視差ベクトルＥ_２に従って第一入力映像Ｆ_１を視差補償し、第一内挿映像Ｓ_１−１を生成する。

【0059】

したがって、多視点映像フレーム内挿装置４は、第一入力映像Ｆ_１，Ｆ_２及び第二入力映像Ｓ_０，Ｓ_２を入力し、第一入力映像Ｆ_１，Ｆ_２及び第二入力映像Ｓ_２から第一内挿映像Ｓ_１−１を生成し、第二入力映像Ｓ_０，Ｓ_２から第二内挿映像Ｓ_１−２を生成し、第一内挿映像Ｓ_１−１及び第二入力映像Ｓ_０，Ｓ_２から出力内挿映像Ｓ_１を生成する。

【0060】

以上のように、実施例４に係る多視点映像フレーム内挿装置４によれば、視点２の低速映像である第二入力映像Ｓ_２の内挿フレーム（出力内挿映像Ｓ_１）を、別の視点１の高速映像である第一入力映像Ｆ_１，Ｆ_２を利用して生成するようにしたから、低速映像の高精細化を実現することができる。また、第一内挿映像Ｓ_１−１と第二内挿映像Ｓ_１−２とを合成するようにしたから、実施例１，２に比べて頑健性の高い出力内挿映像Ｓ_１を生成することができる。

【0061】

尚、実施例３，４の多視点映像フレーム内挿装置３，４における映像合成手段３４は、第一内挿映像Ｓ_１−１と第二内挿映像Ｓ_１−２との間で重み付き平均を求め、その結果を出力内挿映像Ｓ_１とするようにしてもよい。この場合の重み付けは、例えば、第一内挿映像Ｓ_１−１及び第二内挿映像Ｓ_１−２における部分領域毎の信頼度に応じて、信頼度が高いほど大きな重みを与えるようにする。

【0062】

信頼度は、例えば、視差推定時に用いた照合方法（例えば、ブロックマッチング）の評価関数（例えば、相互相関または誤差の評価関数）の値、及び／または動き推定時に用いた照合方法（例えば、ブロックマッチング）の評価関数（例えば、相互相関または誤差の評価関数）の値に基づいて、部分領域毎に定義する。

【0063】

具体的には、実施例１，２の多視点映像フレーム内挿装置１，２による視差推定手段１１は、視差ベクトルＤ_０を求めた際の評価関数の値に基づいて、信頼度ｒ_Ｄ（０≦ｒ_Ｄ≦１；相互相関が大きいまたは誤差が小さいほどｒ_Ｄは大きくする）を部分領域毎に求め、動きベクトル推定手段１３は、動きベクトルＶ_１を求めた際の評価関数の値に基づいて、信頼度ｒ_Ｖ（０≦ｒ_Ｖ≦１；相互相関が大きいまたは誤差が小さいほどｒ_Ｖは大きくする）を部分領域毎に求める。また、実施例３，４の第二動きベクトル推定手段３２は、動きベクトルＺ_２を求めた際の評価関数の値に基づいて、信頼度ｒ_Ｖ２（０≦ｒ_Ｖ２≦１；相互相関が大きいまたは誤差が小さいほどｒ_Ｖ２は大きくする）を部分領域毎に求める。そして、映像合成手段３４は、多視点映像フレーム内挿装置１，２の視差推定手段１１及び動きベクトル推定手段１３から部分領域毎の信頼度ｒ_Ｄ，ｒ_Ｖを入力し、これらの積ｒ_Ｄ×ｒ_Ｖを第一内挿映像Ｓ_１−１の部分領域毎の信頼度とする。また、映像合成手段３４は、第二動きベクトル推定手段３２から部分領域毎の信頼度ｒ_Ｖ２を入力し、これを第二内挿映像Ｓ_１−２の部分領域毎の信頼度とする。そして、映像合成手段３４は、第一内挿映像Ｓ_１−１の部分領域毎の信頼度ｒ_Ｄ×ｒ_Ｖ及び第二内挿映像Ｓ_１−２の部分領域毎の信頼度ｒ_Ｖ２に基づいて、信頼度が高いほど大きい重みを与えるように、部分領域毎に、第一内挿映像Ｓ_１−１の重み及び第二内挿映像Ｓ_１−２の重みを求める。そして、映像合成手段３４は、これらの重みを用いて、第一内挿映像Ｓ_１−１と第二内挿映像Ｓ_１−２との間で部分領域毎に重み付き平均を求め、その結果を出力内挿映像Ｓ_１とする。

【0064】

この場合、映像合成手段３４は、第一内挿映像Ｓ_１−１の信頼度と第二内挿映像Ｓ_１−２の信頼度とを部分領域毎に比較し、部分領域毎に、信頼度が高い方の第一内挿映像Ｓ_１−１または第二内挿映像Ｓ_１−２をパッチ状につなぎ合わせ、出力内挿映像Ｓ_１を生成するようにしてもよい。

【0065】

（実施例３，４の変形例）
実施例３，４の変形例１として、多視点映像フレーム内挿装置３，４は、多視点映像フレーム内挿装置１及び多視点映像フレーム内挿装置２を備え、映像合成手段３４は、多視点映像フレーム内挿装置１により生成された第一内挿映像Ｓ_1-1-1と、多視点映像フレーム内挿装置２により生成された第一内挿映像Ｓ_1-1-2とを入力すると共に、第二動き補償手段３３から第二内挿映像Ｓ_１−２を入力するようにしてもよい。この場合、映像合成手段３４は、第一内挿映像Ｓ_1-1-1と第一内挿映像Ｓ_1-1-2と第二内挿映像Ｓ_１−２との平均を求める等して合成し、出力内挿映像Ｓ_１を生成する。

【0066】

また、実施例３，４の変形例２として、多視点映像フレーム内挿装置３，４の第二動きベクトル推定手段３２は、第二入力映像Ｓ_０から第二入力映像Ｓ_２への動きベクトルＺ_２を推定することに加えて、第二入力映像Ｓ_２から第二入力映像Ｓ_０への動きベクトルＺ_２’も推定し、第二動き補償手段３３は、第二入力映像Ｓ_０を入力すると共に、第二動きベクトル推定手段３２から動きベクトルＺ_２を入力し、第二入力映像Ｓ_０を動き補償し、動き補償した第二内挿映像Ｓ_1-2-1を生成することに加えて、第二入力映像Ｓ_２を入力すると共に、第二動きベクトル推定手段３２から動きベクトルＺ_２’を入力し、第二入力映像Ｓ_２の部分領域毎に、動きベクトルＺ_２’を所定倍したベクトルに従って、第二入力映像Ｓ_２を動き補償し、動き補償した第二内挿映像Ｓ_1-2-2を生成するようにしてもよい。この場合、映像合成手段３４は、第一内挿映像Ｓ_１−１と第二内挿映像Ｓ_1-2-1と第二内挿映像Ｓ_1-2-2との平均を求める等して合成し、出力内挿映像Ｓ_１を生成する。

【0067】

また、実施例３，４の変形例３として、多視点映像フレーム内挿装置３，４は、多視点映像フレーム内挿装置１及び多視点映像フレーム内挿装置２を備え、多視点映像フレーム内挿装置３の第二動きベクトル推定手段３２は、動きベクトルＺ_２，Ｚ_２’を推定し、第二動き補償手段３３は、第二内挿映像Ｓ_1-2-1，Ｓ_1-2-2を生成するようにしてもよい。この場合、映像合成手段３４は、第一内挿映像Ｓ_1-1-1と第一内挿映像Ｓ_1-1-2と第二内挿映像Ｓ_1-2-1と第二内挿映像Ｓ_1-2-2との平均を求める等して合成し、出力内挿映像Ｓ_１を生成する。

【0068】

また、実施例３，４の変形例４として、新たな多視点映像フレーム内挿装置は、実施例３の多視点映像フレーム内挿装置１，２及び実施例４の多視点映像フレーム内挿装置１，２の４つの多視点映像フレーム内挿装置のうち、１つ以上の多視点映像フレーム内挿装置を備え、さらに、第二遅延手段３１、第二動きベクトル推定手段３２、第二動き補償手段３３及び映像合成手段３４を備えるようにしてもよい。この場合、映像合成手段３４は、１つ以上の多視点映像フレーム内挿装置から１つ以上の第一内挿映像を入力すると共に、第二動き補償手段３３から１つまたは２つの第二内挿映像を入力し、これらの平均を求める等して合成し、出力内挿映像Ｓ_１を生成する。

【0069】

尚、本発明の実施例１〜４による多視点映像フレーム内挿装置１〜４のハードウェア構成としては、通常のコンピュータを使用することができる。多視点映像フレーム内挿装置１〜４は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。実施例１の多視点映像フレーム内挿装置１に備えた視差推定手段１１、遅延手段１２、動きベクトル推定手段１３、視差補償手段１４及び動き補償手段１５の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。実施例２の多視点映像フレーム内挿装置２に備えた視差推定手段１１、遅延手段１２、動きベクトル推定手段１３、動き補償手段２１及び視差補償手段２２の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。実施例３，４の多視点映像フレーム内挿装置３，４に備えた多視点映像フレーム内挿装置１または多視点映像フレーム内挿装置２、第二遅延手段３１、第二動きベクトル推定手段３２、第二動き補償手段３３及び映像合成手段３４は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。

【符号の説明】

【0070】

１，２，３，４ 多視点映像フレーム内挿装置
１１ 視差推定手段
１２ 遅延手段
１３ 動きベクトル推定手段
１４，２２ 視差補償手段
１５，２１ 動き補償手段
３１ 第二遅延手段
３２ 第二動きベクトル推定手段
３３ 第二動き補償手段
３４ 映像合成手段

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】