特許 6184062 映像処理のための方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6184062

(24)【登録日】2017年8月4日

(45)【発行日】2017年8月23日

(54)【発明の名称】映像処理のための方法及び装置

(51)【国際特許分類】

   H04N 13/00 20060101AFI20170814BHJP

   G06T 19/00 20110101ALI20170814BHJP

【ＦＩ】

   H04N13/00 110

   H04N13/00 180

   G06T19/00 F

【請求項の数】23

【全頁数】23

(21)【出願番号】特願2012-131001(P2012-131001)

(22)【出願日】2012年6月8日

(65)【公開番号】特開2013-5440(P2013-5440A)

(43)【公開日】2013年1月7日

【審査請求日】2015年3月11日

(31)【優先権主張番号】61/495,436

(32)【優先日】2011年6月10日

(33)【優先権主張国】US

(31)【優先権主張番号】10-2011-0118334

(32)【優先日】2011年11月14日

(33)【優先権主張国】KR

(73)【特許権者】

【識別番号】390019839

【氏名又は名称】三星電子株式会社

【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】黄 圭 榮

(72)【発明者】

【氏名】朴 斗 植

(72)【発明者】

【氏名】李 晧 榮

(72)【発明者】

【氏名】趙 良 鎬

(72)【発明者】

【氏名】白 あろん

【審査官】 佐野 潤一

(56)【参考文献】

【文献】 国際公開第２０１０／０３７５１２（ＷＯ，Ａ１）

【文献】 国際公開第２０１１／０３３６６８（ＷＯ，Ａ１）

【文献】 特開平０９−０２７９６９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １３／００−１５／００

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

プロセッサを用いて一つ以上の入力ビューを用いて参照視点に対する参照レイヤを生成するステップと、
前記一つ以上の入力ビューを用いて出力視点の映像を生成するステップと、
前記参照レイヤを用いて前記出力視点の映像内のホールに対するホール復元を行うステップと、
を含み、
各入力ビューは映像及び視差情報を含み、前記参照レイヤは前記参照レイヤの映像及び前記参照レイヤの視差情報を含み、
前記ホールに対するホール復元を行うステップは、
前記参照レイヤの前記視差情報を用いて前記参照レイヤの映像を前記出力視点にワーピングすることによって前記出力視点の参照レイヤ映像を生成するステップと、
前記出力視点の参照レイヤ映像のうち、前記ホールに対応する領域を前記ホールにコピーするステップと、
を含む
ことを特徴とする映像処理方法。

【請求項2】

前記一つ以上の入力ビューは左側入力ビュー及び右側入力ビューを含み、
前記参照視点は、前記左側入力ビューの視点と前記右側入力ビューの視点との間の視点を含むことを特徴とする請求項１に記載の映像処理方法。

【請求項3】

前記参照視点は、前記一つ以上の入力ビューのうち中心入力ビューの視点を含むことを特徴とする請求項１に記載の映像処理方法。

【請求項4】

プロセッサを用いて一つ以上の入力ビューを用いて参照視点に対する参照レイヤを生成するステップと、
前記一つ以上の入力ビューを用いて出力視点の映像を生成するステップと、
前記参照レイヤを前記出力視点にワーピングすることによって出力視点の参照レイヤ映像を生成し、前記参照レイヤ映像のうち、前記出力視点の映像内のホールに対応する領域を前記ホールにコピーして前記出力視点の映像内のホールを復元するステップと、
を含み、
前記参照レイヤを生成するステップは、
前記一つ以上の入力ビューを用いて参照視点映像及び参照視点視差情報を生成するステップと、
各出力視点での映像内で発生するホールに関する情報を集めた前記参照視点に対するホールマップを生成するステップと、
前記ホールマップ、前記参照視点映像、及び前記参照視点視差情報を用いて初期参照レイヤを生成するステップと、
前記初期参照レイヤ内のホールに対するホール復元を行うことによって前記参照レイヤを生成するステップと、
を含む
ことを特徴とする映像処理方法。

【請求項5】

前記ホールマップは、前記参照視点映像内のピクセルの視差の間の差分に基づいて生成されることを特徴とする請求項４に記載の映像処理方法。

【請求項6】

前記初期参照レイヤの映像は、前記参照視点映像と前記ホールマップとの間の論理積演算を行うことによって生成されることを特徴とする請求項４に記載の映像処理方法。

【請求項7】

前記初期参照レイヤ内のホールに対するホール復元は、前記ホールに隣接する背景を用いて行われることを特徴とする請求項４に記載の映像処理方法。

【請求項8】

第１ピクセルの第１視差が前記第１ピクセルに左側に隣接する第２ピクセルの第２視差よりも第１閾値以上に大きい場合、前記第１ピクセルから右側に前記第１視差と前記第２視差との間の差に比例する数だけのピクセルが前記ホールに設定され、
第１ピクセルの第１視差が前記第１ピクセルに右側に隣接する第３ピクセルの第３視差よりも第２閾値以上に大きい場合、前記第１ピクセルから左側に前記第１視差と前記第３視差との間の差に比例する数だけのピクセルが前記ホールに設定されることを特徴とする請求項４に記載の映像処理方法。

【請求項9】

前記出力視点の映像を生成するステップは、
前記一つ以上の入力ビューのうち１つ以上の参照ビューを選択するステップと、
前記参照ビューの視差情報を用いて前記参照ビューの映像を前記出力視点にワーピングすることによって前記出力視点の映像を生成するステップと、
を含むことを特徴とする請求項１に記載の映像処理方法。

【請求項10】

前記出力視点の映像は複数であることを特徴とする請求項１に記載の映像処理方法。

【請求項11】

請求項１〜請求項１０のいずれか一項の映像処理方法を行うプログラムを収録したコンピュータで読み出し可能な記録媒体。

【請求項12】

一つ以上の入力ビューを用いて参照視点に対する参照レイヤを生成する参照レイヤ生成部と、
前記一つ以上の入力ビューを用いて出力視点の映像を生成する出力視点映像生成部と、
前記参照レイヤを用いて前記出力視点の映像内のホールに対するホール復元を行うホール復元部と、
を備え、
各入力ビューは映像及び視差情報を含み、前記参照レイヤは前記参照レイヤの映像及び前記参照レイヤの視差情報を含み、
前記ホール復元部は、
前記参照レイヤの前記視差情報を用いて前記参照レイヤの映像を前記出力視点にワーピングすることによって前記出力視点の参照レイヤ映像を生成する参照レイヤワーピング部と、
前記出力視点の参照レイヤ映像のうち前記ホールに対応する領域を前記ホールにコピーするホール領域コピー部と、
を備えることを特徴とする映像処理装置。

【請求項13】

前記一つ以上の入力ビューは左側入力ビュー及び右側入力ビューを含み、
前記参照視点は、前記左側入力ビューの視点と前記右側入力ビューの視点との間の視点を含むことを特徴とする請求項１２に記載の映像処理装置。

【請求項14】

前記参照視点は、前記一つ以上の入力ビューのうち中心入力ビューの視点を含むことを特徴とする請求項１２に記載の映像処理装置。

【請求項15】

一つ以上の入力ビューを用いて参照視点の参照レイヤを生成する参照レイヤ生成部と、
前記一つ以上の入力ビューを用いて出力視点の映像を生成する出力視点映像生成部と、
前記参照レイヤを前記出力視点にワーピングすることによって出力視点の参照レイヤ映像を生成し、前記参照レイヤ映像のうち、前記出力視点の映像内のホールに対応する領域を前記ホールにコピーして前記出力視点の映像内のホールを復元するホール復元部と、
を備え、
前記参照レイヤ生成部は、
前記一つ以上の入力ビューを用いて参照視点映像及び参照視点視差情報を生成する参照視点映像／視差情報生成部と、
各出力視点における映像内で発生するホールに関する情報を集めた前記参照視点に対するホールマップを生成するホールマップ生成部と、
前記ホールマップ、前記参照視点映像、及び前記参照視点視差情報を用いて初期参照レイヤを生成する初期参照レイヤ生成部と、
前記初期参照レイヤ内のホールに対するホール復元を行うことによって前記参照レイヤを生成する参照レイヤ生成部と、
を備えることを特徴とする映像処理装置。

【請求項16】

前記ホールマップは、前記参照視点映像内のピクセルの視差間の差分に基づいて生成されることを特徴とする請求項１５に記載の映像処理装置。

【請求項17】

前記初期参照レイヤの映像は、前記参照視点映像と前記ホールマップとの間の論理積演算を行うことによって生成されることを特徴とする請求項１５に記載の映像処理装置。

【請求項18】

前記初期参照レイヤ内のホールに対する復元は前記ホールに隣接する背景を用いて行われることを特徴とする請求項１５に記載の映像処理装置。

【請求項19】

第１ピクセルの第１視差が前記第１ピクセルに左側に隣接する第２ピクセルの第２視差よりも第１閾値以上に大きい場合、前記第１ピクセルから右側に前記第１視差と前記第２視差との間の差に比例する数だけのピクセルが前記ホールに設定され、
第１ピクセルの第１視差が前記第１ピクセルに右側に隣接する第３ピクセルの第３視差よりも第２閾値以上で大きい場合、前記第１ピクセルから左側に前記第１視差と前記第３視差との間の差に比例する数だけのピクセルが前記ホールに設定されることを特徴とする請求項１５に記載の映像処理装置。

【請求項20】

前記出力視点映像生成部は、
前記一つ以上の入力ビューのうち１つ以上の参照ビューを選択する参照ビュー選択部と、
前記参照ビューの視差情報を用いて前記参照ビューの映像を前記出力視点にワーピングすることによって前記出力視点の映像を生成する参照ビューワーピング部と、
を備えることを特徴とする請求項１２に記載の映像処理装置。

【請求項21】

前記出力視点の映像は複数であることを特徴とする請求項１２に記載の映像処理装置。

【請求項22】

少なくとも１つの入力ビュー映像及び入力視差に基づいて参照視点映像及び参照視点視差を算出するステップと、
前記参照視点視差に基づいて参照視点に対応するホールマップを構成するステップと、
前記ホールマップ及び前記参照視点映像を用いて前記参照視点における初期参照レイヤを生成するステップと、
プロセッサを用いて、前記初期参照レイヤ内のホールに対するホール復元を行うことによって参照レイヤを生成するステップと、
前記参照レイヤを出力視点にワーピングすることによって前記出力視点の参照レイヤ映像を生成し、前記参照レイヤ映像のうち出力視点の映像内のホールに対応する領域の情報を前記出力視点の映像内のホール位置に伝播するステップと、
を含むことを特徴とする映像処理方法。

【請求項23】

映像処理装置を含むマルチビューディスプレイ機器であって、
少なくとも１つの入力ビュー映像及び入力視差に基づいて参照視点映像及び参照視点視差を算出する参照視点映像／視差情報生成部と、
前記参照視点視差に基づいて参照視点におけるホールマップを構成するホールマップ生成部と、
前記ホールマップ、前記参照視点映像、及び前記参照視点視差を用いて前記参照視点における初期参照レイヤを生成する初期参照レイヤ生成部と、
前記生成された初期参照レイヤ内のホールに対するホール復元を行うことによって参照レイヤを生成する参照レイヤ生成部と、
前記参照レイヤを出力視点にワーピングすることによって前記出力視点の参照レイヤ映像を生成し、前記参照レイヤ映像のうち出力視点の映像内のホールに対応する領域の情報を前記出力視点の映像内のホール位置に伝播するホール復元部と、
を備えることを特徴とするマルチビューディスプレイ機器。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は映像を処理するための方法及び装置に関する。特に、参照レイヤを用いて出力映像内のホールに対するホール復元を行う方法及び装置が開示される。

【背景技術】

【0002】

３Ｄ（Ｄｉｍｅｎｓｉｏｎ）ディスプレイ装置は視聴者が感じるリアリティ及び没入感を増加させるために立体映像を出力する。

【0003】

様々な視点で映像を視聴する視聴者に３Ｄ効果を提供するためには、様々な視点に対する出力ビュー映像を生成しなければならない。出力ビュー映像は、数個の入力ビュー映像を内挿（ｉｎｔｅｒｐｏｌａｔｅ）したり、単一の入力ビュー映像を外挿（ｅｘｔｒａｐｏｌａｔｅ）することによって生成される。ここで、少数の入力ビュー映像を用いることで複数の出力ビュー映像を生成する場合、入力ビューの映像では見られないが、出力ビュー映像には必要な領域（すなわち、出力ビュー映像では可視である領域）を処理する方法が必要である。このような領域をホールといい、従来技術はこのようなホール領域の充填（ｈｏｌｅ−ｆｉｌｌｉｎｇ）を全て可用した映像データについて考慮することなく、出力ビュー映像それぞれに対して独立的に行ってきた。すなわち、従来技術において、ホール復元は各出力映像に対して独立的に行い、マルチホール復元処理の過程を追求してきた。

【特許文献1】大韓民国公開特許第第２００６−００６７２３８号

【特許文献2】大韓民国公開特許第第２０１０−０００８６４９号

【特許文献3】大韓民国公開特許第第２００８−００００１４９号

【非特許文献1】２０１０韓国電子工学会夏季学術大会第３３冊１号

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明の一実施形態の目的は、参照視点に対する参照レイヤを生成する装置及び方法を提供することである。本発明の一実施形態の目的は、参照視点に対する参照レイヤを用いて出力映像内のホールのホール復元を行う装置及び方法を提供することである。

【課題を解決するための手段】

【0005】

本発明の一実施形態の一側面によれば、プロセッサを用いて１つ以上の入力ビューを用いて参照視点に対する参照レイヤを生成するステップと、前記一つ以上の入力ビューを用いて出力視点の映像を生成するステップと、前記参照レイヤを用いて前記出力視点の映像内のホールに対するホール復元を行うステップとを含む映像処理方法が提供される。

【0006】

各入力ビューは映像及び視差情報を含んでもよい。前記参照レイヤは、前記参照レイヤの映像及び前記参照レイヤの視差情報を含んでもよい。前記一つ以上の入力ビューは左側入力ビュー及び右側入力ビューを含んでもよい。

【0007】

前記参照視点は、前記左側入力ビューの視点と前記右側入力ビューの視点との間の視点を含んでもよい。前記参照視点は、前記一つ以上の入力ビューのうち中心入力ビューの視点を含んでもよい。前記参照レイヤを生成するステップは、前記一つ以上の入力ビューを用いて参照視点映像及び参照視点視差情報を生成するステップと、各出力視点での映像内で発生するホールに関する情報を集めた前記参照視点に対するホールマップを生成するステップと、前記ホールマップ、前記参照視点映像、及び前記参照視点視差情報を用いて初期参照レイヤを生成するステップと、前記初期参照レイヤ内のホールに対するホール復元を行うことによって前記参照レイヤを生成するステップとを含んでもよい。

【0008】

前記ホールマップは、前記参照視点映像内のピクセルの視差の間の差分に基づいて生成されてもよい。前記初期参照レイヤの映像は、前記参照視点映像と前記ホールマップとの間の論理積演算を行うことによって生成されてもよい。前記初期参照レイヤ内のホールに対するホール復元は、前記ホールに隣接する背景を用いて行われてもよい。

【0009】

第１ピクセルの第１視差が前記第１ピクセルに左側に隣接する第２ピクセルの第２視差よりも第１閾値以上に大きい場合、前記第１ピクセルから右側に前記第１視差と前記第２視差との間の差に比例する数だけのピクセルが単独に設定されてもよい。第１ピクセルの第１視差が前記第１ピクセルに右側に隣接する第３ピクセルの第３視差よりも第２閾値以上に大きい場合、前記第１ピクセルから左側に前記第１視差と前記第３視差との間の差に比例する数だけのピクセルが単独に設定されてもよい。

【0010】

前記出力視点の映像を生成するステップは、前記一つ以上の入力ビューのうち１つ以上の参照ビューを選択するステップと、前記参照ビューの視差情報を用いて前記参照ビューの映像を前記出力視点にワーピングすることによって前記出力視点の映像を生成するステップとを含んでもよい。

【0011】

前記ホールに対するホール復元を行うステップは、前記参照レイヤの前記視差情報を用いて前記参照レイヤ映像を前記出力視点にワーピングすることによって前記出力視点の参照レイヤ映像を生成するステップと、前記出力視点の参照レイヤ映像のうち、前記ホールに対応する領域を前記単独でコピーするステップとを含んでもよい。前記出力視点の映像は複数であってもよい。

【0012】

本発明の他の実施形態によると、１つ以上の入力ビューを用いて参照視点に対する参照レイヤを生成する参照レイヤ生成部と、前記一つ以上の入力ビューを用いて出力視点の映像を生成する出力視点映像生成部と、前記参照レイヤを用いて前記出力視点の映像内のホールに対するホール復元を行うホール復元部とを備える映像処理装置が提供される。

【0013】

前記参照レイヤ生成部は、前記一つ以上の入力ビューを用いて参照視点映像及び参照視点視差情報を生成する参照視点映像／視差情報生成部と、各出力視点における映像内で発生するホールに関する情報を集めた前記参照視点に対するホールマップを生成するホールマップ生成部と、前記ホールマップ、前記参照視点映像、及び前記参照視点視差情報を用いて初期参照レイヤを生成する初期参照レイヤ生成部と、前記初期参照レイヤ内のホールに対するホール復元を行うことによって前記参照レイヤを生成する参照レイヤ生成部とを備えてもよい。

【0014】

前記初期参照レイヤの映像は、前記参照視点映像と前記ホールマップとの間の論理積演算を行うことによって生成されてもよい。前記初期参照レイヤ内のホールに対する復元は前記ホールに隣接する背景を用いて行われてもよい。

【0015】

前記出力視点映像生成部は、前記一つ以上の入力ビューのうち１つ以上の参照ビューを選択する参照ビュー選択部と、前記参照ビューの視差情報を用いて前記参照ビュー映像を前記出力視点にワーピングすることによって前記出力視点の映像を生成する参照ビューワーピング部とを備えてもよい。

【0016】

前記ホール復元部は、前記参照レイヤの前記視差情報を用いて前記参照レイヤ映像を前記出力視点にワーピングすることによって前記出力視点の参照レイヤ映像を生成する参照レイヤワーピング部と、前記出力視点の参照レイヤ映像のうち前記ホールに対応する領域を前記単独でコピーするホール領域コピー部とを備えてもよい。

【0017】

他の実施形態によると、少なくとも１つの入力ビュー映像及び入力視差に基づいて参照視点映像及び参照視点視差を算出するステップと、前記参照視点視差に基づいて前記参照視点に対応するホールマップを構成するステップと、前記ホールマップ及び前記参照視点映像を用いて前記参照視点における初期参照レイヤを生成するステップと、プロセッサを用いて、前記初期参照レイヤ内のホールに対するホール復元を行うことによって参照レイヤを生成するステップと、前記参照レイヤから各出力視点映像のホール位置に復元されたホール情報を伝播するステップとを含む映像処理方法が提供される。

【0018】

他の実施形態によると、マルチビュー映像データのためのホールマップを構成する方法において、単一な参照視点に、複数の異なる各視点で取得されたホール情報を総合するステップと、プロセッサを用いて、前記単一な参照視点における総合されたホール情報を含む前記ホールマップを生成するステップとを含むマルチビュー映像データのためのホールマップを構成する方法が提供される。

【0019】

他の実施形態によると、映像処理装置を含むマルチビューディスプレイ機器において、少なくとも１つの入力ビュー映像及び入力視差に基づいて参照視点映像及び参照視点視差を算出する参照視点映像／視差情報生成部と、前記参照視点視差に基づいて前記参照視点におけるホールマップを構成するホールマップ生成部と、前記ホールマップ、前記参照視点映像、及び前記参照視点視差を用いて前記参照視点における初期参照レイヤを生成する初期参照レイヤ生成部と、前記生成された初期参照レイヤ内のホールに対するホール復元を行うことによって参照レイヤを生成する参照レイヤ生成部と、前記参照レイオロブタ各出力視点映像のホール位置に復元されたホール情報を伝播するホール復元部とを備えるマルチビューディスプレイ機器が提供される。

【発明の効果】

【0020】

本発明によると、参照視点に対する参照レイヤを生成する装置及び方法を提供することができる。また、本発明によると、参照視点に対する参照レイヤを用いて出力映像内のホールに対するホール復元を行う装置及び方法を提供することができる。

【図面の簡単な説明】

【0021】

【図1】一実施形態に係る映像処理方法のフローチャートである。

【図2】一実施形態に係る２つの入力ビューに基づいて参照視点を決定し、参照視点に対する映像及び視差を生成する方法を説明する。

【図3】一実施形態に係る２ｎ＋１個の入力ビューに基づいて参照視点を決定し、参照視点に対する映像及び視差を生成する方法を説明する。

【図4】一実施形態に係る参照視点映像及び参照視点視差情報を用いて参照レイヤ及び参照レイヤの視差情報が生成される過程を説明する。

【図5】一実施形態に係るホールマップの生成原理を説明する。

【図6】一実施形態に係るホールマップの生成方法を説明する。

【図7】一実施形態に係る単独で設定されるピクセルの個数を決定する方法を説明する。

【図8】一実施形態に係るホールマップ生成方法のフローチャートである。

【図9】一実施形態に係る出力視点の映像を生成し、生成された出力視点の映像のホールに対するホール復元を行う原理を説明する。

【図10】一実施形態に係る出力視点の映像を生成し、生成された出力視点の映像のホールに対するホール復元を行う方法のフローチャートである。

【図11】一実施形態に係る映像処理装置の構造図である。

【図12】一実施形態に係る映像処理装置を含むマルチビューディスプレイ機器のブロック図である。

【発明を実施するための形態】

【0022】

以下、添付する図面を参照しながら実施形態を詳細に説明する。しかし、発明の範囲が説明された実施形態によって制限されたり限定されることはない。各図面に提示された同一の参照符号は同一の部材を示す。

【0023】

下記において、用語「ビュー」は映像及び前記映像に関連する視差情報を含む。ビューは視差情報を有する映像を意味する。

【0024】

ビューの映像は（例えば、２次元）ピクセルから構成されてもよい。視差情報は、ピクセルそれぞれの視差（または、視差値）を含む。視差情報は映像内のピクセルの視差を意味する。

【0025】

入力ビューは、入力情報として用いられるビューを意味する。出力ビューは入力ビューに基づいて生成されたビューを意味する。入力ビューのうち、特定の出力ビューを生成するために用いられるビューを参照ビューのように命名する。内挿は参照ビューの間の映像を生成することを意味し、外挿は参照ビューの外側の映像を生成することを意味する。参照ビューの映像を前記映像の視差情報を用いて出力ビューの視点に応じてワーピング（ｗａｒｐｉｎｇ）することで出力ビュー映像が生成される。

【0026】

ここで、ワーピングは映像内のピクセルそれぞれの座標を、前記映像の視差情報を用いてシフトすることを意味する。視差が大きいピクセルであるほど視差が小さいピクセルに比べて多くシフトされる。

【0027】

深度及び視差は、相互間に定数項（ｃｏｎｓｔａｎｔ ｔｅｒｍ）によって逆相関されてもよい。したがって、下記の実施形態において用語「深度」及び「視差」は相互交換されて用いられる。

【0028】

また、深度を視差に変換したり視差を深度に変換するステップまたは動作が下記の実施形態に付加される。

【0029】

図１は、一実施形態に係る映像処理方法のフローチャートである。ステップＳ１１０において、参照視点が決定される。

【0030】

参照視点は、後述される参照視点映像、参照視点視差情報、ホールマップ及び参照レイヤの視点であってもよい。すなわち、参照視点は、ホールマップ及び参照レイヤを生成する参照になる視点であり得る。参照視点を決定する方法の一実施形態について図２及び図３を参照して下記で詳細に説明する。

【0031】

ステップＳ１２２〜ステップＳ１２８において、１つ以上の入力ビューを用いて参照視点に対する参照レイヤ（すなわち、参照レイヤの映像及び参照レイヤの視差情報）が生成される。１つ以上の入力ビューそれぞれは映像及び前記映像に関連される視差情報を含んでもよい。ステップＳ１２２において、１つ以上の入力ビューを用いて参照視点映像及び参照視点視差情報が生成される。

【0032】

参照視点映像及び参照視点視差情報は、後述するホールマップ及び参照レイヤを生成するために用いられる。

【0033】

１つ以上の入力ビューそれぞれの視点のうち、中間の視点が参照視点として選択されてもよい。すなわち、少なくとも１つの入力ビューのうち他の入力ビューの間に位置する視点を参照視点として選択する。

【0034】

ステップＳ１２４において、参照視点に対するホールマップが生成される。

【0035】

ホールマップは、各視点における映像内で発生するホールに関する情報を参照視点映像で集めたでものである。複数の異なる視点それぞれで取得されたホール情報が参照視点映像に総合（ａｇｇｒｅｇａｔｅ）される。ここで、各視点における映像は後述する出力映像を意味する。

【0036】

ステップＳ１２６において、ホールマップ、参照視点映像及び参照視点視差情報を用いて初期参照レイヤが生成される。すなわち、複数の異なる視点それぞれで取得されたホール情報が参照視点映像に総合されてもよい。

【0037】

初期参照レイヤは、参照視点映像（または、参照視点映像及び参照視点視差情報）内にホール成分が生成されたものある。

【0038】

ステップＳ１２８において、初期参照レイヤ内のホールに対するホール復元を行うことによって参照レイヤ（すなわち、参照レイヤの映像及び参照レイヤの視差情報）が生成される。すなわち、初期参照レイヤのホールは参照レイヤを生成することによって復元されてもよい。

【0039】

参照視点映像及び参照視点視差情報を用いて参照レイヤが生成される過程について図４を参照して下記で詳細に説明する。

【0040】

ステップＳ１２６及びステップＳ１２８によって、ホールマップ、参照視点映像及び参照視点視差情報を用いて各出力映像内のホールに対するホール復元を行うために必要な情報を復元（または生成）する。

【0041】

ステップＳ１３０において、１つ以上の入力ビューを用いて出力視点（または、目的（ｔａｒｇｅｔ）視点）の映像が生成される。出力視点は、視聴者に提供されるためのターゲット視点を意味する。出力視点の映像はホールを含んでもよい。ステップＳ１４０において、参照レイヤ及び参照レイヤの視差情報を用いて出力視点の映像内のホールに対するホール復元を行う。ステップＳ１５０において、ホール復元が行われた後の出力視点の映像を出力する。ホールの復元された複数の出力視点映像が提供されてもよい。

【0042】

図２は、一実施形態に係る２つの入力ビューに基づいて参照視点を決定し、参照視点に対する映像及び視差を生成する方法を説明する。図２に示す入力ビューは、第１入力ビュー２１０及び第２入力ビュー２２０である。

【0043】

第１入力ビュー２１０及び第２入力ビュー２２０はそれぞれステレオ（すなわち、２ｗａｙ）ビュー入力の左側入力ビュー及び右側入力ビューであってもよい。第１入力ビュー２１０及び第２入力ビュー２２０はそれぞれマルチビュー機器の２ｎ個の入力ビューのうち、ｎ番目の入力ビュー及びｎ＋１番目の入力ビューであってもよい。ここで、ｎは「１」以上の整数であってもよい。第１入力ビュー２１０及び第２入力ビュー２２０は、１つ以上の入力ビューのうち中心に位置する２つの入力ビューであってもよい。すなわち、第１入力ビュー２１０及び第２入力ビュー２２０は他の入力ビューの間に位置する。

【0044】

第１入力ビュー２１０は、映像２１２及び視差情報２１４を含む。第２入力ビュー２２０は、映像２２２及び視差情報２２４を含む。

【0045】

参照視点は、第１入力ビュー２１０の視点及び第２入力ビュー２２０の視点の中心であってもよい。参照視点は全ての１つ以上の入力ビューのうち２つの選択された入力ビュー視点の中心であってもよい。

【0046】

参照視点ビュー２３０（すなわち、参照視点映像２３２及び参照視点視差情報２３４）は第１入力ビュー２１０及び第２入力ビュー２２０に基づいて生成される。例えば、参照視点ビュー２３０（すなわち、参照視点映像２３２及び参照視点視差情報２３４）は、第１入力ビュー２１０及び第２入力ビュー２２０のカラー／視差内挿によって生成される。

【0047】

例えば、参照視点ビュー２３０（すなわち、参照視点映像２３２及び参照視点視差情報２３４）は、第１入力ビュー２１０の映像２１２、第１入力ビュー２１０の視差情報２１４、第２入力ビュー２２０の映像２２２、及び第２入力ビュー２２０の視差情報２２４を使用するワーピングを行うことによって生成される。

【0048】

図３は、一実施形態に係る２ｎ＋１個の入力ビューに基づいて参照視点を決定し、参照視点に対する映像及び視差を生成する方法を説明する。図３に示す入力ビューは奇数個の入力ビュー３１０、３２０、３３０である。

【0049】

１つ以上の入力ビューは２ｎ＋１個である。ここで、ｎは「０」以上の整数である。中心入力ビュー３２０（すなわち、ｎ番目の入力ビュー）は映像３２２及び視差情報３２４を含む。参照視点は、１つ以上の入力ビューのうち中間に位置する入力ビューの視点であってもよい。２ｎ＋１個の入力ビューのうち、ｎ番目の中心入力ビュー３２０の視点が参照視点になり得る。参照視点が１つ以上の入力ビューのうち特定のビューの視点と同一である場合、特定のビューが参照視点ビュー３４０に設定（または使用）される。また、特定のビューの映像が参照視点映像３４２に設定されてもよく、特定のビューの視差情報が参照視点視差情報３４４に設定されてもよい。例えば、参照視点が中心入力ビュー３２０の視点である場合、中心入力ビュー３２０が参照視点ビュー３４０に設定される。１つ以上の入力ビューが奇数個（すなわち、２ｎ＋１個）である場合、中心（すなわち、ｎ番目の）入力ビュー３２０の映像３２２が参照視点映像３４２に設定され、中心入力ビュー３２０の視差情報３２４が参照視点視差情報３４４に設定される。

【0050】

図４は、一実施形態に係る参照視点映像及び参照視点視差情報を用いて初期参照レイヤ、初期参照レイヤの視差情報、参照レイヤ及び参照レイヤの視差情報を生成する過程を説明する。図４に示す過程はマルチビューの生成にも用いられてもよい。

【0051】

図１〜図３を参照して前述したように、１つ以上の入力ビュー４１０及び４１５に基づいて参照視点映像４３０及び参照視点視差情報４３５を生成する。

【0052】

参照視点ビュー４２０は参照視点映像４３０及び参照視点視差情報４３５を含む。参照視点映像４３０は前景４３２及び背景４３４を含む。一般に、前景４３２は背景４３４に比べて大きい視差（すなわち、さらに小さい深度）を有する。

【0053】

参照視点視差情報４３５は、前景４３２に関連する景視差情報４３６及び背景４３４に関連する背景視差情報４３８を含む。

【0054】

ホールマップ４４０は、各マルチビュー映像内で生成されたホールを参照視点に総合することによって取得されたデータに対応する。ホールマップ４４０は、ホールの部分４４２及び４４４及びホールではない部分４４６を含む。

【0055】

ホールマップ４００はホールの部分４４２及び４４４は「０」と表現され、ホールではない部分４４６は「１」と表現される２進（ｂｉｎａｒｙ）マップであってもよい。

【0056】

ホールマップ４４０を生成する具体的な方法の一実施形態については図５〜図８を参照して下記で詳細に説明する。

【0057】

初期参照レイヤ４５０は、ホールマップ４４０上のホールとして、示される領域を処理することによって取得されるイメージに対応する。初期参照レイヤ４５０は映像４６０及び視差情報４７０を含む。初期参照レイヤ４５０の映像４６０は、前景４６２、背景４６４及びホール４６６及び４６８を含む。

【0058】

初期参照レイヤ４５０の映像４６０は、参照視点映像４３０及びホールマップ４４０に基づいて生成される。例えば、参照視点映像４３０のうち、ホールの部分４４２及び４４４に対応する部分はホール４６６及び４６８である。参照視点映像４３０のうちホールではない部分４４６に対応する部分は前景４６２または背景４６４である。

【0059】

初期参照レイヤ４５０の視差情報４７０は参照視点視差情報４３５であってもよい。または、初期参照レイヤ４５０の視差情報４７０は参照視点視差情報４３５及びホールマップ４４０に基づいて生成される。例えば、視差情報４７０は、前景４６２に対応する前景視差情報４７２、背景４６４に対応する背景視差情報４７４及びホール４７６及び４７８を含んでもよい。

【0060】

初期参照レイヤ４５０の映像４６０は、参照視点映像４３０とホールマップ４４０との間の論理積（ＡＮＤ）演算を行うことにより生成される。参照視点映像４３０のうちホールマップ４４０の「０」（すなわち、ホールの部分４４２及び４４４）に対応する部分はＡＮＤ演算を行うことによってホール４６６及び４６８である。参照視点映像４３０のうちホールマップ４４０の「１」（すなわち、ホールではない部分４４６）に対応する部分はＡＮＤ演算によってその影響を受けることない。したがって、前記の部分は、ＡＮＤ演算が行われた後にも、前景４６２または背景４６４として続けて維持され得る。

【0061】

すなわち、参照視点映像４３０は、初期参照レイヤ４５０の映像４６０内のホールではない部分４４６に対応する前景４６２及び背景４６４に対してはそのまま用いられる。一方、映像内のホール４６６及び４６８はホールの部分４４２及び４４４に対応する。また、参照視点視差情報４３５は、初期参照レイヤ４５０の視差情報４７０内のホールではない領域４４６に対応する前景視差情報４７２及び背景視差情報４７４に対してはそのまま用いられる。ホールの部分４４２及び４４４に対応する視差情報４７０内の領域はホール４７６及び４７８である。

【0062】

初期参照レイヤ４５０の映像４６０に対するホール復元過程を介してホールの全てが充填された参照レイヤ４８０を生成する。参照レイヤ４８０は映像４９０及び視差情報４９５を含む。一般に、ホール復元過程を介してホールが充填されるために、映像４９０及び視差情報４９５はホールを有しなくてもよい。

【0063】

初期参照レイヤ４５０内のホールは、例えば、修復（ｉｎｐａｉｎｔｉｎｇ）のような様々なホール充填（ｈｏｌｅ ｆｉｌｌｉｎｇ）方法を用いて充填されてもよい。

【0064】

例えば、初期参照レイヤ４５０内のホールに対するホール復元は、前記ホールに隣接する背景一部を用いて行われてもよい。初期参照レイヤ４５０の映像４６０内のホール４６６または４６８は、背景４６４のうちホール４６６または４６８に隣接する部分の情報（例えば、カラー）を用いて充填されてもよい。初期参照レイヤ４５０の視差情報４７０内のホール４７６または４７８は、背景視差情報４７４のうちホール４７６または４７８に隣接する部分の視差を用いて充填される。

【0065】

例えば、初期参照レイヤ４５０内のホールに対するホール復元は他の視点の入力ビュー（すなわち、他の入力ビューの映像及び視差情報）を使用して行われてもよい。

【0066】

参照レイヤは連続的に格納されるため、初期参照レイヤ４５０内のホールに対する復元は、時間的に先行する参照レイヤ（例えば、時間的に先行する参照レイヤの映像及び視差情報）を用いて行われる。例えば、時間的に先行する参照レイヤは映像データの以前フレームに対応する。

【0067】

初期参照レイヤ４５０の視差情報４９５内のホールに対するホール復元は、ホールの領域周囲の背景の視差を広めることによって行われる。

【0068】

図５は、一実施形態に係るホールマップの生成原理を説明する。出力映像内のホールは参照視点映像内の隣接する領域（例えば、互いに隣接する左側ピクセル及び右側ピクセル）の視差間の差によって発生する。

【0069】

ピクセルが自身の左側ピクセルに比べて大きい視差を有する場合（すなわち、ピクセルの視差からピクセルの左側ピクセルの視差を差し引いた値であるΔｄ_Ｌが「０」よりも大きい場合）、参照視点から左側方向にワーピングされた出力映像内でピクセルの左側にホールが発生することがある。

【0070】

ピクセルの自身の右側ピクセルに比べてより大きい視差を有する場合（すなわち、ピクセルの視差からピクセルの右側ピクセルの視差を差し引いた値であるΔｄ_Ｒが「０」よりも大きい場合）、参照視点から右側方向にワーピングされた出力映像内でピクセルの右側にホールが発生することがある。

【0071】

第１出力映像５１０は、参照視点ビュー４２０（または、参照視点映像４３０）が左側方向にワーピングされることによって生成される。第１出力映像５１０内では前景５１２の左側にΔｄ_Ｌ（例えば、２０ピクセル）だけのホール５１６が発生する。第２出力映像５２０は参照視点ビュー４２０が右側方向にワーピングされることによって生成される。第２出力映像５２０内では前景５２２の右側にΔｄ_Ｒ（例えば、２０ピクセル）だけのホール５２６が発生する。

【0072】

したがって、参照視点ビュー４２０内の隣接するピクセル間の視差を分析することによって、特定の視点の出力映像内で発生するホール領域を予測することができる。

【0073】

ホールマップ４４０は、参照視点ビュー４２０を特定の視点にワーピングすることによって生成されるホールを参照視点映像に集めたり総合させたもの見なすことができる。

【0074】

図６は、一実施形態に係るホールマップの生成方法を説明する。例えば、マルチビュー映像内における１つ以上の出力ビューが生成されるとき発生するホール領域を予測するために参照視点ビュー４２０内の各ピクセルの視差の差分（ｄｉｆｆｅｒｅｎｃｅ）を算出する。

【0075】

視差の差分は左側差分Δｄ_Ｌ及び右側差分Δｄ_Ｒを含む。左側差分は、ピクセルの左側に隣接するピクセル（以下、左側ピクセル）に対する差分である。右側差分は、ピクセルの右側に隣接するピクセル（以下、右側ピクセル）に対する差分である。

【0076】

参照視点視差情報４３５内の特定の水平線６１０の視差がグラフ６２０のように示される。

【0077】

グラフ６２０に示すような視差の差を用いて、参照視点映像４３０内の前景４３２によって隠された領域がホール領域として判断される。

【0078】

前景４３２によって隠された領域は、１）視差の左側差分、２）視差の右側差分、３）入力ビュー間の入力ベースライン、及び４）最外角出力ビューの視点間の距離に基づいて算出される。

【0079】

ホールマップ４４０は、参照視点映像４３０内のピクセルの視差間の差分（すなわち、Δｄ_Ｌ及びΔｄ_Ｒ）に基づいて生成される。前景によって隠された領域（すなわち、単独で設定されるピクセル）を判断する方法の一実施形態について下記で説明する。

【0080】

第１ピクセルの第１視差が第１ピクセルに左側に隣接する第２ピクセルの第２視差よりも閾値以上に大きい場合（すなわち、第１ピクセルのΔｄ_Ｌが閾値よりも大きい場合）、第１ピクセルから右側にα・Δｄ_Ｌ個だけのピクセルが単独に設定される。単独に設定されるピクセルの個数は第１視差と第２視差との間の差に比例する。αは定数である。

【0081】

第１ピクセルの第１視差が第１ピクセルに右側に隣接する第３ピクセルの第３視差よりも閾値以上に大きい場合（すなわち、第１ピクセルのΔｄ_Ｒが閾値よりも大きい場合）、第１ピクセルから左側にα・Δｄ_Ｒ個だけのピクセルが単独に設定される。単独に設定されるピクセルの個数は第１視差と第３視差との間の差に比例する。

【0082】

第１領域６３０及び第２領域６４０はピクセルの視差間の差分に基づいて生成されるホール領域（すなわち、前景４３２によって隠されたと判断される領域）を示す。

【0083】

第２グラフ６５０は差分Δｄ_ＬまたはΔｄ_Ｒ及びαに比例して第１領域６３０及び第２領域６４０が設定される（または算出される）方法を示す。

【0084】

αを算出する方法の一実施形態については、図７を参照して下記で詳細に説明する。１つ以上のピクセルによって重複して単独に設定された領域は、１つのホール領域で格納されてもよい。図７は、一実施形態に係る単独で設定されるピクセルの個数を決定する方法を説明する。

【0085】

入力ベースラインは、１つ以上の入力ビューのうち最左側入力ビュー７１０の視点と最右側入力ビュー７２０の視点との間の距離である。最左側出力ビュー７３０は、１つ以上の入力ビューに基づいて生成された出力ビューのうち最も左側の視点を有する出力ビューである。最右側出力ビュー７４０は最も右側の視点を有する出力ビューである。

【0086】

下記の数式（１）はαを算出する方法の一実施形態である。

【0087】

【数1】

例えば、入力ビューの視点間の最大距離に比べて、出力ビューの視点間の最大距離が２倍であれば、αは２になる。

【0088】

図８は、一実施形態に係るホールマップ生成方法のフローチャートである。

【0089】

図１に示すステップＳ１２４は下記のホールマップを生成方法するステップＳ８１０及びステップＳ８３０を含む。

【0090】

図４〜図６を参照して説明したように、ホールマップ４４０は参照視点視差情報を用いて生成することができる。

【0091】

ステップＳ８１０において、１つ以上の出力映像が生成される時に発生されるホール領域を予測するため、参照視点ビュー４２０内の各ピクセルの視差の差分（例えば、左側差分Δｄ_Ｌ及び右側差分Δｄ_Ｒ）が算出及び格納される。

【0092】

ステップＳ８２０において、算出された視差の差分を用いて前景によって隠された領域がホール領域であると判断する。ステップＳ８３０において、ホール領域として判断された領域を用いてホールマップ４４０を構成する。

【0093】

図９は、一実施形態に係る出力視点の映像を生成し、生成された出力視点の映像のホールに対するホール復元を行う原理を説明する。第１出力映像９１０及び第２出力映像９２０は１つ以上の参照ビューを用いて生成する。参照ビューは、１つ以上の入力ビューのうち特定の出力映像を生成するために選択されたビューである。例えば、内挿によって出力映像が生成される場合、出力映像の視点に左右に最も近接した２つの入力ビューが参照ビューとして選択される。外挿によって出力映像が生成される場合、出力映像の視点に最も近接した１個の入力ビュー（すなわち、最外角ビュー）が参照ビューとして選択される。

【0094】

例えば、第１出力映像９１０の参照ビューは図４に示す入力ビュー４１０である。第２出力映像９２０の参照ビューは図４に示す入力ビュー４１５である。

【0095】

第１出力映像９１０は、参照ビューの視差情報を用いて参照ビューの映像を第１出力映像９１０の視点にワーピングすることによって生成することができる。第２出力映像９２０は、参照ビューの視差情報を用いて参照ビューの映像を第２出力映像の視点にワーピングすることによって生成する。

【0096】

１つ以上の入力ビュー４１０及び４１５の視点、及び出力映像９１０または９２０の視点間の差によって、出力視点の映像内でホール９１２またはホール９２２のようなホールが発生することがある。また、出力視点の参照レイヤ映像９３０及び９４０が各出力映像９１０または９２０のために生成される。出力視点の参照レイヤ映像９３０及び９４０は、参照レイヤ４８０の視差情報４９５を用いて参照レイヤ４８０の映像４９０をワーピングすることによって生成される。参照レイヤ４８０のワーピングは、参照レイヤ４８０内のホール復元に必要な情報を各出力視点に伝播する方式として見なすことができる。

【0097】

第１出力映像９１０内のホール９１２に対する復元は、第１出力映像９１０の視点にワーピングされた第１参照レイヤ映像９３０を用いて行われる。第１参照レイヤ映像９３０のうちホール９１２に対応する領域９３２がホール９１２に対するホール復元を行うために用いられる。

【0098】

また、第２出力映像９２０の視点にワーピングされた第２参照レイヤ映像９４０のうちホール９２２に対応する領域９４２がホール９２２に対するホール復元を行うために用いられる。

【0099】

ホール復元が行われた出力映像９５０または９６０は、出力映像９１０または９２０及び前記出力映像９１０または９２０の視点にワーピングされた出力視点の参照レイヤ映像９３０または９４０が合成されることによって生成される。

【0100】

ワーピングされた参照レイヤ映像９３０または９４０は、出力映像９５０または９６０の視点における背景情報として見なす。すなわち、参照レイヤ４８０の映像４９０は、ワーピングによって出力映像９５０または９６０の背景として用いられてもよい。このような特徴により参照レイヤ４８０は参照背景レイヤと命名する。初期参照レイヤ４５０は初期参照背景レイヤと命名する。

【0101】

図１０は、一実施形態に係る出力視点の映像を生成し、生成された出力視点の映像のホールに対するホール復元を行う方法のフローチャートである。図１０に示すステップＳ１０１０〜ステップＳ１０５０は特定の出力視点における最終出力映像を生成するために行われる。

【0102】

ステップＳ１３０は下記のステップＳ１０１０及びステップＳ１０２０を含んでもよい。

【0103】

ステップＳ１０１０において、１つ以上の入力ビュー４１０及び４１５のいずれか１つ以上の参照ビューを選択する。

【0104】

１つ以上の参照ビューは、１つ以上の入力ビュー４１０及び４１５のうち、特定の出力映像を生成するために選択されたビューである。出力映像が外挿によって生成される場合、１つの入力ビューは出力映像が内挿によって生成される場合に２つの入力ビューが参照ビューとして選択されてもよい。

【0105】

ステップＳ１０２０において、選択された参照ビューの視差情報を用いて参照ビューの映像を出力ビューの出力視点にワーピングすることによって、出力視点の映像９１０または９２０が生成される。

【0106】

図１に示すステップＳ１４０は、下記のステップＳ１０３０、ステップＳ１０４０及びステップＳ１０５０を含む。ステップＳ１０３０において、ステップＳ１０２０で生成された出力映像９１０または９２０内のホール９１２または９２２を検出する。ステップＳ１０４０において、参照レイヤ４８０の視差情報４９５を用いて参照レイヤ４８０の映像４９０を出力視点にワーピングすることで、出力視点の参照レイヤ映像９３０または９４０が生成される。

【0107】

ステップＳ１０５０において、出力視点の参照レイヤ映像９３０及び９４０のうち、出力視点の映像９１０または９２０のホール９１２または９２２に対応する領域９３２及び９４２が前記ホール９１２または９２２にコピーされ得る。すなわち、領域９３２及び９４２の情報（すなわち、カラー）がホール９１２または９２２にコピーされることで、前記ホール９１２または９２２に対するホールの復元を行うことができる。

【0108】

２つの生成された出力映像９１０または９２０のホール９１２または９２２に対するホール復元は参照レイヤ４８０の情報を用いて行われてもよい。すなわち、ホール９１２または９２２に対するホール復元は各視点ごとに独立的に行われる。ホールを有しない参照レイヤ４８０の映像４９０及び視差４９５の情報を各出力映像９１０または９２０内のホール９１２または９２２に伝播することで、ホール９１２または９２２のホールを復元する。

【0109】

参照視点におけるビュー情報に基づいて全ての出力映像内のホールのホールを復元することによって、出力映像間の視覚的な不一致を解決することができる。また、生成された出力視点の映像数に対応する回数だけのホール復元過程が反復される代わりに、初期参照レイヤ４５０に基づいて参照レイヤ４８０を生成するステップＳ１２８のような、１回だけのホール復元を行うため演算の反復を減少することができる。

【0110】

図１１は、一実施形態に係る映像処理装置の構造図である。映像処理装置１１００は、参照視点決定部１１１０、参照レイヤ生成部１１２０、出力視点映像生成部１１７０、ホール復元部１１８０、及び出力部１１９０を備える。

【0111】

映像処理装置１１００の入力は、１つ以上の入力ビュー４１０及び４１５である。映像処理装置１１００は１つ以上の出力ビュー（または、１つ以上の出力視点の映像）を出力する。

【0112】

参照視点決定部１１１０はステップＳ１１０を行う。参照視点決定部１１１０は参照視点を決定する。参照視点決定部１１０の入力は１つ以上の入力ビュー４１０及び４１５を含む。

【0113】

参照レイヤ生成部１１２０は、ステップＳ１２２〜ステップＳ１２８を行う。参照レイヤ生成部１１２０は、１つ以上の入力ビュー４１０及び４１５を用いて参照視点に対する参照レイヤ４８０を生成する。

【0114】

出力視点映像生成部１１７０はステップＳ１３０を行う。出力視点映像生成部１１７０は、１つ以上の入力ビュー４１０及び４１５を用いて出力視点の映像９１０または９２０を生成する。

【0115】

ホール復元部１１８０はステップＳ１４０を行う。ホール復元部１１８０は、参照レイヤ４８０を用いて出力視点の映像９１０または９２０内のホール９１２または９２２に対するホール復元を行う。

【0116】

参照レイヤ生成部１１２０は、参照視点映像／視差情報生成部１１３０、ホールマップ生成部１１４０、初期参照レイヤ生成部１１５０、及び参照レイヤ生成部１１６０を備える。

【0117】

参照視点映像／視差情報生成部１１３０はステップＳ１２２を行う。参照視点映像／視差情報生成部１１３０は、１つ以上の入力ビュー４１０及び４１５を用いて参照視点映像４３０及び参照視点視差情報４３５を生成する。

【0118】

ホールマップ生成部１１４０はステップＳ１２４を行う。ホールマップ生成部１１４０は参照視点に対するホールマップ４４０を生成する。ホールマップ生成部１１４０の入力は参照視点視差情報４３５である。ホールマップ生成部１１４０はホールマップ４４０を出力する。

【0119】

初期参照レイヤ生成部１１５０はステップＳ１２６を行う。初期参照レイヤ生成部１１５０は、ホールマップ４４０、参照視点映像４３０、及び参照視点視差情報４３５を用いて初期参照レイヤ４５０を生成する。

【0120】

参照レイヤ生成部１１６０はステップＳ１２８を行う。参照レイヤ生成部１１６０は、初期参照レイヤ４５０内のホール４６６、４６８、４７６または４７８を復元することによって参照レイヤ４８０を生成する。

【0121】

ホールマップ生成部１１４０は、差分算出部１１４２、ホール領域算出部１１４４、及びホールマップ構成部１１４６を備える。

【0122】

差分算出部１１４２はステップＳ８１０を行う。差分算出部１１４２は、１つ以上の出力映像（例えば、第１出力映像９１０及び第２出力映像９２０）が生成されるとき発生されるホール領域を予測するために参照視点ビュー４２０内の各ピクセルの視差の差分（例えば、左側差分Δｄ_Ｌ及び右側差分Δｄ_Ｒ）を算出及び格納する。

【0123】

ホール領域算出部１１４４はステップＳ８２０を行う。ホール領域算出部１１４４は、算出された視差の差分を用いて前景によって隠された領域をホール領域として判断する。

【0124】

ホールマップ構成部１１４６はステップＳ８３０を行う。ホールマップ構成部１１４６は、ホール領域と判断された領域を用いてホールマップ４４０を構成する。

【0125】

出力視点映像生成部１１７０は、参照ビュー選択部１１７２及び参照ビューワーピング部１１７４を含む。

【0126】

参照ビュー選択部１１７２はステップＳ１０１０を行う。参照ビュー選択部１１７２は、１つ以上の入力ビュー４１０及び４１５のうち１つ以上の参照ビューを選択する。

【0127】

参照ビューワーピング部１１７４は、選択された参照ビューの視差情報を用いて参照ビューの映像を出力ビューの出力視点にワーピングすることで、出力視点の映像９１０または９２０を生成する。参照ビューワーピング部１１７４の入力は参照ビュー（または、１つ以上の入力ビューの全てまたは一部）を含む。参照ビューワーピング部１１７４は出力視点の映像９１０または９２０を出力する。

【0128】

ホール復元部１１８０は、参照レイヤワーピング部１１８２、ホール領域検出部１１８４、及びホール領域コピー部１１８６を備える。

【0129】

参照レイヤワーピング部１１８２はステップＳ１０４０を行う。参照レイヤワーピング部１１８２は、参照レイヤ４８０の視差情報４９５を用いて参照レイヤ４８０の映像４９５を出力視点にワーピングすることで出力視点の参照レイヤ映像９３０または９４０を生成する。参照レイヤワーピング部１１８２の入力は参照レイヤ４８０を含む。参照レイヤワーピング部１１８２は、出力視点の参照レイヤ映像９３０または９４０を出力する。

【0130】

ホール領域検出部１１８４はステップＳ１０３０を行う。ホール領域検出部１１８４は、参照ビューワーピング部１１７４によって生成された出力映像９１０または９２０内のホール９１２または９２２を検出する。ホール領域検出部１１８４の入力は、出力視点の映像９１０または９２０及び出力視点の参照レイヤ映像９３０及び９４０である。

【0131】

ホール領域コピー部１１８６はステップＳ１０５０を行う。ホール領域コピー部１１８６は出力視点の参照レイヤ映像９３０及び９４０のうち、出力視点の映像９１０または９２０のホール９１２または９２２に対応する領域９３２及び９４２をホール９１２または９２２にコピーしてもよい。ホール領域コピー部１１８４の入力は、出力視点の映像９１０または９２０及び出力視点の参照レイヤ映像９３０及び９４０である。ホール領域コピー部１１８４は、ホールが復元された出力映像９５０または９６０を出力視点の最終映像として出力する。

【0132】

前述された構成要素１１１０〜１１９０の包含関係は単に例示的なものに過ぎない。例えば、参照視点映像／視差情報生成部１１３０は参照視点決定部１１１０内に含まれてもよい。参照レイヤワーピング部１１８２は出力視点映像生成部１１７０内に含まれてもよい。

【0133】

前記の構成要素１１１０〜１１９０の機能は、単一な制御部（図示せず）で行われる。ここで、制御部は単一（ｓｉｎｇｌｅ）または複数（ｍｕｌｔｉ）チップ、プロセッサ、またはコアを表し得る。構成要素１１１０〜１１９０のそれぞれは制御部で行われる関数、ライブラリー、サービス、プロセス、スレッド、またはモジュールを表し得る。

【0134】

先の図１〜図１０を参照して説明された技術的な内容が本実施形態にも適用されてもよい。したがって、本詳細な説明は以下は省略することにする。

【0135】

前述した実施形態に係る方法は、多様なコンピュータ手段を介して様々な処理を実行することができるプログラム命令の形態で実現され、コンピュータ読取可能な記録媒体に記録されてもよい。コンピュータ読取可能な媒体は、プログラム命令、データファイル、データ構造などのうちの１つまたはその組合せを含んでもよい。媒体に記録されるプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり、使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、光ディスクのような光磁気媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれてもよい。プログラム命令の例としては、コンパイラによって生成されるような機械語コード（ｍａｃｈｉｎｅ ｃｏｄｅ）だけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コード（ｈｉｇｈｅｒ ｌｅｖｅｌ ｃｏｄｅ）を含む。上述したハードウェア装置は、本発明の動作を行うために１つ以上のソフトウェアのレイヤで動作するように構成されてもよい。

【0136】

前述された１つ以上のソフトウェアモジュールは、モジュールまたはユニットに固有な専用プロセッサまたは１つ以上のモジュールに共通するプロセッサのようなコントローラによって実行される。前述の方法は汎用（ｇｅｎｅｒａｌ ｐｕｒｐｏｓｅ）コンピュータまたは上述された映像処理装置のような特定の機械により実行されてもよい。

【0137】

図１２は、一実施形態に係る映像処理装置を含むマルチビューディスプレイ機器を説明する。図１２によれば、マルチビューディスプレイ機器１２００はコントローラ１２０１及び映像処理装置１２０５を備える。

【0138】

マルチビューディスプレイ機器１２００は、３Ｄ映像を表示するための３Ｄディスプレイの形態を有してもよく、２つ以上の異なる視点におけるマルチビュースキームを採用してもよい。３Ｄディスプレイの例は、タブレットコンピュータ機器、移動可能なゲーム用機器、３Ｄテレビディスプレイ、またはラップトップコンピュータのような移動可能な３Ｄモニターを含んでもよい。

【0139】

コントローラ１２０１は制御信号を生成する。制御信号はマルチビューディスプレイ機器１２００を制御する。制御信号はマルチビューディスプレイ機器１２００によって表示されてもよい。コントローラ１２０１は１つ以上のプロセッサを含む。

【0140】

映像処理装置１２０５はマルチビューディスプレイ装置１２００のためのマルチビュー映像を生成するために用いられてもよく、例えば、図１１で示された映像処理装置１１００に対応する。したがって、映像処理装置１２０５は、例えば参照視点決定部１１１０、参照レイヤ生成部１１２０、出力視点映像生成部１１７０、ホール復元部１１８０、及び出力部１１９０を備える。図１２には図示されていないにもかかわらず、このような部のそれぞれは図１１などで前述した類似に名付けられた部に対応する。したがって、これ以上の詳細な説明は省略する。

【0141】

映像処理装置１２０５は、マルチビューディスプレイ機器１２００内に内部的にインストールしてもよく、マルチビューディスプレイ機器１２００に付着されてもよく、または、マルチビューディスプレイ機器１２００とは分離して実装されてもよい。映像処理装置１２０５の物理的な構成には関係なく、映像処理装置１２０５は前述した全ての可能な機能を備えてもよい。映像処理装置１２０５は１つ以上の内部プロセッサを含んでもよく、例えば、コントローラ１２０１の１つ以上のプロセッサのようなマルチビューディスプレイ装置１２００内に含まれる１つ以上のプロセッサによって制御されてもよい。

【0142】

上述したように、本発明を限定された実施形態と図面によって説明したが、本発明は、上記の実施形態に限定されることなく、本発明が属する分野における通常の知識を有する者であれば、このような実施形態から多様な修正及び変形が可能である。

【0143】

したがって、本発明の範囲は、開示された実施形態に限定されるものではなく、特許請求の範囲だけではなく特許請求の範囲と均等なものなどによって定められるものである。

【符号の説明】

【0144】

１１００ 映像処理装置
１１１０ 参照視点決定部
１１２０ 参照レイヤ生成部
１１７０ 出力視点映像生成部
１１８０ ホール復元部
１１９０ 出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】