特許 7036599 奥行き情報を用いて全方向視差を圧縮したライトフィールドを合成する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-03-07

(45)【発行日】2022-03-15

(54)【発明の名称】奥行き情報を用いて全方向視差を圧縮したライトフィールドを合成する方法

(51)【国際特許分類】

   H04N 13/111 20180101AFI20220308BHJP

   H04N 13/271 20180101ALI20220308BHJP

【ＦＩ】

H04N13/111

H04N13/271

【請求項の数】 14

(21)【出願番号】P 2017554581

(86)(22)【出願日】2016-04-21

(65)【公表番号】

(43)【公表日】2018-07-19

(86)【国際出願番号】 US2016028710

(87)【国際公開番号】W WO2016172385

(87)【国際公開日】2016-10-27

【審査請求日】2019-04-02

(31)【優先権主張番号】62/151,616

(32)【優先日】2015-04-23

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】507349503

【氏名又は名称】オステンド・テクノロジーズ・インコーポレーテッド

(74)【代理人】

【識別番号】100098394

【弁理士】

【氏名又は名称】山川 茂樹

(74)【代理人】

【識別番号】100064621

【弁理士】

【氏名又は名称】山川 政樹

(72)【発明者】

【氏名】グラジオシ，ダニロ・ブラッコ

(72)【発明者】

【氏名】アルパスラン，ザヒール・ワイ

(72)【発明者】

【氏名】エル－ゴロウリー，フセイン・エス

【審査官】益戸 宏

(56)【参考文献】

【文献】米国特許出願公開第２０１１／００５８０２１（ＵＳ，Ａ１）

【文献】特開２０１２－１７００６７（ＪＰ，Ａ）

【文献】特表２０１２－５０１５８０（ＪＰ，Ａ）

【文献】特開２００１－２３８２３０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １３／００

Ｇ０６Ｔ ５／００

Ｇ０６Ｔ １５／００

Ｇ０３Ｂ ３５／００

Ｇ０２Ｂ ３０／００

(57)【特許請求の範囲】

【請求項1】

複数の所定ビューおよびそのそれぞれの視差値を表すデータセットからライトフィールドを合成する方法であって、
ａ）前記複数の所定ビューを前記それぞれの視差値を用いて単一のビュー位置に対して投影することと、
ｂ）単一のビュー位置に投影された複数の所定ビューをマージしてマージ後のビューを規定し、前記マージングは、
ｉ）単一のビュー位置に投影された複数の所定ビューの視差値をそれぞれ評価して、各所定ビューの見かけ上の信頼性を決定することと、
ｉｉ）最も信頼性が高い所定ビューを選択し、選択された所定ビューが投影された画素に対して、選択された所定ビューをマージ後のビューとすることと、
ｉｉｉ）最も信頼性が高い以前に選択されていない所定ビューを選択し、選択された所定ビューの投影された画素が穴である場合、選択された所定ビューをマージ後のビューとすることと、
ｉｖ）全所定ビューが選択されるまでｉｉｉ）を反復することと
を含むことと、
ｃ）前記マージ後のビューに穴埋め動作を実施して、ディスプレイ用の合成ライトフィールドを規定することと
を含む、方法。

【請求項2】

ｂ）のｉｉｉ）において、選択された所定ビューの投影された画素が穴ではない場合、視差値が大きい方の所定ビューをマージ後のビューとする、請求項１に記載の方法。

【請求項3】

前記それぞれの視差値の差の絶対値を比較するための閾値を決定することと、
ｂ）、ｉｉ）で選択された最も信頼性の高いビューの各画素に関して、それぞれの画素に対する前記それぞれの視差値は、前記それぞれの視差と次に最も信頼性の高いビューのそれぞれの画素に対する視差との差の絶対値が前記閾値よりも小さい場合に限り用いられ、そうでない場合には、２つの前記視差の大きい方が、前記それぞれの画素の視差として用いられることと
をさらに含む、請求項１に記載の方法。

【請求項4】

前記複数の所定ビューは、前記複数の所定ビューよりも多い数のビューから選択される、請求項１に記載の方法。

【請求項5】

複数の所定ビューを表すデータセットは、各々の前記所定ビューの位置を特定したものを含み、少なくとも１つの前記所定ビューの位置は、前記ビューの分析によって決定される、請求項１に記載の方法。

【請求項6】

ｂ）、ｉ）において、各所定ビューの見かけ上の信頼性は、それぞれの前記ビューで各視差が発生する頻度を算出し、Ｎ個の最も頻度の高い視差の重み付けした合計に対応する見かけ上の信頼性を確立することによって決定され、前記重みは、それぞれの前記ビューにおける視差の反復値として提供され、Ｎ個の同じ値は、全所定ビューに対して用いられ、Ｎは、ワーピングしたビューでの異なる視差値の数に対応して選択される、請求項１に記載の方法。

【請求項7】

ｃ）の前記穴埋め動作は、穴の対向する境界にある画素を比較することと、反対側の境界に比べ背景を表す境界の画素を反復することによって穴を埋めることとを含む、請求項１に記載の方法。

【請求項8】

前記対向する境界は、前記マージ後のビューにある水平方向の線に沿って対向する境界である、請求項７に記載の方法。

【請求項9】

前記方法は、ａ）とｂ）との間に、前記投影された複数の所定ビューをＭ×Ｎの画素ブロックに分割することをさらに含み、その後ブロックごとにｂ）およびｃ）を完了する、請求項１に記載の方法。

【請求項10】

前記Ｍ×Ｎの画素ブロックのサイズは、ｂ）およびｃ）を画素ブロックごとに完了した後、前記ブロック内の穴の数に基づいて適応する、請求項９に記載の方法。

【請求項11】

ｃ）の後、前記合成ライトフィールドはさらに他の処理を受ける、請求項９に記載の方法。

【請求項12】

前記さらに他の処理は、画素ブロックの輝度を隣接するブロックと比較することと、隣接する色レベルに応じて色レベルを調整することとを含む、請求項１１に記載の方法。

【請求項13】

前記さらに他の処理は、フィルタリングを含む、請求項１１に記載の方法。

【請求項14】

前記さらに他の処理は、デブロッキングフィルタリングを含む、請求項１３に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本願は、２０１５年４月２３日に出願された米国仮特許出願第６２／１５１，６１６号の利益を主張するものである。

【0002】

本発明は全般的に、画像と映像の合成に関し、さらに詳細には、ライトフィールドの３Ｄ撮像システムへの入力として使用されるライトフィールド画像データの合成に関する。「ライトフィールド（ｌｉｇｈｔ ｆｉｅｌｄ）」という用語は、方向、振幅、周波数および位相を含む光の伝播および変調を表すものであり、したがって、ホログラフィ、積分撮像、立体視、多視点撮像、自由視点テレビ（Ｆｒｅｅ－ｖｉｅｗｐｏｉｎｔ ＴＶ、ＦＴＶ）などの技術を用いる撮像システムを簡約したものである。

【背景技術】

【0003】

ライトフィールドディスプレイは、見るための特別な眼鏡を必要とせずに、一シーンの３Ｄ物体を再構築するために光の強度および方向を変調する。これを達成するため、ライトフィールドディスプレイは通常多数のビューを用いるが、これは、ひと続きに３Ｄ処理する取得と伝送の段階でいくつかの困難を強いるものである。それに伴う膨大なデータサイズに対処するために圧縮が必須のツールであり、一般にシステムは、生成段階でビューをサブサンプリングし、欠如したビューをディスプレイに再構築する。例えば、Ｙａｎ ｅｔ ａｌ．，“Ｉｎｔｅｇｒａｌ ｉｍａｇｅ ｃｏｍｐｒｅｓｓｉｏｎ ｂａｓｅｄ ｏｎ ｏｐｔｉｃａｌ ｃｈａｒａｃｔｅｒｉｓｔｉｃ、”Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，ＩＥＴ，ｖｏｌ．５，ｎｏ．３，ｐｐ．１６４，１６８（Ｍａｙ ２０１１）（非特許文献１）およびＹａｎ Ｐｉａｏ ｅｔ ａｌ．，“Ｓｕｂ－ｓａｍｐｌｉｎｇ ｅｌｅｍｅｎｔａｌ ｉｍａｇｅｓ ｆｏｒ ｉｎｔｅｇｒａｌ ｉｍａｇｉｎｇ ｃｏｍｐｒｅｓｓｉｏｎ，”２０１０ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｕｄｉｏ Ｌａｎｇｕａｇｅ ａｎｄ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ（ＩＣＡＬＩＰ），ｐｐ．１１６４，１１６８（２３－２５ Ｎｏｖ．２０１０）（非特許文献２）の中で著者らは、表示システムの光学特性に基づいて要素画像のサブサンプリングを実施している。ライトフィールドのサンプリングに対してこれよりも正当な手法を、Ｊｉｎ－Ｘｉａｎｇ Ｃｈａｉ ｅｔ ａｌ．，（２０００）Ｐｌｅｎｏｐｔｉｃ ｓａｍｐｌｉｎｇ， ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２７ｔｈ ａｎｎｕａｌ ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ ｇｒａｐｈｉｃｓ ａｎｄ ｉｎｔｅｒａｃｔｉｖｅ ｔｅｃｈｎｉｑｕｅｓ（ＳＩＧＧＲＡＰＨ’００）（非特許文献３）およびＧｉｌｌｉａｍ，Ｃ． ｅｔ ａｌ．，“Ａｄａｐｔｉｖｅ ｐｌｅｎｏｐｔｉｃ ｓａｍｐｌｉｎｇ”，２０１１ １８ｔｈ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ（ＩＣＩＰ），ｐｐ．２５８１，２５８４（１１－１４Ｓｅｐｔ．２０１１）（非特許文献４）の著作物に見出すことができる。ディスプレイ側でビューを再構築するためには、コンピュータグラフィクス法から画像ベースのレンダリングに至るまでいくつかの異なる方法を用いることができる。

【0004】

コンピュータグラフィックスでは、シーンまたはシーンのビューを再生する行為は、視点レンダリングとして知られている。通常、カメラ視点からの照明および表面特性を組み込んだ複雑な３Ｄ立体モデルが使用される。この視点レンダリングは一般に、複数の複雑な動作およびシーンの立体構造の詳細な知識を必要とする。あるいは、複数の周囲の視点を用いる複雑な３Ｄ立体モデル）の代わりに、画像ベースレンダリング（Ｉｍａｇｅ－Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇ、ＩＢＲを使用して、ライトフィールドをオーバーサンプリングする入力画像から直接ビューを合成する。ＩＢＲは、より現実的なビューを生成するが、ライトフィールドでのより強力なデータ取得処理、データ保存および冗長性を必要とする。データ処理の不利益を低減するため、奥行き画像ベースレンダリング（Ｄｅｐｔｈ Ｉｍａｇｅ－Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇ、ＤＩＢＲ）は、３Ｄ立体モデルからの奥行き情報を用いて必要なＩＢＲビューの数を減らす（米国特許第８，２８４，２３７号、“Ｖｉｅｗ Ｓｙｎｔｈｅｓｉｓ Ｒｅｆｅｒｅｎｃｅ Ｓｏｆｔｗａｒｅ（ＶＳＲＳ）３．５，”ｗｇ１１．ｓｃ２９．ｏｒｇ、Ｍａｒｃｈ ２０１０（非特許文献５）、およびＣ．Ｆｅｈｎ，“３Ｄ－ＴＶ Ｕｓｉｎｇ Ｄｅｐｔｈ－Ｉｍａｇｅ－Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇ（ＤＩＢＲ），”ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｐｉｃｔｕｒｅ Ｃｏｄｉｎｇ Ｓｙｍｐｏｓｉｕｍ，ＳａｎＦｒａｎｃｉｓｃｏ，ＣＡ，ＵＳＡ，Ｄｅｃ．２００４（非特許文献６）を参照）。各ビューは、各画素の位置に関連する奥行きを有し、これは奥行きマップとして知られ、後に欠如したビューを合成するのに使用される。

【0005】

ＤＩＢＲ法には、図１に示したもののように、通常３つの異なる段階、すなわちビューワーピング（またはビュー投影）、ビューマージング１０５および穴埋め１０７がある。ビューワーピングは、１つのカメラで取り込んだシーンを別のカメラの画像平面に再投影することである。この処理では、基準ビュー内にある画素当たりの奥行き情報によって提供されるシーンの立体構造、および撮像装置の特性、すなわちカメラに内在するパラメータ（焦点距離、主点）および外在するパラメータ（回転、３Ｄ位置）を利用する（Ｃ．Ｆｅｈｎ，“３Ｄ－ＴＶ ＵｓｉｎｇＤｅｐｔｈ－Ｉｍａｇｅ－Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇ（ＤＩＢＲ），”ｉｎＰｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｐｉｃｔｕｒｅ Ｃｏｄｉｎｇ Ｓｙｍｐｏｓｉｕｍ，Ｓａｎ Ｆｒａｎｃｉｓｃｏ，ＣＡ，ＵＳＡ，Ｄｅｃ．２００４）（非特許文献６）。投影は２つの別々の段階で行うことができる。視差値のみを投影する順方向ワーピング段階１０３、および基準から色値を取り出す逆方向ワーピング段階１０６である。視差のワーピングは、丸みと奥行きの定量化に影響されることがあるため、システムに光学視差フィルタリングブロック１０４を追加して、誤ってワーピングされた視差値を訂正できる。

【0006】

１つの基準ビューをワーピングした後、対象画像の一部が依然として未確認である可能性がある。異なる奥行きにある物体は、異なる見かけ上の速度で動くため、基準ビュー内の１つの物体に隠れているシーンの一部が対象ビュー内でディスオクルージョンすることがあるが、対象ビューのこの部分の色情報は基準から利用できない。通常は、複数の視点からシーンをカバーするのを試みるために複数の基準を使用し、それによって１つの基準のディスオクルージョン部分を別の基準画像から得ることもできる。ビューが複数であれば、シーンのディスオクルージョン部分を異なる基準から得られるだけでなく、シーンの一部を複数の基準によって同時に可視化できる。したがって、ワーピングした基準のビューは、相補的で同時に重なり合ってよい。ビューマージング１０５は、これらの複数のビューをまとめて単一のビューにする動作である。異なるビューからの画素が同じ位置にマッピングされている場合、奥行き値を用いて優勢するビューを決定する。これは最も近いビューまたはいくつかのビューの補間のいずれかによって得られる。

【0007】

ビューが複数であっても、対象ビューで可視化されたシーンの一部が基準ビューのどの色情報とも一致しないという可能性がある。そのような色情報のない場所は穴と呼ばれ、これらの穴を周囲の画素値からの色情報で埋めるためのいくつかの穴埋め１０７方法が提案されている。通常、穴は物体のディスオクルージョンから生じ、欠けている色は背景色と強い相関関係にある。背景情報に従って穴を受けるいくつかの方法が提案されている（Ｋｗａｎ－Ｊｕｎｇ Ｏｈ ｅｔ ａｌ．，“Ｈｏｌｅ ｆｉｌｌｉｎｇ ｍｅｔｈｏｄ ｕｓｉｎｇ ｄｅｐｔｈ ｂａｓｅｄ ｉｎ－ｐａｉｎｔｉｎｇ ｆｏｒ ｖｉｅｗ ｓｙｎｔｈｅｓｉｓ ｉｎ ｆｒｅｅ ｖｉｅｗｐｏｉｎｔｔｅｌｅｖｉｓｉｏｎ ａｎｄ ３－Ｄ ｖｉｄｅｏ，”Ｐｉｃｔｕｒｅ Ｃｏｄｉｎｇ Ｓｙｍｐｏｓｉｕｍ，２００９．ＰＣＳ２００９，ｐｐ．１，４，６－８，Ｍａｙ ２００９）（非特許文献７）。

【0008】

表示装置の解像度に限度があるため、ＤＩＢＲ法は、全方向視差ライトフィールド画像に満足のいく形では適用されていない。しかしながら、画素ピッチが極めて小さい高解像度表示装置の出現に伴い（米国特許第８，５６７，９６０号）、ＤＩＢＲ技術を用いた全方向視差ライトフィールドのビュー合成が実現可能である。

【0009】

Ｌｅｖｏｙらは、２つの平行な平面間の光線補間を使用して光フィールドを取り込み、その視点を再構築している。（Ｍａｒｃ Ｌｅｖｏｙ ｅｔ ａｌ．，（１９９６）“Ｌｉｇｈｔ ｆｉｅｌｄ ｒｅｎｄｅｒｉｎｇ”ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２３ｒｄ ａｎｎｕａｌ ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ ｇｒａｐｈｉｃｓ ａｎｄ ｉｎｔｅｒａｃｔｉｖｅ ｔｅｃｈｎｉｑｕｅｓ（ＳＩＧＧＲＡＰＨ’９６））（非特許文献８）。しかし、現実的な結果を達成するためには、この手法では大量のデータを生成して処理する必要がある。シーンの立体構造、具体的には奥行きを考慮すれば、データの生成および処理の大幅な削減が実現できる。

【0010】

Ｓｔｅｖｅｎ Ｊ．Ｇｏｒｔｌｅｒ ｅｔ ａｌ．，（１９９６）“Ｔｈｅ ｌｕｍｉｇｒａｐｈ” ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２３ｒｄ ａｎｎｕａｌ ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ ｇｒａｐｈｉｃｓ ａｎｄ ｉｎｔｅｒａｃｔｉｖｅ ｔｅｃｈｎｉｑｕｅｓ（ＳＩＧＧＲＡＰＨ’９６）（非特許文献９）で、著者らは、光線補間を訂正するために奥行きを用いることを提案しており、Ｊｉｎ－Ｘｉａｎｇ Ｃｈａｉ ｅｔ ａｌ．，（２０００）“Ｐｌｅｎｏｐｔｉｃ ｓａｍｐｌｉｎｇ” ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２７ｔｈ ａｎｎｕａｌ ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ ｇｒａｐｈｉｃｓ ａｎｄ ｉｎｔｅｒａｃｔｉｖｅ ｔｅｃｈｎｉｑｕｅｓ（ＳＩＧＧＲＡＰＨ’００）（非特許文献１０）では、レンダリングの質がビューの数および利用可能な奥行きの数に比例していることが示されている。より多くの奥行き情報を用いた場合、必要な基準は少なくなる。ただし、奥行き画像ベースレンダリング法は、奥行き値が不正確で合成方法の精度に限界があるために誤りが起こりやすい点が不利である。

【0011】

奥行きの取得は、それ自体が複雑な問題である。通常、システムはカメラのアレイを利用し、物体の奥行きは、カメラの様々な位置での物体の特徴を対応させることによって推定できる。この手法は、オクルージョンまたは平滑な面が原因で誤りを起こしやすい。最近では、奥行きカメラおよび飛行時間カメラなど、奥行き取得のためのいくつかの能動的な方法が用いられている。それにもかかわらず、取り込まれた奥行きマップには依然として、低振幅であってもビュー合成手順に悪影響を及ぼすノイズレベルがある。

【0012】

不正確な立体構造情報に対処するために、多くの方法が取得した奥行きマップをフィルタリングする前処理ステップを適用している。例えば、Ｋｗａｎ－Ｊｕｎｇ Ｏｈ ｅｔ ａｌ．，“Ｄｅｐｔｈ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ Ｆｉｌｔｅｒ ａｎｄ Ｄｏｗｎ／Ｕｐ Ｓａｍｐｌｉｎｇ ｆｏｒ Ｄｅｐｔｈ Ｃｏｄｉｎｇ ｉｎ ３－Ｄ Ｖｉｄｅｏ，”Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｌｅｔｔｅｒｓ，ＩＥＥＥ，ｖｏｌ．１６，ｎｏ．９，ｐｐ．７４７，７５０（Ｓｅｐｔ．２００９）（非特許文献１１）では、奥行きマップを平滑にすると同時にそのエッジを強調するというフィルタリング方法が提案されている。Ｓｈｕｊｉｅ Ｌｉｕ ｅｔ ａｌ．，“Ｎｅｗ Ｄｅｐｔｈ Ｃｏｄｉｎｇ Ｔｅｃｈｎｉｑｕｅｓ Ｗｉｔｈ Ｕｔｉｌｉｚａｔｉｏｎ ｏｆ Ｃｏｒｒｅｓｐｏｎｄｉｎｇ Ｖｉｄｅｏ”，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｂｒｏａｄｃａｓｔｉｎｇ，ｖｏｌ．５７，ｎｏ．２，ｐｐ．５５１，５６１，（Ｊｕｎｅ ２０１１）（非特許文献１２）では、著者らはトリラテラルフィルタを提案しており、このトリラテラルフィルタは、対応する色情報を従来のバイラテラルフィルタに加えて色と奥行きとの適合を改善する。それにもかかわらず、奥行き情報の前処理は合成アーチファクトを排除するものではなく、待ち時間が短いシステムに対しては計算量が多く非実用的となるおそれがある。

【0013】

ビューマージングに対する課題は、ビューどうしの間の色の不適合である。Ｙａｎｇ Ｌ ｅｔ ａｌ．，（２０１０）“Ａｒｔｉｆａｃｔ ｒｅｄｕｃｔｉｏｎ ｕｓｉｎｇ ｒｅｌｉａｂｉｌｉｔｙ ｒｅａｓｏｎｉｎｇ ｆｏｒ ｉｍａｇｅ ｇｅｎｅｒａｔｉｏｎ ｏｆ ＦＴＶ”Ｊ Ｖｉｓ Ｃｏｍｍｕｎ Ｉｍａｇｅ Ｒｅｐｒｅｓｅｎｔ，ｖｏｌ２１，ｐｐ５４２-５６０（Ｊｕｌ-Ａｕｇ ２０１０）（非特許文献１３）で著者らは、２つの基準間の一致を確認するために、１つの基準ビューを別の基準ビューの位置に対してワーピングすることを提案している。信頼性の低い画素、つまり２つの基準の色値が異なっている画素はワーピング中に使用されていない。基準画素の数を減らさないために、“Ｎｏｖｅｌ ｖｉｅｗ ｓｙｎｔｈｅｓ ｉｓ ｗｉｔｈ ｒｅｓｉｄｕａｌ ｅｒｒｏｒ ｆｅｅｄｂａｃｋ ｆｏｒ ＦＴＶ，”ｉｎＰｒｏｃ．Ｓｔｅｒｅｏｓｃｏｐｉｃ Ｄｉｓｐｌａｙｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ ＸＸＩ，ｖｏｌ．７５２４，Ｊａｎ．２０１０，ｐｐ．７５２４０Ｌ－１－１２（非特許文献１４）の著者ら（Ｈ．Ｆｕｒｉｈａｔａ ｅｔ ａｌ．，）は、２つの基準ビューで一致している画素どうしの差から得た色を補正する因子を使用することを提案している。提案されている方法はレンダリングの質を改善するものだが、この改善は、画素の色および奥行きを確認するための計算時間および記憶資源が増大するという犠牲の上で得られるものである。

【0014】

先行技術による合成方法は、基準ビューが互いに近い場合に最適となるため、基準ビューが互いに遠く離れているライトフィールドのサブサンプリングに対してＤＩＢＲ法は効果が低くなる。さらに、データ処理負荷を低減するため、先行技術のビュー合成方法は通常、水平方向の視差のビューのみを対象としており、垂直方向の視差情報は処理されないで残る。

【0015】

３Ｄ符号化規格（ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１，Ｃａｌｌ ｆｏｒ Ｐｒｏｐｏｓａｌｓ ｏｎ ３Ｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｔｅｃｈｎｏｌｏｇｙ，Ｇｅｎｅｖａ，Ｓｗｉｔｚｅｒｌａｎｄ，Ｍａｒｃｈ ２０１１）の処理では、取り込み段階と表示段階を切り離せるため、ビュー合成は一連の３Ｄ表示処理の一部とみなされている。ビュー合成をディスプレイ側に取り入れることによって、取り込む必要のあるビューが少なくなる。合成処理は規格の一部ではないが、ＭＰＥＧグループは、３Ｄ映像システムの評価に使用するためのＶｉｅｗ Ｓｙｎｔｈｅｓｉｓ Ｒｅｆｅｒｅｎｃｅ Ｓｏｆｔｗａｒｅ（ＶＳＲＳ、米国特許第８，２８４，２３７号）を提供している。ＶＳＲＳソフトウェアは、ビューワーピング、ビューマージングおよび穴埋めの３段階すべてを含むビューを合成する先行技術を用いるものである。ＶＳＲＳはどのような奥行きであっても（コンピュータグラフィックスモデルから得た基礎的真実の奥行きマップからステレオペア画像から推定した奥行きマップまでを含む）使用できるため、多くの洗練された技術を取り入れて、奥行きマップの不完全な点および合成の不正確さに適応して対処している。例えば、図２は、ＶＳＲＳに取り入れられている適応性のあるマージング動作のフローチャートを示している。合成には、左ビューと右ビューの２つのビューのみを使用して出力を決定する２０１。まず、左の奥行きと右の奥行きとの差の絶対値を所定閾値と比較する２０２。この差が所定閾値よりも大きければ（奥行き値が互いに大きく異なり、異なる奥行き層で物体に関わっている可能性があることを示している）、最小の奥行き値２０３がカメラに近い方の物体を決定し、そのビューが左ビュー２０７であるのか右ビュー２０８であるのかを仮定する。奥行き値が互いに近い場合、穴の数を用いて出力ビューを決定する。左ビューと右ビューの穴の数の絶対差を所定閾値と比較する２０５。両ビューの穴の数がほぼ同じである場合、両ビューから得た画素の平均２０９を使用する。あるいは、穴が少ない方のビュー２０６を出力ビューとして選択する。この手順は、信頼性の低いワーピング後の画素に対して効果的で、間違った値を検出してそれを拒否するが、同時に、複雑なビュー解析（奥行きの比較および穴のカウント）が各画素に対して別々行われるため高い計算コストを必要とする。

【0016】

ＶＳＲＳは、水平方向のカメラ配置を用いており、基準を２つのみ利用している。これは、ベースラインが小さいビュー（つまり互いに近いビュー）の合成には最適となる。垂直方向のカメラ情報は使用しておらず、ライトフィールドの合成に使用するのには適していない。Ｇｒａｚｉｏｓｉ ｅｔ ａｌ．，“Ｄｅｐｔｈ ａｓｓｉｓｔｅｄ ｃｏｍｐｒｅｓｓｉｏｎ ｏｆ ｆｕｌｌ ｐａｒａｌｌａｘ ｌｉｇｈｔ ｆｉｅｌｄｓ”，ＩＳ＆Ｔ／ＳＰＩＥ Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｉｎｇ．Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｏｃｉｅｔｙ ｆｏｒ Ｏｐｔｉｃｓ ａｎｄ Ｐｈｏｔｏｎｉｃｓ（Ｍａｒｃｈ １７，２０１５）（非特許文献１５）には、ライトフィールドを対象とし、水平方向と垂直方向の両方の情報を使用する合成方法が紹介されている。ＭＲ－ＤＩＢＲ（Ｍｕｌｔｉｐｌｅ Ｒｅｆｅｒｅｎｃｅ Ｄｅｐｔｈ－Ｉｍａｇｅ Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇ）と呼ばれる方法を図３に示しており、この方法では、複数の基準３２１、３２２および３２３をそれに関連する視差３０１、３０２および３０３と共に使用してライトフィールドをレンダリングする。最初に、視差を対象位置に対して順方向ワーピングする３０５。次に、ワーピングした視差にフィルタリング方法３１０を適用して、不正確な画素の変位によって生じた切れ目などのアーチファクトを軽減する。次のステップは、フィルタリングしたワーピング後の視差をすべてマージすることである３１５。奥行きがより小さい（視聴者に最も近い）画素を選択する。ＶＳＲＳは、奥行き値がほぼ同じである２つのビューから得た色情報を混合し、ぶれて合成されたビューを得る。逆に、Ｇｒａｚｉｏｓｉ ｅｔ ａｌ．，“Ｄｅｐｔｈ ａｓｓｉｓｔｅｄ ｃｏｍｐｒｅｓｓｉｏｎ ｏｆ ｆｕｌｌ ｐａｒａｌｌａｘ ｌｉｇｈｔ ｆｉｅｌｄｓ”，ＩＳ＆Ｔ／ＳＰＩＥ Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｉｎｇ．Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｏｃｉｅｔｙ ｆｏｒ Ｏｐｔｉｃｓ ａｎｄ Ｐｈｏｔｏｎｉｃｓ（Ｍａｒｃｈ １７，２０１５）（非特許文献１５）は、マージング後にビューを１つのみ使用して基準ビューの高解像度を維持している。その上、いくつかの基準を補間するのではなく色情報を１つの基準のみから単純にコピーしているため、レンダリング時間は短くなる。最後に、マージした要素画像の視差３０８を用いて基準の色３２１、３２２または３２３から得た色を逆方向ワーピングし３２０、最終的に合成した要素画像３２６を生成する。

【0017】

ビューマージングのアルゴリズムでは、基準ビューから得た奥行き値が不正確である場合に質の低下が見られる。奥行き値をフィルタリングする方法は、米国特許第８，２８４，２３７号、Ｃ．Ｆｅｈｎ，“３Ｄ－ＴＶ Ｕｓｉｎｇ Ｄｅｐｔｈ－Ｉｍａｇｅ－Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇ（ＤＩＢＲ），”ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｐｉｃｔｕｒｅ Ｃｏｄｉｎｇ Ｓｙｍｐｏｓｉｕｍ，Ｓａｎ Ｆｒａｎｃｉｓｃｏ，ＣＡ，ＵＳＡ，（Ｄｅｃ．２００４）（非特許文献６）、およびＫｗａｎ－Ｊｕｎｇ Ｏｈ ｅｔ ａｌ．，“Ｄｅｐｔｈ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ Ｆｉｌｔｅｒａｎｄ Ｄｏｗｎ／Ｕｐ Ｓａｍｐｌｉｎｇ ｆｏｒ Ｄｅｐｔｈ Ｃｏｄｉｎｇ ｉｎ ３－Ｄ Ｖｉｄｅｏ”，Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｌｅｔｔｅｒｓ，ＩＥＥＥ，ｖｏｌ．１６，ｎｏ．９，ｐｐ．７４７，７５０，（Ｓｅｐｔ．２００９）（非特許文献１１）で提案されているが、これらはシステムの計算要件を増大させており、表示システムの待ち時間が増大するおそれがある。

【先行技術文献】

【特許文献】

【0018】

【文献】米国仮特許出願第６２／１５１，６１６号

【文献】米国特許第８，２８４，２３７号

【文献】米国特許第８，５６７，９６０号

【非特許文献】

【0019】

【文献】Ｙａｎ ｅｔ ａｌ．，“Ｉｎｔｅｇｒａｌ ｉｍａｇｅ ｃｏｍｐｒｅｓｓｉｏｎ ｂａｓｅｄ ｏｎ ｏｐｔｉｃａｌ ｃｈａｒａｃｔｅｒｉｓｔｉｃ、”Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，ＩＥＴ，ｖｏｌ．５，ｎｏ．３，ｐｐ．１６４，１６８（Ｍａｙ ２０１１）

【文献】Ｙａｎ Ｐｉａｏ ｅｔ ａｌ．，“Ｓｕｂ－ｓａｍｐｌｉｎｇ ｅｌｅｍｅｎｔａｌ ｉｍａｇｅｓ ｆｏｒ ｉｎｔｅｇｒａｌ ｉｍａｇｉｎｇ ｃｏｍｐｒｅｓｓｉｏｎ，”２０１０ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｕｄｉｏ Ｌａｎｇｕａｇｅ ａｎｄ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ（ＩＣＡＬＩＰ），ｐｐ．１１６４，１１６８（２３－２５ Ｎｏｖ．２０１０）

【文献】Ｊｉｎ－Ｘｉａｎｇ Ｃｈａｉ ｅｔ ａｌ．，（２０００）Ｐｌｅｎｏｐｔｉｃ ｓａｍｐｌｉｎｇ， ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２７ｔｈ ａｎｎｕａｌ ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ ｇｒａｐｈｉｃｓ ａｎｄ ｉｎｔｅｒａｃｔｉｖｅ ｔｅｃｈｎｉｑｕｅｓ（ＳＩＧＧＲＡＰＨ’００）

【文献】Ｇｉｌｌｉａｍ，Ｃ． ｅｔ ａｌ．，“Ａｄａｐｔｉｖｅ ｐｌｅｎｏｐｔｉｃ ｓａｍｐｌｉｎｇ”，２０１１ １８ｔｈ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ（ＩＣＩＰ），ｐｐ．２５８１，２５８４（１１－１４Ｓｅｐｔ．２０１１）

【文献】“Ｖｉｅｗ Ｓｙｎｔｈｅｓｉｓ Ｒｅｆｅｒｅｎｃｅ Ｓｏｆｔｗａｒｅ（ＶＳＲＳ）３．５，”ｗｇ１１．ｓｃ２９．ｏｒｇ、Ｍａｒｃｈ ２０１０

【文献】Ｃ．Ｆｅｈｎ，“３Ｄ－ＴＶ Ｕｓｉｎｇ Ｄｅｐｔｈ－Ｉｍａｇｅ－Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇ（ＤＩＢＲ），”ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｐｉｃｔｕｒｅ Ｃｏｄｉｎｇ Ｓｙｍｐｏｓｉｕｍ，ＳａｎＦｒａｎｃｉｓｃｏ，ＣＡ，ＵＳＡ，Ｄｅｃ．２００４

【文献】Ｋｗａｎ－Ｊｕｎｇ Ｏｈ ｅｔ ａｌ．，“Ｈｏｌｅ ｆｉｌｌｉｎｇ ｍｅｔｈｏｄ ｕｓｉｎｇ ｄｅｐｔｈ ｂａｓｅｄ ｉｎ－ｐａｉｎｔｉｎｇ ｆｏｒ ｖｉｅｗ ｓｙｎｔｈｅｓｉｓ ｉｎ ｆｒｅｅ ｖｉｅｗｐｏｉｎｔｔｅｌｅｖｉｓｉｏｎ ａｎｄ ３－Ｄ ｖｉｄｅｏ，”Ｐｉｃｔｕｒｅ Ｃｏｄｉｎｇ Ｓｙｍｐｏｓｉｕｍ，２００９．ＰＣＳ２００９，ｐｐ．１，４，６－８，Ｍａｙ ２００９

【文献】Ｍａｒｃ Ｌｅｖｏｙ ｅｔ ａｌ．，（１９９６）“Ｌｉｇｈｔ ｆｉｅｌｄ ｒｅｎｄｅｒｉｎｇ”ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２３ｒｄ ａｎｎｕａｌ ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ ｇｒａｐｈｉｃｓ ａｎｄ ｉｎｔｅｒａｃｔｉｖｅ ｔｅｃｈｎｉｑｕｅｓ（ＳＩＧＧＲＡＰＨ’９６）

【文献】Ｓｔｅｖｅｎ Ｊ．Ｇｏｒｔｌｅｒ ｅｔ ａｌ．，（１９９６）“Ｔｈｅ ｌｕｍｉｇｒａｐｈ” ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２３ｒｄ ａｎｎｕａｌ ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ ｇｒａｐｈｉｃｓ ａｎｄ ｉｎｔｅｒａｃｔｉｖｅ ｔｅｃｈｎｉｑｕｅｓ（ＳＩＧＧＲＡＰＨ’９６）

【文献】Ｊｉｎ－Ｘｉａｎｇ Ｃｈａｉ ｅｔ ａｌ．，（２０００）“Ｐｌｅｎｏｐｔｉｃ ｓａｍｐｌｉｎｇ” ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２７ｔｈ ａｎｎｕａｌ ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ ｇｒａｐｈｉｃｓ ａｎｄ ｉｎｔｅｒａｃｔｉｖｅ ｔｅｃｈｎｉｑｕｅｓ（ＳＩＧＧＲＡＰＨ’００）

【文献】Ｋｗａｎ－Ｊｕｎｇ Ｏｈ ｅｔ ａｌ．，“Ｄｅｐｔｈ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ Ｆｉｌｔｅｒ ａｎｄ Ｄｏｗｎ／Ｕｐ Ｓａｍｐｌｉｎｇ ｆｏｒ Ｄｅｐｔｈ Ｃｏｄｉｎｇ ｉｎ ３－Ｄ Ｖｉｄｅｏ，”Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｌｅｔｔｅｒｓ，ＩＥＥＥ，ｖｏｌ．１６，ｎｏ．９，ｐｐ．７４７，７５０（Ｓｅｐｔ．２００９）

【文献】Ｓｈｕｊｉｅ Ｌｉｕ ｅｔ ａｌ．，“Ｎｅｗ Ｄｅｐｔｈ Ｃｏｄｉｎｇ Ｔｅｃｈｎｉｑｕｅｓ Ｗｉｔｈ Ｕｔｉｌｉｚａｔｉｏｎ ｏｆ Ｃｏｒｒｅｓｐｏｎｄｉｎｇ Ｖｉｄｅｏ”，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｂｒｏａｄｃａｓｔｉｎｇ，ｖｏｌ．５７，ｎｏ．２，ｐｐ．５５１，５６１，（Ｊｕｎｅ ２０１１）

【文献】Ｙａｎｇ Ｌ ｅｔ ａｌ．，（２０１０）“Ａｒｔｉｆａｃｔ ｒｅｄｕｃｔｉｏｎ ｕｓｉｎｇ ｒｅｌｉａｂｉｌｉｔｙ ｒｅａｓｏｎｉｎｇ ｆｏｒ ｉｍａｇｅ ｇｅｎｅｒａｔｉｏｎ ｏｆ ＦＴＶ”Ｊ Ｖｉｓ Ｃｏｍｍｕｎ Ｉｍａｇｅ Ｒｅｐｒｅｓｅｎｔ，ｖｏｌ２１，ｐｐ５４２-５６０（Ｊｕｌ-Ａｕｇ ２０１０）

【文献】Ｈ．Ｆｕｒｉｈａｔａ ｅｔ ａｌ．，“Ｎｏｖｅｌ ｖｉｅｗ ｓｙｎｔｈｅｓ ｉｓ ｗｉｔｈ ｒｅｓｉｄｕａｌ ｅｒｒｏｒ ｆｅｅｄｂａｃｋ ｆｏｒ ＦＴＶ，”ｉｎＰｒｏｃ．Ｓｔｅｒｅｏｓｃｏｐｉｃ Ｄｉｓｐｌａｙｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ ＸＸＩ，ｖｏｌ．７５２４，Ｊａｎ．２０１０，ｐｐ．７５２４０Ｌ－１－１２

【文献】Ｇｒａｚｉｏｓｉ ｅｔ ａｌ．，“Ｄｅｐｔｈ ａｓｓｉｓｔｅｄ ｃｏｍｐｒｅｓｓｉｏｎ ｏｆ ｆｕｌｌ ｐａｒａｌｌａｘ ｌｉｇｈｔ ｆｉｅｌｄｓ”，ＩＳ＆Ｔ／ＳＰＩＥ Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｉｎｇ．Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｏｃｉｅｔｙ ｆｏｒ Ｏｐｔｉｃｓ ａｎｄ Ｐｈｏｔｏｎｉｃｓ（Ｍａｒｃｈ １７，２０１５）

【0020】

以下の説明では、同様の要素には、別の図にあっても同様の図の符号を使用している。また、技術分野で公知の機能の詳細な説明は、不要な詳細で本発明が不明瞭になるため、記載していない。

【図面の簡単な説明】

【0021】

【図1】圧縮したライトフィールド表示システムに対する奥行き画像ベースレンダリングの３つの主要ステップを示す図である。

【図2】先行技術で使用される適応マージング手順のフローチャートである。

【図3】Ｇｒａｚｉｏｓｉ ｅｔ ａｌ．，“Ｄｅｐｔｈ ａｓｓｉｓｔｅｄ ｃｏｍｐｒｅｓｓｉｏｎ ｏｆ ｆｕｌｌ ｐａｒａｌｌａｘ ｌｉｇｈｔ ｆｉｅｌｄｓ”，ＩＳ＆Ｔ／ＳＰＩＥ Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｉｎｇ．Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｏｃｉｅｔｙ ｆｏｒ Ｏｐｔｉｃｓ ａｎｄ Ｐｈｏｔｏｎｉｃｓ（Ｍａｒｃｈ １７，２０１５）（非特許文献１５）に記載の方法のフローチャートであり、本発明はこの方法に基づく。

【図4】本発明の複数の基準奥行き画像ベースレンダリング（ＭＲ－ＤＩＢＲ）方法のフローチャートである。

【図5】本発明の画素当たりのビュー選択方法の実施形態を示す図である。

【図6】本発明のビューマージング方法の実施形態を示す図である。

【図7】ブロック処理に提供される本発明のビューマージング方法の実施形態を示す図である。

【図8】本発明の穴埋め方法の実施形態を示す図である。

【図9】本発明の穴埋め方法の様々な選択肢を示す図である。

【発明を実施するための形態】

【0022】

本発明の目的は、奥行きの不正確さに対処でき、より少ない計算資源で高質の合成ビューを得られるビューマージング方法を開示することである。本発明は、先行技術の欠点を克服するためにライトフィールドを合成する革新的なビューマージング方法を紹介する。本発明のその他の目的および利点は、以下の詳細な説明から明らかになるであろう。

【0023】

本発明では、ライトフィールドは、カメラビューの２Ｄマトリクスに配置され、その１つ１つを「要素画像」と呼ぶ。カメラビューは、互いに同一であり、水平方向および垂直方向の変位のみを有する同じ奥行き平面内に配置される。水平方向および垂直方向に並んでいるビューの場合、ビューワーピング（投影）は、画素を水平方向および垂直方向に移動させることによって行うことができる。要素画像は、通常ディスプレイ構造に組み込まれている。例えば、レンズ系の撮像システムでは、要素画像は、要素画像を方向に応じて変調するレンズレットまたはマイクロレンズの下に位置している。

【0024】

ＭＲ－ＤＩＢＲで用いられるマージ動作は、不正確な奥行き値によって悪影響を受ける結果、ワーピングした（再投影した）ビューが合わなくなる。マージが行われるとき、カメラに近い方のビューが使用されるが、奥行き値が間違っているため、マージされた結果は間違った色値を含んでいる可能性がある。別の問題は、最も近いカメラが常に優勢になるために、奥行き値が互いに似ているがノイズが異なっている場合に基準ビューの選択が変化するということである。基準ビューのカラー画像が異なる輝度を有している場合、基準から次々と変化することから、マージされた色の中にアーチファクトが生じる。さらに、マージ動作の後に穴がまだ見えていることがある。したがって、本発明の目的は、Ｇｒａｚｉｏｓｉ ｅｔ ａｌ．，“Ｄｅｐｔｈ ａｓｓｉｓｔｅｄ ｃｏｍｐｒｅｓｓｉｏｎ ｏｆ ｆｕｌｌ ｐａｒａｌｌａｘ ｌｉｇｈｔ ｆｉｅｌｄｓ”，ＩＳ＆Ｔ／ＳＰＩＥ Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｉｎｇ．Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｏｃｉｅｔｙ ｆｏｒ Ｏｐｔｉｃｓ ａｎｄ Ｐｈｏｔｏｎｉｃｓ（Ｍａｒｃｈ １７，２０１５）（非特許文献１５）に開示されている方法を、図４に示したようにビューマージング４１５を修正して効果的な穴埋め手順３２５を含めることによることによって改善することである。

【0025】

本発明の１つの実施形態では、ビューマージング方法を説明する。手順のフローチャートを図５および図６に示している。各画素に対して、基準ビューをテストし、１つのビューのみを出力ビューとして決定する６０１。様々なビューからの値を比較するために、最初に値をその信頼性スコアに従って順序付けし６０２、これを式（１）に示したように、ワーピングしたビューの奥行きのヒストグラムを計算し、かつ周波数を重み係数として使用してＮ個の最高値の平均値を算出することによって、客観的に量子化する。Ｎは、経験に基づいて定義された画像依存システムパラメータである。

【0026】

【数1】

【0027】

各画素に対して６０３、最善のビューを選択する工程５００を、処理する画素がなくなるまで実行する６０４。ビュー選択の工程を図５に示している。この手順は、始めに最高スコアのビューを選択してマージ動作の出力を初期化する５０１。順序付けたリストから次のビュー選択し、その視差を現在の出力視差値と比較する候補視差として選定する。現在の視差値が穴の位置を指しているとき５０２、出力には現在ビューの視差値を割り当て、新しい視差をその位置に保存する５０５。現在の位置が既に視差値を有しているとき、現在視差と候補視差との絶対差を所与の閾値と比較する５０３。この閾値は、経験に基づいて定義され、基準ビューによって異なり、マージング動作の安定性を制御するシステムパラメータである。視差の確認、閾値の調整、および最も信頼性の高いビューの使用を優先させることを追加することによって、ビューの選択はマージング動作でより安定する。差が所与の閾値よりも大きいとき、第２のテスト５０４を実施してどちらの視差が大きいのかを確認する。候補視差が現在視差よりも大きい場合、出力視差値は更新され、出力ビューも更新される５０５。基準ビューをすべて同様にテストする５０６。

【0028】

図７に示したマージング動作は、アルゴリズム６００を実行する前に、入力されたワーピング後の画像をＭｘＮの画素ブロック７０２に分割する。各ブロックの処理は互いに独立しているため、並列プロセッサを備えたディスプレイ上で都合良く行うことができる。さもなければ、単一のプロセッサ上では、この手順は全ブロックが処理されるまで反復される７０４。プロセッサ動作が単一の場合、画像をブロックに分割することは、ブロックごとの信頼性が画像全体にわたって変化する場合に有益となり得る。なぜなら、信頼性の推定がより正確になるからである。

【0029】

信頼性スコアは、ブロック内の穴の数によって決定され得る。マージ結果は、動画圧縮規格Ｈ．２６４／ＡＶＣのデブロッキングフィルタなどのポストフィルタによってさらに改善され得る（ＩＳＯ／ＩＥＣ １４４９６‐１０：２００３、２００３年の「Ｃｏｄｉｎｇ ｏｆ Ａｕｄｉｏｖｉｓｕａｌ Ｏｂｊｅｃｔｓ‐Ｐａｒｔ １０：Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（オーディオビジュアル物体の符号化―第１０部：高度な動画符号化）」、およびＩＴＵ－Ｔ勧告Ｈ．２６４「Ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ（汎用のオーディオビジュアルサービス用の高度な動画符号化）」）。色の不適合はブロックレベルで調整でき、ブロックレベルでは、隣接するブロックのブロック輝度を比較し、色レベルを隣接する色レベルに応じて調整する。さらに、合成動作は、隣接するブロックからの情報を利用してマージ動作でのビューの一貫性を維持でき、ビューの切り替えによって起こり得るアーチファクトを回避できる。より正確なビュー評価を達成するために、本発明の別の可能な実施形態では、例えばブロック当たりの穴の数を計算に入れて適応性のあるブロックサイズを使用する。

【0030】

穴埋めの方法は多数あるが、最大の懸念は穴埋めアルゴリズムの複雑さである。本発明は、水平方向の背景拡張に基づく単純な穴埋め手順を採用している。図８および図９は、本発明の実施形態で採用した技術を示している。逆方向ワーピング中に穴を発見したとき９０３、穴の左境界９０１での奥行きおよび右境界９０２での奥行きが得られる。２つの奥行きを比較し８０２、左の奥行きが背景の奥行き（つまり、カメラから遠く離れている方の奥行き値）であれば、穴の左境界で画素が示す基準の色値を穴全体９０４にコピーする８０４。この逆であれば、右の値は背景に関連しており、穴の右境界から基準の色値を穴全体９０５にコピーする８０３。色の拡張はパターンの有無や垂直方向の色の変化を無視するため、この手順は背景のアーチファクトを招く可能性がある。しかしながら、これらのアーチファクトは、ライトフィールドの場合、ビューア画像は単一の要素画像のみからではなく複数の要素画像からの複数の画素で生成されるため、知覚される画質に及ぶ影響は小さい。誤った穴埋めは、知覚される画質よりもディスプレイの動き視差に大きな影響を及ぼし、通常、中心の視野角よりも鋭角の視野角に影響を及ぼす。したがって、誤った穴埋めによって生じたアーチファクトは、視聴者の体験に及ぼす影響は小さい。

【0031】

本開示では奥行きと視差の両方について述べたことに注意されたい。奥行きおよび視差は関連するパラメータであり、一般にそのいずれも本開示および請求項で以下の式に従って他のものに置き換えられてよい。
Ｚ＝ｆＢ／ｄ
式中、Ｚは奥行き値、ｆは焦点距離、Ｂはベースライン（すなわち、基準カメラの位置とカメラが投影される先の位置との間の距離）、ｄは視差である。

【0032】

当業者は、添付の特許請求の範囲にその請求項によって規定された本発明の範囲を逸脱しない限り、本発明の実施形態には様々な修正および変更を加え得ることを容易に理解するであろう。例えば、ビューの信頼性スコアを得るために別の方法を用いてもよい。本発明の上記の実施例は例示に過ぎず、本発明は、本発明の趣旨または本質的特徴を逸脱しない限り、その他の特定の形態で実現し得ることを理解すべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】