特表 2024-538038 マルチビュー撮像におけるブラーの処理

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-10-18

(54)【発明の名称】マルチビュー撮像におけるブラーの処理

(51)【国際特許分類】

   H04N 13/122 20180101AFI20241010BHJP

   G06T 5/50 20060101ALI20241010BHJP

   H04N 13/282 20180101ALI20241010BHJP

   H04N 23/90 20230101ALI20241010BHJP

   H04N 23/60 20230101ALI20241010BHJP

【ＦＩ】

H04N13/122

G06T5/50

H04N13/282

H04N23/90

H04N23/60 500

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024521326

(86)(22)【出願日】2022-10-12

(85)【翻訳文提出日】2024-04-09

(86)【国際出願番号】 EP2022078326

(87)【国際公開番号】W WO2023066742

(87)【国際公開日】2023-04-27

(31)【優先権主張番号】21203696.6

(32)【優先日】2021-10-20

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

(71)【出願人】

【識別番号】590000248

【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ

【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ．

【住所又は居所原語表記】Ｈｉｇｈ Ｔｅｃｈ Ｃａｍｐｕｓ ５２， ５６５６ ＡＧ Ｅｉｎｄｈｏｖｅｎ，Ｎｅｔｈｅｒｌａｎｄｓ

(74)【代理人】

【識別番号】100122769

【弁理士】

【氏名又は名称】笛田 秀仙

(74)【代理人】

【識別番号】100163809

【弁理士】

【氏名又は名称】五十嵐 貴裕

(74)【代理人】

【識別番号】100145654

【弁理士】

【氏名又は名称】矢ヶ部 喜行

(72)【発明者】

【氏名】フェアカンプ クリスティアーン

【テーマコード（参考）】

5B057

5C122

【Ｆターム（参考）】

5B057AA20

5B057BA02

5B057CA01

5B057CA08

5B057CA12

5B057CA16

5B057CB01

5B057CB08

5B057CB16

5B057CC01

5B057CE08

5B057DB02

5B057DB03

5B057DB06

5B057DC08

5B057DC36

5C122EA67

5C122FA18

5C122FH11

5C122FH18

5C122HA13

5C122HA35

5C122HB10

(57)【要約】

シーンのマルチビューデータを処理する方法。本方法は、異なるカメラからシーンの少なくとも2つの画像を取得することと、各画像のシャープネス指標を決定することと、シャープネス指標に基づいて各画像の信頼度スコアを決定することとを含む。信頼度スコアは、画像をブレンドして新しい仮想画像を合成するときの重みの決定に使用するためのものである。

【特許請求の範囲】

【請求項1】

シーンのマルチビューデータを処理する方法であって、
異なるカメラから前記シーンの少なくとも２つの画像を取得するステップと、
各画像のためのシャープネス指標を決定するステップであって、前記シャープネス指標は、対応する画像の１つまたは複数のピクセルに各々対応する複数のシャープネス値を有するシャープネスマップである、ステップと、
前記シャープネス指標に基づいて各画像のための信頼度スコアを決定するステップであって、前記信頼度スコアは、視点補間を介して新たな仮想画像を合成するために画像をブレンドするときの重みの決定において使用するためのものであるステップと、
を有する方法。

【請求項2】

前記シーンの少なくとも１つの奥行きマップを取得するステップと、
前記少なくとも１つの奥行きマップに基づいて少なくとも２つの前記画像をターゲット視点にワーピングするステップと、
合成画像を生成するために前記ターゲット視点において前記画像をブレンドするステップと、
をさらに有し、
ブレンドの間、前記画像中の各ピクセルは対応する信頼度スコアに基づいて重み付けされる、請求項１に記載の方法。

【請求項3】

前記シーンの少なくとも１つの奥行きマップを取得するステップと、
各画像比較視点に少なくとも２つの画像が存在するように前記少なくとも１つの奥行きマップを用いて少なくとも１つの画像を少なくとも１つの画像比較視点にワーピングするステップと、
各比較視点において前記画像のピクセル色値を比較するステップと、
をさらに有し、
各画像のための信頼度スコアの決定が、前記ピクセル色値の前記比較にさらに基づく、請求項１に記載の方法。

【請求項4】

前記画像比較視点が前記画像の全ての視点を含む、請求項３に記載の方法。

【請求項5】

前記画像比較視点がターゲット視点であり、前記方法が、合成画像を生成するために前記ターゲット視点において前記画像をブレンドするステップをさらに有し、ブレンドの間、前記画像中の各ピクセルが、対応する信頼度スコアに基づいて重み付けされる、請求項３に記載の方法。

【請求項6】

少なくとも２つの奥行きマップを取得するステップであって、前記奥行きマップが、異なるセンサから取得されるか、前記シーンの少なくとも１つの異なる画像から生成される、ステップと、
各画像比較視点において少なくとも２つの奥行きマップが存在するように少なくとも１つの奥行きマップを少なくとも１つの奥行き比較視点にワーピングするステップと、
各奥行き比較視点において前記奥行きマップを比較するステップと、
前記奥行きマップの前記比較に基づいて各奥行きマップのための信頼度スコアを決定するステップと、
をさらに有する、請求項１から５のいずれか一項に記載の方法。

【請求項7】

前記奥行きマップに対応する少なくとも２つの奥行き信頼度マップを取得するステップと、
少なくとも１つの奥行き信頼度マップを対応する奥行きマップと共に前記少なくとも１つの奥行き比較視点へとワーピングするステップと、
をさらに有し、
各奥行き比較視点における前記奥行きマップの比較が、対応する前記奥行き信頼度マップを比較することをさらに含む、請求項５または６に記載の方法。

【請求項8】

計算装置上で実行され、当該計算装置に請求項１から７のいずれか一項に記載の方法を実行させる、コンピュータプログラム。

【請求項9】

シーンのマルチビューデータを処理するためのシステムであって、
異なるカメラから前記シーンの少なくとも２つの画像を取得するステップと、
各画像のためのシャープネス指標を決定するステップであって、前記シャープネス指標は、対応する画像の１つまたは複数のピクセルに各々対応する複数のシャープネス値を有するシャープネスマップである、ステップと、
前記シャープネス指標に基づいて各画像のための信頼度スコアを決定するステップであって、前記信頼度スコアは、視点補間を介して新たな仮想画像を合成するために画像をブレンドするときの重みの決定において使用するためのものであるステップと、
を実行するように構成されたプロセッサを有する、システム。

【請求項10】

前記プロセッサがさらに、
前記シーンの少なくとも１つの奥行きマップを取得するステップと、
前記少なくとも１つの奥行きマップに基づいて少なくとも２つの前記画像をターゲット視点にワーピングするステップと、
合成画像を生成するために前記ターゲット視点において前記画像をブレンドするステップと、
を実行するようにさらに構成され、
ブレンドの間、前記画像中の各ピクセルは対応する信頼度スコアに基づいて重み付けされる、請求項９に記載のシステム。

【請求項11】

前記プロセッサが、
前記シーンの少なくとも１つの奥行きマップを取得するステップと、
各画像比較視点に少なくとも２つの画像が存在するように前記少なくとも１つの奥行きマップを用いて少なくとも１つの画像を少なくとも１つの画像比較視点にワーピングするステップと、
各比較視点において前記画像のピクセル色値を比較するステップと、
を実行するようにさらに構成され、
各画像のための信頼度スコアの決定が、前記ピクセル色値の前記比較にさらに基づく、請求項９に記載のシステム。

【請求項12】

前記画像比較視点が前記画像の全ての視点を含む、請求項１１に記載のシステム。

【請求項13】

前記画像比較視点がターゲット視点であり、前記プロセッサが、合成画像を生成するために前記ターゲット視点において前記画像をブレンドするステップを実行するようにさらに構成され、ブレンドの間、前記画像中の各ピクセルが、対応する信頼度スコアに基づいて重み付けされる、請求項１１に記載のシステム。

【請求項14】

前記プロセッサが、
少なくとも２つの奥行きマップを取得するステップであって、前記奥行きマップが、異なるセンサから取得されるか、前記シーンの少なくとも１つの異なる画像から生成される、ステップと、
各画像比較視点において少なくとも２つの奥行きマップが存在するように少なくとも１つの奥行きマップを少なくとも１つの奥行き比較視点にワーピングするステップと、
各奥行き比較視点において前記奥行きマップを比較するステップと、
前記奥行きマップの前記比較に基づいて各奥行きマップのための信頼度スコアを決定するステップと、
を実行するようにさらに構成される、請求項９から１３のいずれか一項に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、マルチビュー撮像する分野に関する。特に、本発明は、シーンのマルチビューデータの処理に関する。

【背景技術】

【0002】

マルチカメラビデオキャプチャ、奥行き推定、およびビュー補間は、拡張および仮想現実再生などのアプリケーションを可能にする。

【0003】

動きの速い被写体を撮影すると、モーションブラーが発生する。これは、異なるカメラから得られた様々なソースビューから画像を合成するときに、複数の問題を引き起こす可能性がある。例えば、マルチビュー奥行き推定を実行するとき、アルゴリズムは半透明の外観およびテクスチャの欠如のために、ぼやけた前景オブジェクトの正しい奥行きを決定することが困難である。そして、推定された奥行きマップがソースビューから新しい画像を合成するために使用されるとき、単一の高速に移動するオブジェクトが、誤って位置決めされ、潜在的に、1つまたは複数のソースビューがオブジェクトについて誤った奥行きを推定したという事実のために、複数の画像位置において見える。

【発明の概要】

【発明が解決しようとする課題】

【0004】

したがって、マルチビューデータを処理するときにモーションブラーを処理する方法が必要とされている。より一般的には、マルチビューデータにおけるブラーを処理する必要がある。

【0005】

米国特許出願公開第2012/212651号明細書は、異なる視点からオブジェクトをキャプチャするための取得ユニットと、欠陥画像を特定するように構成された特定ユニットと、欠陥画像に基づいて、画像合成のために、キャプチャされた画像ごとに重みを決定するように構成された決定ユニットとを備える画像処理装置を開示する。

【課題を解決するための手段】

【0006】

本発明は、請求項により規定される。

【0007】

本発明の一態様による例によれば、シーンのマルチビューデータを処理するための方法が提供され、当該方法は
異なるカメラからシーンの少なくとも2つの画像を取得するステップと、各画像のシャープネス指標を決定するステップと、前記シャープネス指標に基づいて各画像の信頼度スコアを決定するステップとを有し、前記信頼度スコアは、新しい仮想画像を合成するために前記画像をブレンドする際の重みの決定に使用するためのものである。

【0008】

本方法は、画像を取得するために使用されるカメラ間の差異によって引き起こされる誤った又は不正確な奥行き及び/又はテクスチャデータの問題を解決することができる。特に、カメラ間の差異は、画像において異なる程度のぼやけを引き起こす可能性がある。カメラ間の大きな差異は、各カメラのポーズである。例えば、異なるポーズは、異なる画像に多かれ少なかれ影響を及ぼすモーションブラーを引き起こす可能性がある。本方法は、モーションブラーを処理するのに適している。

【0009】

モーションブラーは、画像内の移動オブジェクトの見かけ上のストリーキングまたはブラーである。これは、単一の露光時間中に第1の位置から第2の位置に移動するオブジェクトから生じる。オブジェクトの動きが速くなったり、露光時間が長くなったりすると、大きなブラーが発生する場合がある。

【0010】

シーンのマルチビューデータは、典型的には、いくつかの異なるカメラによって取得されるシーンのデータ（例えば、奥行きマップ及び画像）を必要とする。シーン内に移動オブジェクトがある場合、モーションブラーの程度は、シーン内のカメラの位置（したがって、画像/奥行きマップの視点）に依存する。例えば、カメラから離れるように移動するオブジェクトを撮像するカメラはあまりモーションブラーを伴わないだろうが、カメラの視点を横切って水平に移動するオブジェクトはかなりの量のモーションブラーを引き起こす可能性がある。

【0011】

したがって、本発明者らは、異なる視点からの画像にシャープネス指標を使用して、画像の信頼度スコアを生成することを提案する。シャープネス指標は、画像におけるブラーの量の指標を提供する。例えば、ブラーはモーションブラーである。画像がシャープであればあるほど、画像内のブラーは少なくなる。

【0012】

シャープネス指標は、シャープネスの尺度を含むことができる。シャープネスは、焦点とコントラストの両方に関する画像の明確性の尺度である。シャープネス指標は、対応する画像のコントラストの決定を含むことができる。

【0013】

各画像についてシャープネス指標が決定され、各画像についてシャープネス指標が比較され得る。シャープネス指標に基づいて、各画像について信頼度スコアを生成することができる。信頼度スコアは、0と1との間の値であることができ、0は信頼できず、1は信頼できる。一般に、高いシャープネス指標を有する（すなわち、少ない量のブラーを示す）画像は、低いシャープネス指標を有する（すなわち、多い量のブラーを示す）画像と比較して、より高い信頼度スコアを有する。

【0014】

信頼度スコアは、シャープネスに正比例し得る。信頼度スコアは、カットオフ閾値よりも低いシャープネス指標の値について0であってもよい（すなわち、特にぼやけたオブジェクトについて信頼度=0）。信頼度スコアは、複数の離散した信頼度値に制限されることができ、各々の離散した信頼度値は異なるシャープネス指標によって定義される（例えば、8つの離散信頼度値について、シャープネス指標を8つの範囲に分割する）。

【0015】

信頼度スコアは、各比較視点におけるシャープネス指標を比較し、対応するシャープネス指標および比較に基づいて信頼度スコアを決定することによって決定され得る。例えば、第1及び第2の画像それぞれについて「中」及び「低」の相対的シャープネス指標を有する2つの画像について、第1の画像についての信頼度スコアは、第2の画像についての信頼度スコアよりも高い。しかしながら、第1の画像が「高」の相対的シャープネス指標を有していた場合、第1の画像の信頼度スコアは、前の例よりも高くなり得る。

【0016】

信頼度スコアはまた、対応する画像により画像を合成するときに起こり得る潜在的なアーチファクトの原因を特定する（およびその影響をさらに低減する）ために使用され得る。これらの原因は、例えば、異なるシャープネスまたは異なる焦点距離で取得される画像に起因して、ならびに（上述のように）モーションブラーに起因して生じ得る。

【0017】

一般に、各画像のシャープネスの差は、各画像の信頼度スコアを決定するために使用される。（異なる視点で取得される）それぞれの画像は、様々な異なる理由（例えば、異なる焦点距離、偶発的な非合焦、モーションブラー、後処理ブラーなど）で、異なるレベルのシャープネスを有し得る。したがって、本発明は一般に、マルチビューデータ処理のためのブラーを処理するための方法を提供する。

【0018】

シャープネス指標は、対応する画像の1つ以上のピクセルにそれぞれ対応する複数のシャープネス値を含むシャープネスマップであってもよい。

【0019】

信頼度スコアは信頼度値のマップを含んでもよく、各信頼度値は、画像の1つまたは複数のピクセルおよび/または1つまたは複数のシャープネス値に対応する。信頼度値は、対応するピクセルのシャープネス値に基づいて決定され得る。シャープネス値が高いほど、信頼度値が高くなる。言い換えれば、シャープネスが高いピクセルには高い信頼度値が与えられ、シャープネスが低いピクセルグループには低い信頼度値が与えられる。画像中の各ピクセルは、対応するシャープネス値および信頼度値を有し得る。言い換えれば、信頼度スコアは、信頼度マップであってもよい。

【0020】

1つまたは複数のピクセルのためのシャープネス値の決定は、1つまたは複数の隣接するシャープネス値に依存し得る。

【0021】

例えば、モーションブラーは、典型的には、ただ1つのピクセルよりも大きな領域に影響を及ぼす。したがって、いくつかの事例では、直接評価されているピクセルについて、および隣接するピクセルについても信頼度値を低く設定することが有利であり得る。これは、信頼度マップにおける信頼度値の勾配と、外れ信頼度値の減少とをもたらし得る。これは、隣接するピクセルがぼやけていない場合、単一のピクセル（またはピクセルの小さなグループ）がぼやけている可能性が低いので、有利である。

【0022】

本方法は、シーンの少なくとも1つの奥行きマップを取得するステップと、少なくとも1つの奥行きマップに基づいて少なくとも2つの画像をターゲット視点にワーピングするステップと、合成画像を生成するためにターゲット視点における画像をブレンドするステップとをさらに有することができ、ブレンドする間、画像内の各ピクセルは、対応する信頼度スコアに基づいて重み付けされる。

【0023】

本方法は、シーンの少なくとも1つの奥行きマップを取得するステップと、各画像比較視点に少なくとも2つの画像があるように、少なくとも1つの奥行きマップを使用して少なくとも1つの画像を少なくとも1つの画像比較視点にワーピングするステップと、各比較視点において画像のピクセル色値を比較するステップとをさらに有することができ、各画像についての信頼度スコアの決定は、ピクセル色値の比較にさらに基づく。

【0024】

画像のシャープネス指標は、画像をワーピングすることによって得られる任意のワーピングされた画像にも対応する。ワーピングされた画像は、異なる視点（すなわち、比較視点）にワーピングされた元の画像と同じピクセル色値を含む。同様に、ワーピングされた画像のシャープネス指標は、ワーピングされた画像を生成するためにワーピングされた画像にも対応する。

【0025】

マルチビューカメラセットアップでは、センサ（例えば、カメラ、奥行きセンサなど）はシーン内の異なる場所に配置され、したがって、異なる量のモーションブラーを有する場合がある。これはまた、いくつかの画像がオブジェクトの期待される色値を有し得る一方で、いくつかは有さない場合がある（すなわち、オブジェクトがぼやけて見える）ことを意味する。したがって、画像は、比較視点にワープされ、比較されることができる。画像は、画像の色値を共通の視点から比較することができる（すなわち、1つの画像のテクスチャデータを別の画像の対応するテクスチャデータと比較することができる）ように、比較視点にワープされる。

【0026】

各画像は、当該画像の視点における奥行きマップを使用することによってワーピングされる。奥行きマップは各画像の視点で取得することができ、または本方法は、少なくとも1つの奥行きマップを取得し、それを各画像の視点にワープすることができる。画像の各ピクセルは、視点のポーズ（位置および向き）および（画像の視点における奥行きマップから得られる）各ピクセルについての奥行きを使用することによって、仮想シーンにおける3D座標を与えられることができる。そして、仮想シーン内の異なるポーズからの撮像平面へと3D座標を投影することによって、ピクセルが異なる視点にワープされる。

【0027】

信頼度スコアをさらに決定するために、画像比較視点において、対応するピクセル色値が比較される。ピクセル色を比較する1つの方法は、全てのビューについて或る位置の平均色を決定すること（例えば、或る位置に対応する全てのピクセルを平均すること）であり、ピクセル色と全てのビューからの平均との間の差が大きいほど、対応する信頼度値は低くなる。

【0028】

したがって、画像のうちの1つがぼやけており、オブジェクトが存在すると想定される所の背景のピクセル値を有する場合、ぼやけている領域の色値は信頼度スコアにおいて低い信頼度値を有することになる。

【0029】

画像比較視点は、画像の全ての視点を含んでもよく、又はそれらの視点から構成されてもよい。

【0030】

代替的に、比較視点は、これらの視点のうちの1つまたは複数からなるサブセットから構成され得る。

【0031】

画像、奥行きマップおよび対応する信頼度スコアは、例えば、画像に基づいて新しい画像を合成することを望むクライアントデバイスに送信されることができる。

【0032】

この場合、信頼度スコアの決定は、新しい画像の任意のレンダリング/合成の前に行うことができる。例えば、信頼度スコアの決定は、より多くの利用可能な処理能力があるサーバ（またはエンコーダ）で実行され、そして、送信された画像、奥行きマップおよび信頼度スコアを用いて新しい画像をレンダリングするためにクライアントに送信されることができる。

【0033】

マルチビューデータからの画像の合成は、マルチビューデータの異なる画像のピクセル値のブレンドに基づくことができる。異なる画像が、異なる量のモーションブラーを有する高速移動オブジェクトを示す場合、合成画像は、シーン内の誤った位置に、またはシーン内の複数の位置に高速移動オブジェクトを示す可能性がある。

【0034】

したがって、合成画像を生成するための画像のブレンディング中に画像内の各ピクセルを重み付けするために信頼度スコアを使用することが提案される。大量のモーションブラーを有する画像内の領域に関するピクセルの場合、対応する奥行きマップは、（例えばその特定領域について）低い信頼度スコアを有する可能性が高い。したがって、有意なモーションブラーを示すピクセルは、ブレンディング中にモーションブラーがない他の対応するピクセルと比較して低く重み付けされ、合成されたビューは、異なる位置（または複数の位置）で高速に移動するオブジェクトを示す可能性が低い。

【0035】

合成画像内のピクセルの色値は以下の式とすることができ、式中、nは奥行きマップの数であり、Cはワーピングされた奥行きマップ内の対応するピクセルの色値であり、Wは対応する数値の信頼度スコアである。

【数1】

【0036】

画像比較視点はターゲット視点であることができ、本方法は、合成画像を生成するために、ターゲット視点における画像をブレンドすることをさらに含むことができ、ブレンド中、画像内の各ピクセルは対応する信頼度スコアに基づいて重み付けされる。

【0037】

信頼度スコアの決定は、新しい画像の合成中に行うことができる。画像は合成中にワープされる必要がある場合があり、比較するためにワープされる必要もある。したがって、両方のワーピングステップを組み合わせることができ、新しい画像を合成するために画像がワーピングされるときに、それらがブレンドされる前に、ブレンドに使用するために（すなわち、ピクセルの重みの指標として使用するために）信頼度スコアを決定することができる。

【0038】

本方法は、異なるセンサから取得されるかまたはシーンの少なくとも1つの異なる画像から生成される少なくとも2つの奥行きマップを取得するステップと、各画像比較視点に少なくとも2つの奥行きマップがあるように少なくとも1つの奥行きマップを少なくとも1つの奥行き比較視点にワーピングするステップと、各奥行き比較視点において奥行きマップを比較するステップと、奥行きマップの比較に基づいて各奥行きマップについての信頼度スコアを決定するステップとをさらに含むことができる。

【0039】

奥行き比較視点は、奥行きマップの視点のうちの1つまたは複数であることができる。この場合、各奥行きマップは、他の（1つまたは複数の）奥行きマップの1つまたは複数の視点にワープされ、奥行き比較視点の各々において比較されることができる。代替として、奥行き比較視点は、画像比較視点のうちの1つまたは複数であり得る。奥行き比較視点は、ターゲット視点のみであってもよい。

【0040】

異なる視点からの奥行きマップは、モーションブラーの量に基づいて、オブジェクトに対して異なる奥行き値を有する。たとえば、奥行きマップは、2つの画像に対して奥行き推定を実行することに基づいて生成され得る。2つの画像がかなりの量のモーションブラーを有する場合、オブジェクト（またはオブジェクトの一部）は画像において半透明に見えることがあり、オブジェクトに対応するピクセルのテクスチャ値は、部分的に背景テクスチャ値に基づくことがある。したがって、推定された奥行きマップは、オブジェクトに対応する位置についての背景奥行き値を有する場合がある。

【0041】

同様に、奥行きセンサを用いて取得された奥行きマップは、奥行きセンサのキャプチャ/露光時間中のオブジェクトの動きに起因して、オブジェクトについて誤った奥行き値を有することがある。

【0042】

したがって、信頼度スコアは、奥行きマップの特定の領域についての奥行き値が正しい可能性をさらに示し得る。例えば、かなりの量のモーションブラーを有する2つの画像から推定された奥行きマップの場合、奥行きマップは、（オブジェクトではなく）背景のための奥行きデータのみを有する可能性がある。奥行きマップがワーピングされ、オブジェクトについて正しい奥行き値を有する他のワーピングされた奥行きマップと比較されるとき、（すなわち他の奥行きマップに基づいて）オブジェクトが存在することが予期される信頼度マップの対応する領域において低い信頼度値が与えられることができる。2つ（またはそれ以上）のワーピングされた奥行きマップが同じ（または同様の）奥行きデータを有する場合、信頼度マップの対応する領域において高い信頼度値が与えられ得る。

【0043】

（例えば、対応する奥行き信頼度マップにおける高い信頼性をチェックすることによって）前景オブジェクトに対して正しい奥行きを有する可能性がある奥行きマップは、他のビューの奥行きマップと比較することによって、他の視点の奥行きマップが誤った奥行きを有することが予想されるかどうかを決定するために、別の視点にワープされ得る。言い換えれば、第1の視点の奥行きマップが第2の視点にワープされ得、第2の視点における予測された奥行きは、第2の視点の観測された奥行きが正しいかどうかを決定するのを助けるために比較される。正しくない場合、ターゲットビューにおいてフラグが立てられて、低い信頼度スコアが与えられることができる。

【0044】

本方法は、奥行きマップに対応する少なくとも2つの奥行き信頼度マップを取得するステップと、少なくとも1つの奥行き信頼度マップを、対応する奥行きマップを有する少なくとも1つの奥行き比較視点にワーピングするステップとをさらに有することができ、各奥行き比較視点における奥行きマップを比較するステップは、対応する奥行き信頼度マップを比較することをさらに含む。

【0045】

場合によっては、各奥行きマップは、対応する奥行きマップの生成中に生成された奥行き信頼度マップに関連付けられることができ、各奥行き値が正確である尤度の指標を与えることができる。特定の奥行き値についての尤度の指標は、奥行き値の推定中に使用される利用可能なデータ（たとえば、画像）に基づき得る。

【0046】

本発明はまた、処理システムを有する計算装置上で実行されると、処理システムに、シーンのマルチビューデータを処理するための方法のステップのすべてを実行させる、コンピュータプログラムコードを含むコンピュータプログラム製品を提供する。

【0047】

本発明はまた、シーンのマルチビューデータを処理するためのシステムを提供し、このシステムは、
異なるカメラからシーンの少なくとも2つの画像を取得し、各画像のシャープネス指標を決定し、シャープネス指標に基づいて各画像の信頼度スコアを決定するように構成されたプロセッサを有し、信頼度スコアは、新しい仮想画像を合成するために画像をブレンドするときの重みの決定に使用するためのものである。

【0048】

プロセッサは、シーンの少なくとも1つの奥行きマップを取得し、少なくとも1つの奥行きマップに基づいて画像のうちの少なくとも2つをターゲット視点にワーピングし、ターゲット視点における画像をブレンドして合成画像を生成するようにさらに構成されることができ、ブレンド中、画像内の各ピクセルは、対応する信頼度スコアに基づいて重み付けされる。

【0049】

プロセッサは、シーンの少なくとも1つの奥行きマップを取得し、各画像比較視点に少なくとも2つの画像があるように少なくとも1つの奥行きマップを使用して少なくとも1つの画像を少なくとも1つの画像比較視点にワーピングし、各比較視点における画像のピクセル色値を比較するようにさらに構成されることができ、各画像についての信頼度スコアの決定は、ピクセル色値の比較にさらに基づく。

【0050】

画像比較視点は、画像の全ての視点を含んでもよく、又はそれらの視点から構成されてもよい。

【0051】

画像比較視点はターゲット視点であることができ、プロセッサは、合成画像を生成するためにターゲット視点における画像をブレンドするようにさらに構成されることができ、ブレンド中、画像内の各ピクセルは対応する信頼度スコアに基づいて重み付けされる。

【0052】

プロセッサは、異なるセンサから取得されるかまたはシーンの少なくとも1つの異なる画像から生成される少なくとも2つの奥行きマップを取得し、各画像比較視点に少なくとも2つの奥行きマップが存在するように少なくとも1つの奥行きマップを少なくとも1つの奥行き比較視点にワーピングし、各奥行き比較視点において奥行きマップを比較し、奥行きマップの比較に基づいて各奥行きマップの信頼度スコアを決定するようにさらに構成されることができる。

【0053】

本発明のこれらおよび他の態様は、以下に記載される実施形態から明らかになり、これを参照して説明される。

【図面の簡単な説明】

【0054】

本発明をより良く理解し、本発明をどのように実施することができるかをより明確に示すために、単なる例として、添付の図面を参照する。

【図1】マルチカメラセットアップによって撮像されるシーンを示す図。

【図2】信頼度スコアを決定するための第1の実施形態を示す図。

【図3】信頼度スコアを決定するための第2の実施形態を示す図。

【発明を実施するための形態】

【0055】

本発明は、図面を参照して説明される。

【0056】

詳細な説明および特定の例は、装置、システムおよび方法の例示的な実施形態を示しているが、例示のみを目的としたものであり、本発明の範囲を限定することを意図したものではないことを理解されたい。本発明の装置、システム及び方法のこれら及び他の特徴、態様、及び利点は、以下の説明、添付の特許請求の範囲、及び添付の図面からより良く理解されるであろう。図面は単に概略的なものであり、一定の縮尺で描かれていないことを理解されたい。また、同じ参照番号が、同じまたは類似の部分を示すために、図面全体にわたって使用されることを理解されたい。

【0057】

本発明は、シーンのマルチビューデータを処理する方法を提供する。本方法は、異なるカメラからシーンの少なくとも2つの画像を取得することと、各画像のシャープネス指標を決定することと、シャープネス指標に基づいて各画像の信頼度スコアを決定することとを含む。信頼度スコアは、画像をブレンドして新しい仮想画像を合成するときの重みの決定に使用するためのものである。

【0058】

図1は、マルチカメラセットアップによって撮像されるシーンを示す。図示のマルチカメラセットアップは、5つのキャプチャカメラ104と、仮想ビュー画像がそれに対して合成される1つの仮想カメラ108とを備える。図1は、高速に移動するオブジェクトのマルチビューデータを処理するときに生じる潜在的な問題を示すために使用される。

【0059】

高速に移動する円形オブジェクト102は、全てのカメラ104によって特定の積分時間内に全てキャプチャされる一組の円によって示される。カメラ104は、この例では単純化のために同期されていると仮定される。オブジェクト102の運動に起因して引き起こされたモーションブラーの大きさは、5つのカメラ104の各々について、各投影面106a～e上の実線によって示される。モーションブラーは、投影面106a、106bでは比較的小さく、投影面106c、106dでは大きい。投影面106eは、大きくも小さくもないモーションブラーを示す。仮想カメラ108が図示され、それに対してターゲット視点における仮想画像が合成されることになる。

【0060】

奥行き推定は、投影面106a、106bおよび106eに対応する画像については成功する可能性が高い。しかし、投影面106cおよび106dに対応する画像については、モーションブラーにより、奥行き推定が失敗する可能性が高い。モーションブラーは、前景オブジェクト102の画像からテクスチャを除去し、それを半透明に見せる場合がある。後者は、奥行き推定が速く移動する前景オブジェクト102を「シースルーにする」可能性が高いことを意味し、局所的な背景奥行きをぼやけた領域内のピクセルに割り当てる。言い換えれば、モーションブラーを伴う領域において背景テクスチャが前景オブジェクト102を通して見える場合があり、したがって、モーションブラーを有する画像から生成される奥行きマップは、背景の奥行きを有するものとして前景オブジェクト102を示すことになる。

【0061】

投影面106dおよび106c（すなわち、モーションブラーが最も大きい投影面）に対応する画像および奥行きマップを使用することによって仮想カメラ108のターゲット視点における画像が合成されるとき、新しい仮想画像は、背景にあるように見えるオブジェクト102のぼやけたテクスチャを示し得る。したがって、ぼやけていない他の画像を使用する必要がある場合がある。どの画像を使用するかを決定するために、各画像のシャープネス指標を決定することが提案される。シャープネス指標は、各画像におけるぼやけの尺度である。

【0062】

従来、仮想カメラ108のターゲット視点における新しい仮想画像を合成する場合、投影面106d及び106eに対応する画像は、それらが最も近いので、より高い重みを有し、106a及び106bの画像は、それらが仮想カメラ108から最も遠いので、最も低い重みを有する。しかしながら、シャープネス指標に基づいて各画像に対して新たな信頼度スコアを与えることができ、新たな仮想画像の合成は、信頼度スコアに基づいてさらに重み付けされることができる。

【0063】

したがって、新しい仮想画像を合成するとき、新しい仮想画像の生成に使用される106aおよび106bのより鮮明な画像内のピクセルは、106dおよび106cのブラー画像内のピクセルよりも高く重み付けされ、同様に、106eの画像内のピクセルは、106dの画像よりも高く重み付けされることができる。106aおよび106bのより鮮明な画像（または画像のいずれか）中のいくつかのピクセルは、新しい仮想画像の生成のために必要とされないので、使用されない場合がある。例えば、106aの画像はほとんどがオブジェクト102の左側のテクスチャデータを含み、仮想カメラ108は、ほとんどがオブジェクト102の右側を「撮像」している。したがって、106aの画像内のピクセルの大部分は、新しい仮想画像の生成には使用されないことがある。

【0064】

例えば、106eの画像が最も近く、（他の画像と比較して）最もぼやけていないので、合成中の（例えば、信頼度スコアおよび近接度に基づく）全体的な重み付けは、106eの画像では高く、106aおよび106bの画像ではわずかに低く、106cおよび106dの画像では最も低くなり得る。

【0065】

この方法は、レンダリング中に、またはレンダリング前の前処理ステップとして、使用されることができる。

【0066】

図2は、レンダリング中に信頼度スコアを決定するための第1の実施形態を示す。ソースビュー画像202からターゲット視点へのレンダリング中に、ソースビュー画像202内の不確実なソースビューピクセルから生じるピクセルは、ターゲット座標系における入力されるワーピングされたソースビューピクセルのシャープネスを比較することによって検出される。このケースは、（レンダリング中の）オンザフライのソースビュー分析および合成を可能にするので、重要である。

【0067】

異なる視点（例えば、ソースビュー画像202の座標系）における信頼度スコアを、レンダリングを開始するためにデータを使用する前にソースビュー画像202が最初に1つ以上の比較視点にワープされて各ピクセルに対する信頼度スコアを確立する別個の前処理ステップとして、決定することも可能であることに留意されたい。

【0068】

複数のカメラビューのセットからの3つのカメラビュー208、210および212が図2に示される。カメラビュー208のソースビュー画像202は、円形オブジェクトの鮮明な画像である。カメラビュー210のソースビュー画像202は、画像の中心における鮮明な領域と、オブジェクトの側面の周りの（例えばモーションブラーに起因する）ぼやけたセクションとを示す、円形オブジェクトの幾分鮮明な画像である。

【0069】

カメラビュー212のソースビュー画像202は、円形画像のぼやけた画像である。各ソースビュー画像202は、ターゲット視点にワーピングされ、各ワーピングされた画像204についてシャープネス指標が決定される。シャープネス指標は、ワーピングされた各画像のシャープネスの尺度である。例えば、ピクセル毎のコントラストの尺度を使用して、シャープネス指標を決定することができる。フォーカスの尺度も使用され得る。

【0070】

加えて、ソースビュー画像に由来する予測される色が、すべてのソースビュー画像にわたって予測される平均と大きく異なる場合、そのソースビューの寄与はより低い信頼度を受け取り、より低いブレンド重みをもたらす。これはぼやけた前景オブジェクトが背景奥行きを有するものとして誤って測定された場合をカバーし、その場合、それは間違った位置に（すなわち、間違った奥行きに基づいて）ワーピングされ、他のソースビューが異なる色（例えば、緑の草）を予測する位置にくる可能性がある。

【0071】

ソースビュー寄与（たとえば、ワーピングされた画像204のピクセル）について、画像シャープネスの尺度が他の寄与からの平均よりもはるかに低い場合、そのソースビュー寄与はまた、より低い信頼度を受け取り、より低いブレンド重みをもたらす。これは、ぼやけた前景オブジェクトが（おそらく部分的に）正しい奥行きを有し、したがって正しい位置にマッピングされる場合をカバーする。よりシャープな他の寄与に等しくぼやけたピクセル寄与を重み付けすることは、画像ブラーをもたらし得る。

【0072】

シャープネス指標は、ワーピングされた画像204のぼやけた領域を特定することに基づくことができる。例えば、ピクセル毎のコントラスト値が、ワーピングされた画像204内の各ピクセルについて決定され、各ワーピングされた画像204についてのコントラストマップを作成することができる。したがって、コントラストマップをシャープネス指標として使用することができる。あるいは、シャープネス指標は、他のワープ画像204のシャープネス指標と比較することができる単一の値であってもよい。

【0073】

ワーピングされた画像204のシャープネス指標が比較視点において比較され、信頼度スコア206が各カメラビューについて生成される。図2に示される信頼度スコア206は信頼度マップである。信頼度マップ206は、対応するソースビュー画像202内の各ピクセル（またはピクセルのグループ）の信頼度値を含む。

【0074】

カメラビュー208の信頼度マップ206は、ソースビュー画像202が鮮明であり、したがってシャープネス指標が高いので、カメラビュー208のソースビュー画像202全体に対して高い信頼度（白色として示される）を示す。カメラビュー210の信頼度マップ206は、オブジェクトの鮮明な領域に対する高い信頼度を示すが、画像202のぼやけた領域に対する低い信頼度（黒として示される）を示す。同様に、カメラビュー212の信頼度マップ206は、ぼやけた領域に対する低い信頼度を示す。

【0075】

したがって、信頼度マップ206は、重み付けの一部として新しい仮想画像の合成中に使用されることができる。カメラビュー210および212におけるぼやけた領域は、カメラビュー208および210の鮮明な領域と比較して、円形オブジェクトを合成するとき、比較的低い重みを有することになる。

【0076】

図3は前処理（すなわち、レンダリングの前）における信頼度スコアを決定するための第2の実施形態を示す。第2の実施形態では、画像の不確定領域が、複数のソースビュー画像302の対応するピクセルの奥行きおよびシャープネスを比較することによって検出される。シーンの3つのソースビュー画像302が、対応する奥行きマップ304および信頼度マップ306と共に示されている。カメラビュー308および310は、高速に移動する円形の前景オブジェクトの鮮明な画像302を示す。対応する奥行きマップ304は、円形オブジェクトの奥行きの推定を示す。

【0077】

カメラビュー312は、オブジェクトに対するモーションブラーを伴う画像302を示す。その結果、（白色として示される）背景テクスチャが、（黒いとして示される）半透明の前景オブジェクトを通して可視である。対応する推定された奥行きマップ304は、円形オブジェクトが存在すると予想される所の背景の奥行きを示す。カメラビュー312に対応する奥行きマップ304に点線が示されており、円形オブジェクトの奥行きが奥行きマップ304のどこに現れたはずであるかを示している。

【0078】

3つのカメラビュー308、310および312から新しい仮想画像を合成するときの合成誤差を回避するために、各カメラビューについて信頼度マップ306が生成され、信頼度マップ306の生成は、シャープネス指標の比較に加えて、ソースビュー画像302と同様に、奥行きマップ304間の比較にさらに基づく。

【0079】

各ソースビュー302は、関連する奥行きマップ304を使用して、他のすべてのビューにワープされる。ソースビューピクセルは、ワーピングされたソースビューの色および/またはテクスチャ変化がターゲットビューの色および/またはテクスチャ変化と大きく異なれば、関連付けられた低い信頼度を有するものとしてさらにフラグ付けされる。例えば、ソースビュー308をソースビュー310にワーピングするとき、色はオブジェクトの色として一致し、局所的なテクスチャ変化が密接に一致する。これは、ソースビュー310をソースビュー308にワーピングするときにも当てはまる。しかしながら、ソースビュー312内のピクセルを308または310のいずれかにワープするときは、オブジェクトのピクセルをワープするために使用された奥行きが正しくなかったので、オブジェクトの色および/またはテクスチャ変化は一致しない。したがって、信頼度スコアは、ソースビュー312内のオブジェクトのピクセルについて低い値に設定される。

【0080】

信頼度マップ306を生成するための追加の尺度として奥行きマップ304を使用するで信頼度マップ306の精度を高めることができる。例えば、様々なレベルのシャープネスを有する複雑な画像の場合、奥行きマップ304間の比較は、複雑な画像の最もぼやけた領域を特定するのにさらに役立ち得る。

【0081】

新しい画像は、典型的には、ソースビュー画像302をターゲット視点にワーピングし、ワーピングされた画像をブレンドすることによって、ソースビュー画像302から生成される。カメラビュー312のためのソースビュー302の周りの画像領域はぼやけたオブジェクトに対応し、したがって、信頼度マップ306上で低い信頼度値を有する。信頼度マップ306は、ソースビュー画像302と共にターゲット視点にワーピングされ、新しい仮想画像を生成するためのブレンド演算における重みとして使用されることができる。その結果、動きの速いオブジェクトは、新しい仮想画像において鮮明に見える。

【0082】

要約すると、奥行き推定および新しいビュー合成の問題を解決するために、ソースビュー間のシャープネス（および潜在的に色および奥行き）の差を使用することが提案される。奥行き推定中に、ソースビュー間の推定された奥行きおよびテクスチャ差（すなわち、色およびシャープネス）が比較され得る。そして、この情報を使用して、画像（および対応する奥行きマップ）の信頼度スコアを推定し、モーションブラー（または一般に任意のブラー）に対応するピクセルを低い信頼度に設定する。例えば、モーションブラーを考慮するとき、画像の信頼度スコアは、高速に移動するオブジェクトが3D空間内で位置する可能性がより高い位置についての指標を提供することができる。

【0083】

シャープネス指標を決定する1つのアプローチは、ソースビュー画像座標系における各画像について局所的なピクセル毎のコントラスト尺度を計算し、そしてこの尺度を奥行きマップを使用して色（および任意選択で奥行き）と共にターゲット視点（すなわち、新しい画像が生成される視点）にワープすることである。

【0084】

また、各画像の色をターゲット視点にワーピングするだけでもよい。例えば、8つのソースビューは、ターゲット仮想視点にワープされることができる8つの画像を提供することができ、その結果はGPUメモリ（すなわち、グラフィックス処理装置のメモリモジュール）に記憶される。別個のシェーダにおいて、局所的なコントラストがワーピングされた各画像について計算されることができる。局所的なコントラストに基づいて、信頼度（したがってブレンド重み）が決定される。両方のアプローチはまた、ターゲット視点の代わりに比較視点と共に使用されてもよく、比較視点は、典型的には各々の画像の視点を含む。

【0085】

加えて、新規な画像合成中に、より低い信頼度スコアを有する画像領域は、低いブレンド重みを受け取る。新規ビュー合成のための信頼度スコアの使用は、高速に移動するオブジェクトの複数のコピーが可視になることを回避することができ、したがって、新しく合成された画像を、信頼度スコアを使用しない場合よりも鮮明にさせる。

【0086】

信頼度スコアをいつどこで決定するか、そして誰によって決定されるかについて、異なるアプローチが存在する。一例では、エンコーダが、画像が取得されたとき（又は取得された後）に信頼度スコアを決定し、画像と共に信頼度スコアを送信/ブロードキャストすることができる。そして、デコーダは、画像および信頼度スコアを受信し、画像および信頼度スコアを使用して新しい画像を合成することができる。別の例では、デコーダが画像を受信し、信頼度スコアを決定し、新しい画像を合成することができる。信頼度スコアは、（図2に示すように）レンダリング中に、または（図3に示すように）レンダリング前の前処理ステップとして、決定されることができる。

【0087】

上述のように、本方法は、画像および奥行きマップのワーピングを利用する。ワーピングは、ソースビュー画像および/またはソースビュー奥行きマップに変換を適用することを含むことができ、この変換は、ソースビュー画像および/またはソースビュー奥行きマップの視点と、既知のターゲット視点とに基づく。視点は少なくとも3D空間における仮想カメラ（またはセンサ）のポーズ（すなわち、位置および向き）によって定義される。例えば、変換は、奥行きマップに対応するポーズと、ターゲット視点に対応する既知のターゲットポーズとの間の差に基づくことができる。ワーピングに言及する場合、順方向ワーピングおよび/または逆(逆方向)ワーピングが使用され得ることを理解されたい。順方向ワーピングでは、ソースビュー画像座標系内に構築された点プリミティブまたは三角形プリミティブを使用して、ソースピクセルがターゲット画像上に投影される。逆方向ワーピングでは、ターゲットピクセルがソースビュー画像内の位置に逆マッピングされ、それに応じてサンプリングされる。

【0088】

可能なワーピングアプローチは、ポイントを使用すること、規則的な(すなわち、所定のサイズおよびトポロジの)メッシュを使用すること、および/または不規則なメッシュを使用することを含む。

【0089】

たとえば、ポイントを使用することは、第1の視点（ビューA）からの（所与のピクセルごとの）奥行きマップを使用して、第2の視点（ビューB）内の対応する位置を計算することと、ビューBからビューAに戻る（すなわち逆ワープの）ピクセル位置をフェッチすることとを含むことができる。

【0090】

代替的に、例えば、ポイントを使用することは、ビューAの(所与のピクセルごとの)奥行きマップを使用して、ビューB内の対応するピクセル位置を計算することと、ビューAからビューBへピクセル位置をマッピングすること(すなわち、前方ワープ)とを含むことができる。

【0091】

規則的なメッシュ(例えば、ピクセル当たり2つの三角形、2x2ピクセル当たり2つの三角形、4x4ピクセル当たり2つの三角形など)を使用することは、ビューA中の奥行きマップから3Dメッシュ座標を計算することと、ビューAからビューBへデータをテクスチャマッピングすることとを含むことができる。

【0092】

不規則なメッシュを使用することは、奥行きマップ(および、任意選択で、ビューAにおけるテクスチャおよび/または透明度データ)に基づいてビューAのためのメッシュトポロジを生成することと、ビューAからビューBへデータをテクスチャマッピングすることとを含むことができる。

【0093】

画像は、対応する奥行きマップを使用することによってワーピングされることができる。たとえば、画像ビューAおよびビューBにおける奥行きマップの場合、奥行きマップはビューAにワープされることができ、そして、画像ピクセルに対応する奥行きピクセルのワーピングに基づいて、画像が異なるビューCにワープされることができる。

【0094】

当業者は、本明細書に記載の如何なる方法も実行するためのプロセッサを容易に開発することができる。したがって、フローチャートの各ステップは、プロセッサによって実行されるそれぞれの動作を表すことができ、プロセッサのそれぞれのモジュールによって実行され得る。

【0095】

上述したように、システムは、データ処理を行うためにプロセッサを利用する。プロセッサは、必要とされる様々な機能を実行するために、ソフトウェア及び/又はハードウェアを用いて、様々な方法で実施される。前記プロセッサは通例、ソフトウェア(例えば、マイクロコード)を用いて、必要とされる機能を行うようにプログラムされる1つ以上のマイクロプロセッサを用いる。プロセッサは、幾つかの機能を実行するための専用ハードウェアと、他の機能を実行するための1つ以上のプログラムされるマイクロプロセッサ及び関連する回路との組合せとして実施されてもよい。

【0096】

本開示の様々な実施形態に用いられる回路の例は、これらに限定されないが、従来のマイクロプロセッサ、特定用途向け集積回路(ASIC)及びフィールドプログラマブルゲートアレイ(FPGA)を含む。

【0097】

様々な実施において、前記プロセッサは、例えばRAM、PROM、EPROM及びEEPROMのような揮発性及び不揮発性コンピュータメモリである1つ以上の記憶媒体に関連付けられてよい。この記憶媒体は、1つ以上のプロセッサ及び/又は制御器上で実行されるとき、必要とされる機能を実行する1つ以上のプログラムで符号化されてもよい。様々な記憶媒体は、プロセッサ又は制御器内に取り付けられてもよいし、又は記憶媒体に記憶される1つ以上のプログラムがプロセッサに読み込まれるように、搬送可能でもよい。

【0098】

開示された実施形態に対する変形例は、図面、開示、および添付の特許請求の範囲の検討から、特許請求された発明を実施する際に当業者によって理解され、実施されることができる。請求項において、単語「有する」は、他の要素又はステップを排除するものではなく、不定冠詞「a」又は「an」は、複数性を排除するものではない。

【0099】

単一のプロセッサ又は他のユニットが、請求項に列挙されるいくつかのアイテムの機能を果たすことができる。

【0100】

特定の手段が相互に異なる従属請求項に記載されているという単なる事実は、これらの手段の組み合わせが有利に使用されることができないことを示すものではない。

【0101】

コンピュータプログラムは、他のハードウェアと一緒に、またはその一部として供給される光記憶媒体またはソリッドステート媒体などの適切な媒体上に記憶/配布されることができるが、インターネットまたは他の有線もしくは無線電気通信システムなどを介して、他の形態で配信されることもできる。

【0102】

「に適応する」という用語が請求項又は明細書に用いられる場合、「に適応する」という用語は、「ように構成される」と言う用語と同様であることを意味する。

【0103】

請求項におけるいかなる参照符号も、範囲を限定するものとして解釈されるべきではない。

【図1】

【図2】

【図3】

【国際調査報告】