特表 2024-528456 視点画像ワーピングシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-07-30

(54)【発明の名称】視点画像ワーピングシステム及び方法

(51)【国際特許分類】

   G06T 5/50 20060101AFI20240723BHJP

   G06T 7/00 20170101ALI20240723BHJP

   G06T 5/60 20240101ALI20240723BHJP

   G06T 5/77 20240101ALI20240723BHJP

【ＦＩ】

G06T5/50

G06T7/00 350B

G06T5/60

G06T5/77

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023579044

(86)(22)【出願日】2022-06-01

(85)【翻訳文提出日】2023-12-21

(86)【国際出願番号】 US2022031833

(87)【国際公開番号】W WO2022271425

(87)【国際公開日】2022-12-29

(31)【優先権主張番号】17/356,223

(32)【優先日】2021-06-23

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】503260918

【氏名又は名称】アップル インコーポレイテッド

【氏名又は名称原語表記】Ａｐｐｌｅ Ｉｎｃ．

【住所又は居所原語表記】Ｏｎｅ Ａｐｐｌｅ Ｐａｒｋ Ｗａｙ，Ｃｕｐｅｒｔｉｎｏ， Ｃａｌｉｆｏｒｎｉａ ９５０１４， Ｕ．Ｓ．Ａ．

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】チョウ， ジム シー．

(72)【発明者】

【氏名】ゾウ， ジアン

【テーマコード（参考）】

5B057

5L096

【Ｆターム（参考）】

5B057CA01

5B057CA08

5B057CA12

5B057CA16

5B057CB01

5B057CB08

5B057CB12

5B057CB16

5B057CE08

5B057CE17

5B057DA07

5B057DA16

5B057DB02

5B057DB06

5B057DB09

5B057DC16

5B057DC40

5L096AA02

5L096AA06

5L096CA05

5L096DA01

5L096EA33

5L096FA06

5L096FA67

5L096FA69

5L096GA40

5L096HA11

5L096KA04

(57)【要約】

電子デバイスは、処理済み画像データに基づいて画像を表示するための電子ディスプレイを含み得る。電子デバイスはまた、処理済み画像データを生成するための画像処理回路構成を含み得る。画像処理回路構成は、第１のパースペクティブの画像に対応する入力画像データを受信し、入力画像データを第１のパースペクティブから第２のパースペクティブにワーピングして、ワーピング後画像データを生成し得る。加えて、画像処理回路構成は、第２のパースペクティブの１つ以上のオクルージョン領域を決定し、オクルージョン領域に対応する充填データを決定し得る。処理済み画像データは、ワーピング後画像データと充填データとを組み合わせることによって生成され得る。

【特許請求の範囲】

【請求項1】

処理済み画像データに少なくとも部分的に基づいて画像を表示するように構成されている電子ディスプレイと、
画像処理回路構成であって、
第１のパースペクティブの前記画像に対応する入力画像データを受信し、前記入力画像データを、前記第１のパースペクティブから第２のパースペクティブにワーピングして、ワーピング後画像データを生成し、
前記第２のパースペクティブの１つ以上のオクルージョン領域を決定し、
前記１つ以上のオクルージョン領域に対応する充填データを決定し、
前記ワーピング後画像データと前記充填データとを組み合わせることによって、前記処理済み画像データを生成する、ように構成されている画像処理回路構成と、
を備える、電子デバイス。

【請求項2】

前記１つ以上のオクルージョン領域が、前記第１のパースペクティブでは見えない前記第２のパースペクティブの前記画像の部分を含む、請求項１に記載の電子デバイス。

【請求項3】

前記画像処理回路構成が、前記第２のパースペクティブを示す空間の画素グリッドであって、前記画素グリッドのグリッド点が、前記第１のパースペクティブから前記第２のパースペクティブへのマッピングを定義する、画素グリッドを決定するように構成されている、請求項１に記載の電子デバイス。

【請求項4】

前記画像処理回路構成が、前記１つ以上のオクルージョン領域に対応する前記画素グリッドの１つ以上の部分を無効領域として指定するように構成されている、請求項３に記載の電子デバイス。

【請求項5】

前記無効領域にはワーピング操作が適用されず、前記無効領域に対して前記入力画像データがフェッチされない、請求項４に記載の電子デバイス。

【請求項6】

前記入力画像データをワーピングすることが、前記第１のパースペクティブから前記第２のパースペクティブへの前記マッピングを決定することと、前記マッピングに従って前記入力画像データの部分をフェッチして前記画素グリッドを解決することと、を含む、請求項４に記載の電子デバイス。

【請求項7】

前記１つ以上のオクルージョン領域のうちのオクルージョン領域の前記充填データを決定することが、
第３のパースペクティブの前記画像に対応する第２の入力画像データを受信することと、
前記第２の入力画像データを、前記第３のパースペクティブから前記第２のパースペクティブにワーピングして、第２のワーピング後画像データを生成することと、
前記オクルージョン領域に対応する前記第２のワーピング後画像データの部分を、前記充填データとして選択することと、を含む、請求項１に記載の電子デバイス。

【請求項8】

２つ以上のカメラを備え、前記入力画像データ及び前記第２の入力画像データが、前記２つ以上のカメラのうちの異なるカメラからの画像キャプチャに基づいて生成される、請求項７に記載の電子デバイス。

【請求項9】

前記１つ以上のオクルージョン領域のうちのオクルージョン領域の前記充填データを決定することが、
前記オクルージョン領域の周囲の画像特性を解析することと、
解析された前記画像特性に少なくとも部分的に基づいて、前記オクルージョン領域に対応する前記画像の部分を推定することと、
前記画像の推定された前記部分に少なくとも部分的に基づいて前記充填データを決定することと、を含む、請求項１に記載の電子デバイス。

【請求項10】

前記画像処理回路構成が、ペインティングアルゴリズムを介して、解析された前記画像特性に少なくとも部分的に基づいて、前記オクルージョン領域に対応する前記画像の前記部分を推定するように構成されている、請求項９に記載の電子デバイス。

【請求項11】

前記１つ以上のオクルージョン領域のうちのオクルージョン領域の前記充填データを決定することが、前記ワーピング後画像データの部分又は前記入力画像データの部分を前記オクルージョン領域の周囲に沿ってブレンディングすることを含む、請求項１に記載の電子デバイス。

【請求項12】

画像の第１の視点（ＰＯＶ）に対応する入力画像データを画像処理回路構成を介して受信することと、
前記第１のＰＯＶからの前記入力画像データを第２のＰＯＶにワーピングして、ワーピング後画像データを生成することと、
前記第２のＰＯＶのオクルージョン領域であって、前記オクルージョン領域が、前記第１のＰＯＶでは見えない前記第２のＰＯＶの前記画像の部分を含む、オクルージョン領域を決定することと、
前記オクルージョン領域に対応する充填データを決定することと、
前記ワーピング後画像データと前記充填データとを組み合わせることによって、処理済み画像データを生成することと、
を含む、方法。

【請求項13】

前記第２のＰＯＶを示す空間の画素グリッドであって、前記画素グリッドのグリッド点が、前記第１のＰＯＶから前記第２のＰＯＶへのマッピングを定義する、画素グリッドを決定することを含む、請求項１２に記載の方法。

【請求項14】

前記オクルージョン領域におけるサンプリング又はリサンプリングを低減することを含む、請求項１３に記載の方法。

【請求項15】

前記オクルージョン領域の前記充填データを決定することが、
前記オクルージョン領域の周囲の画像特性を機械学習アルゴリズムを介して解析することと、
解析された前記画像特性に少なくとも部分的に基づいて、前記オクルージョン領域に対応する前記画像の前記部分を前記機械学習アルゴリズムを介して推定することと、含む、請求項１４に記載の方法。

【請求項16】

第１の視点（ＰＯＶ）を示す第１の空間の画像に対応する入力画像データを受信し、
前記第１の空間から前記第２の空間へのワーピングに少なくとも部分的に基づいて、第２のＰＯＶを示す第２の空間の画素グリッドであって、前記画素グリッドのグリッド点が、前記第１の空間の前記入力画像データの座標へのマッピングを定義する、画素グリッドを決定し、
前記入力画像データの前記座標への前記マッピングに少なくとも部分的に基づいて、前記入力画像データの部分をフェッチし、
前記画素グリッドに従って、前記入力画像データのフェッチされた前記部分に少なくとも部分的に基づいて、前記第２の空間においてワーピング後画像データを生成する、
ように構成されている、画像処理回路構成。

【請求項17】

前記画像処理回路構成が、
前記第２の空間のオクルージョン領域であって、前記オクルージョン領域が、前記第１のＰＯＶでは見えない前記第２のＰＯＶの前記画像の部分を含む、オクルージョン領域を決定し、
前記オクルージョン領域に対応する充填データあって、前記充填データが、前記オクルージョン領域の位置における前記第２のＰＯＶの前記画像を推定する、充填データを決定する、ように構成されている、請求項１６に記載の画像処理回路構成。

【請求項18】

前記画像処理回路構成が、前記ワーピング後画像データと前記充填データとをブレンディングすることによって、前記第２の空間において処理済み画像データを生成するように構成されている、請求項１７に記載の画像処理回路構成。

【請求項19】

前記１つ以上のオクルージョン領域のうちのオクルージョン領域の前記充填データを決定することが、前記ワーピング後画像データの部分又は前記入力画像データの部分を、前記オクルージョン領域の周囲に沿ってブレンディングすることを含む、請求項１７に記載の画像処理回路構成。

【請求項20】

前記画素グリッドが、階層的四分木グリッドを含む、請求項１６に記載の画像処理回路構成。

【請求項21】

画像の第１の視点（ＰＯＶ）に対応する入力画像データを受信する手段と、
前記入力画像データを前記第１のＰＯＶから第２のＰＯＶにワーピングして、ワーピング後画像データを生成する手段と、
前記第２のＰＯＶのオクルージョン領域であって、前記オクルージョン領域が、前記第１のＰＯＶでは見えない前記第２のＰＯＶの前記画像の部分を含む、オクルージョン領域を決定する手段と、
前記オクルージョン領域に対応する充填データを決定する手段と、
前記ワーピング後画像データと前記充填データとを組み合わせることによって、処理済み画像データを生成する手段と、
を備える、システム。

【請求項22】

前記第２のＰＯＶを示す空間の画素グリッドであって、前記画素グリッドのグリッド点が、前記第１のＰＯＶから前記第２のＰＯＶへのマッピングを定義する、画素グリッドを決定する手段を備える、請求項２１に記載のシステム。

【請求項23】

前記オクルージョン領域の前記充填データを決定する前記手段が、
前記オクルージョン領域の周囲の画像特性を解析する手段と、
解析された前記画像特性に少なくとも部分的に基づいて、前記オクルージョン領域に対応する前記画像の前記部分を推定する手段と、を含む、請求項２１に記載のシステム。

【請求項24】

処理済み画像データを表示するように構成されている電子ディスプレイと、
第１の視点（ＰＯＶ）の入力画像データの、第２の視点（ＰＯＶ）のワーピング後画像データへのワーピングに少なくとも部分的に基づいて、前記処理済み画像データを出力するように構成されている画像処理回路構成と、
を備える、電子デバイス。

【請求項25】

前記画像処理回路構成が、前記第１のＰＯＶでは見えない前記第２のＰＯＶのオクルージョン領域を決定し、前記第２のＰＯＶに現れると推定される画像データを使用して前記オクルージョン領域を充填する、ように構成されている、請求項２４に記載の電子デバイス。

【発明の詳細な説明】

【背景技術】

【0001】

本開示は概して、画像処理に関し、特に、視点の変化を補正する画像ワーピング操作に関する。

【0002】

本セクションは、以下に説明及び／又は特許請求されている、本開示の様々な態様に関連し得る様々な技術態様を読者に紹介することを意図するものである。本解説は、本開示の様々な態様をより良く理解するための背景情報を読者に提供する上で有用であると考えられる。したがって、これらの記述は、この観点から読まれるべきであり、先行技術を認めるものではないことを理解されたい。

【0003】

電子デバイスは多くの場合、１つ以上の電子ディスプレイを使用して、１つ以上の画像を表示することによりテキスト、静止画像、及び／又はビデオなどの視覚情報を提示する。例えば、このような電子デバイスは、数ある中でもとりわけ、コンピュータ、携帯電話、ポータブルメディアデバイス、タブレット、テレビ、仮想現実ヘッドセット、及び車両ダッシュボードを含み得る。画像を表示するために、電子ディスプレイは、対応する画像データに少なくとも部分的に基づいて、その表示画素の発光を制御し得る。

【0004】

画像は、特定の解像度又は画素値の分布を有する領域を画定する画像データによって表され得る。しかしながら、場合によっては、異なる表示シナリオに対応するために、解像度又は画素値の分布を変更することが望ましい場合がある。例えば、画像データは、周囲環境、表示特性、視聴者の視点（Point-Of-View、ＰＯＶ）、及び視聴者に知覚される画像を歪める可能性がある他の要因を考慮してワーピングされ得る。したがって、表示される前に、画像データは、知覚される画像が歪んだものとならないように、画素値の量又は分布に対する所望の変化を使用して画像をワーピングするように処理され得る。しかしながら、少なくとも場合によって、ＰＯＶの変化に対してワーピングするとき、画像データが存在しないオブジェクトが見せられることがあり、これは画像アーチファクトにつながり得る。

【発明の概要】

【0005】

本明細書に開示の特定の実施形態の要約を以下に記載する。これらの態様は、単にこれらの特定の実施形態の概要を読者に提供するために提示されており、これらの態様は、本開示の範囲を限定することを意図するものではないことを理解されたい。実際に、本開示は、以下に記載されていない様々な態様を包含し得る。

【0006】

いくつかのシナリオでは、画像がキャプチャ又はレンダリングされたパースペクティブと視聴者の視点（ＰＯＶ）／パースペクティブとの間の差に起因して、視聴者によって知覚されるときに画像が歪んで見えることがある。さらに、ディスプレイに対する（例えば、位置及び／又は視線追跡に基づいて判定される）視聴者のＰＯＶは、視聴者がどのように画像を知覚するかを変え得る。例えば、拡張現実、仮想現実、又は複合現実デバイスでは、画像は、事前に又はリアルタイムでキャプチャされ、あたかも画像が現実であるかのように、拡張あり又はなしで視聴者に表示され得る。しかしながら、画像は、視聴者が通常経験するはずのものと異なるＰＯＶでキャプチャされたものであり得る。例えば、オブジェクトは、画像が補正されないままである場合、それ自体又は他のオブジェクトに対して、より短く、より高く、より広く、より小さく、あるいはパースペクティブから外れて見えることがある。したがって、表示される前に、画像データは、知覚される画像が低減された歪みを有するか又は歪みを有さないように画像をワーピングするように処理され得る。

【0007】

ＰＯＶワーピングは、画像が表示されると、視聴者のパースペクティブと一致するパースペクティブから見えるように、画像データを変えるのを補助することができる。このようなＰＯＶワーピングはまた、オブジェクトの相対位置をシフトさせ、画像内に１つ以上のオクルージョン領域を生成し得る。例えば、前景オブジェクトは、ワーピングの後に、以前は入力画像の一部ではなかったオブジェクト又は背景の一部分が見えるように、ＰＯＶワーピングにおいてシフトし得る。よって、いくつかの実施形態では、オクルージョン領域は、ブレンディングすること、新しい画素値を生成すること、又は（例えば、追加のカメラからの）追加の画像キャプチャによって充填され得る。加えて又は代わりに、いくつかの実施形態では、オクルージョン領域の充填において、機械学習（例えば、深層学習）を利用して、欠落画素値を推定し得る。

【0008】

加えて、いくつかの実施形態では、ＰＯＶワーピングに対する補正は、画素グリッドを利用して、入力画像データ内の画素位置を、視聴者のＰＯＶに対して補正されたワーピング後位置にマッピングし得る。画素グリッドの生成中、オクルージョンは、関連付けられた入力画像データを有さない無効領域として識別され得る。オクルージョン領域は充填データで充填されるので、無効領域は、操作効率を高めるために画像データをワーピングしフェッチするときに無視してもよい。

【図面の簡単な説明】

【0009】

本開示の様々な態様は、以下の詳細な説明を読み、図面を参照すると、より良く理解され得る。

【0010】

【図1】一実施形態に係る、電子ディスプレイを含む電子デバイスのブロック図である。

【0011】

【図2】一実施形態に係る、ハンドヘルドデバイスの形態の図１の電子デバイスの例である。

【0012】

【図3】一実施形態に係る、タブレットデバイスの形態の図１の電子デバイスの別の例である。

【0013】

【図4】一実施形態に係る、コンピュータの形態の図１の電子デバイスの別の例である。

【0014】

【図5】一実施形態に係る、ウォッチの形態の図１の電子デバイスの別の例である。

【0015】

【図6】一実施形態に係る、ワーピング補償ブロックを含む図１の電子デバイスのディスプレイパイプラインのブロック図である。

【0016】

【図7】一実施形態に係る、ワーピング処理ブロックのブロック図である。

【0017】

【図8】一実施形態に係る、ソースフレームからＰＯＶワーピング後フレームへの視点（ＰＯＶ）ワーピングの概略図である。

【0018】

【図9】一実施形態に係る、ＰＯＶワーピング後画像データを決定する例示的なプロセスのフローチャートである。

【0019】

【図10】一実施形態に係る、階層的グリッドのベースパーティションの概略図である。

【0020】

【図11】一実施形態に係る、図１０の階層的グリッドのパーティションを決定する例示的なプロセスである。

【0021】

【図12】一実施形態に係る、図１０の階層的グリッドのパーティションを決定する例示的なプロセスである。

【0022】

【図13】一実施形態に係る、図１０の階層的グリッドのパーティションを決定する例示的プロセスの概略図である。

【0023】

【図14】一実施形態に係る、例示的な階層的補間プロセスの概略図である。

【0024】

【図15】一実施形態に係る、複数のベースパーティションを有する階層的グリッドの概略図である。

【0025】

【図16】一実施形態に係る、ソースフレームからワーピング後フレームにワーピング操作をマッピングする際に階層的グリッドを使用する例示的なプロセスのフローチャートである。

【発明を実施するための形態】

【0026】

本開示の１つ以上の特定の実施形態を以下に説明する。説明されるこれらの実施形態は、本明細書で開示されている技法の例に過ぎない。加えて、これらの実施形態の簡潔な説明を提供するために、本明細書に実際の実装形態の全ての特徴が示されるとは限らない。あらゆるエンジニアリング又は設計プロジェクトにおけるのと同様、このようないずれかの実際の実装形態の開発では、実装形態ごとに変動し得るシステム関連及びビジネス関連の制約への準拠などの開発者の具体的な目標を達成するために、実装形態に特有の多くの決定がなされなければならないことを理解されたい。そのうえ、このような開発作業は複雑で時間がかかる可能性があるが、それでも、本開示の利益を有する当業者には、設計、製作、及び製造の日常の仕事であり得ることを理解されたい。

【0027】

本開示の様々な実施形態の要素を導入するときに、冠詞「ａ」、「ａｎ」、及び「ｔｈｅ」は、１つ以上の要素があることを意味することが意図されている。用語「を備える、を含む（comprising）」、「を含む（including）」、及び「を有する（having）」は、包括的であることを意図し、列挙した要素以外の追加的な要素があり得ることを意味する。加えて、本開示の「一実施形態」又は「実施形態」の参照は、記載した特徴が同様に組み込まれる追加の実施形態の存在を除外するように解釈されることを意図したものではないことを理解されたい。そのうえ、Ｂ「に基づく」Ａという表現は、ＡがＢに少なくとも部分的に基づくことを意味することが意図されている。また、「又は」という用語は、包括的であること（例えば、論理和）を意図しており、排他的であること（例えば、排他的論理和）を意図するものではない。換言すれば、Ａ「又は」Ｂという表現は、Ａか、Ｂか、又はＡとＢの両方を意味することが意図されている。

【0028】

電子デバイスは、視覚情報を提示するために電子ディスプレイを使用することが多い。このような電子デバイスは、数ある中でもとりわけ、コンピュータ、携帯電話、ポータブルメディアデバイス、タブレット、テレビ、仮想現実ヘッドセット、及び車両ダッシュボードを含み得る。電子ディスプレイは、液晶ディスプレイ（Liquid Crystal Display、ＬＣＤ）、発光ダイオード（Light Emitting Diode、ＬＥＤ）ディスプレイ、有機発光ダイオード（Organic Light Emitting Diode、ＯＬＥＤ）ディスプレイ、プラズマディスプレイなどの形態を取り得る。

【0029】

画像を表示するために、電子ディスプレイは、その表示画素の輝度（及び、その結果として、色）を、特定の解像度で受信される対応する画像データに基づいて制御する。例えば、画像データソースは、各画素のデータが、対応する画素位置に位置する１つ以上の表示画素の目標輝度（例えば、明るさ及び／又は色）を示す画素データのストリームとして画像データを提供し得る。いくつかの実施形態では、画像データは、例えば、ＲＧＢ画像データ（例えば、ＲＧＢ、ｓＲＧＢ）と総称される、赤色成分画像データ、青色成分画像データ、及び緑色成分画像データを介して、色成分ごとの輝度を示し得る。加えて又は代わりに、画像データは、輝度チャネル及び１つ以上の色度チャネル（例えば、ＹＣｂＣｒ、ＹＵＶなど）、グレースケール（例えば、グレーレベル）、又は他の色基準によって示され得る。本明細書で開示されているような輝度チャネルは、線形、非線形、及び／又はガンマ補正後輝度値を包含し得ることを理解されたい。

【0030】

いくつかのシナリオでは、表示されることになる画像は、変えられていない場合、視聴者によって知覚されるときに歪んで見えることがある。歪みは、環境効果、ディスプレイの属性、視聴者の視点（ＰＯＶ）のパースペクティブ、シフト及びスケーリングなどの画像処理ワーピング、及び／又は他の歪み要因に起因する可能性がある。例えば、ディスプレイは、補正なしで表示された場合に画像を歪める可能性がある湾曲したエッジ及び／又はレンズ効果を有する、不透明又は透明な画面を含み得る。さらに、ディスプレイに対する（例えば、位置及び／又は視線追跡に基づいて判定される）視聴者のＰＯＶは、視聴者がどのように画像を知覚するかを変え得る。例えば、拡張現実（Augmented Reality、ＡＲ）、仮想現実（Virtual Reality、ＶＲ）、又は複合現実（Mixed Reality、ＭＲ）デバイスでは、画像は、事前に又はリアルタイムでキャプチャされ、あたかも画像が現実であるかのように、拡張あり又はなしで視聴者に表示され得る。しかしながら、画像は、画像が現実であった場合に視聴者が通常経験するはずのものと異なるＰＯＶでキャプチャされたものであり得る。例えば、オブジェクトは、それ自体又は他のオブジェクトに対して、より短く、より高く、より広く、より小さく、あるいはパースペクティブから外れて見えることがある。したがって、表示される前に、画像データは、知覚される画像が低減された歪みを有するか又は歪みを有さないように画像をワーピングするように処理され得る。

【0031】

ＰＯＶワーピングは、画像内に１つ以上のオクルージョン領域を生じさせ得る。例えば、前景オブジェクトは、ワーピングの後に、以前は入力画像の一部ではなかったオブジェクト又は背景の一部分が見えるように、ＰＯＶワーピングにおいてシフトし得る。よって、いくつかの実施形態では、オクルージョン領域は、ブレンディング、新しい画素値の生成、（例えば、追加のカメラからの）追加の画像キャプチャなどによって充填され得る。加えて又は代わりに、いくつかの実施形態では、オクルージョン領域の充填において、機械学習（例えば、深層学習）を利用して、欠落画素値を推定し得る。

【0032】

いくつかの実施形態では、いくつかの種類のワーピング、例えば、ＰＯＶワーピングに対する補正は、画素グリッドを利用して、入力画像データ内の画素位置を、視聴者のＰＯＶに対して補正されたワーピング後位置にマッピングし得る。しかしながら、より粗いグリッドを使用するワーピングは、画像アーチファクトをもたらし得る一方で、より細かいグリッドワーピングは、処理帯域幅に負担をかけ、及び／又は追加の時間を要し得る。画像アーチファクトを回避し、効率を高めるために、階層的グリッドは、ワーピング操作を実行するときに可変グリッドパーティションサイズを有し得る。いくつかの実施形態では、階層的グリッドは、画像データの、対応する部分に関連付けられた画像統計情報に応じて、グリッドパーティションを４分の１に反復的に分割することによって決定される四分木グリッド構造を有し得る。例えば、階層的グリッドは、６４×６４画素パーティションから開始することによって決定され得る。画像統計情報（例えば、均質性、オクルージョン、知覚される深度、エッジ、又はより細かいワーピング計算を必要とし得る他の画像特徴）に応じて、グリッドのその特定の６４×６４パーティションはフルなパーティションのままとするか、又はパーティションは、４つの３２×３２画素のパーティションに分割され得る。各新しいパーティションは、所望の粒度に達するまで、画像統計情報に応じて維持されるか、又はさらに分割され得る。さらに、いくつかのパーティションは、ディスプレイのアクティブ領域の外にあることによって、又はオクルージョンを含むものとして、無効として指定され得る。本明細書で解説されるように、無効領域は、帯域幅を低減するためにワーピングでは無視してもよく、必要に応じて（例えば、アクティブ領域において）別個に充填され得る。

【0033】

各パーティションの入力画像データへの座標マッピングにより、階層的補間を使用して各グリッド点の座標を求め得る。例えば、３２×３２画素パーティションに対応する座標は、６４×６４パーティション座標から補間され得る。続いて、１６×１６画素パーティションに対応する座標は３２×３２パーティション座標などから補間され得、同様のことが各グリッド点の座標マッピングが決定されるまで続けられ得る。加えて、補間の各ステージにおいて、パーティションサイズの座標が利用可能である（例えば、グリッドが６４×６４パーティションよりも小さいパーティションに分割された）場合、対応する画素の座標は、グリッドの一部としてすでに算出されている可能性があり、補間される代わりに直接使用され得る。

【0034】

アーチファクトの可能性が低いパーティションにおけるワーピング計算を低減し、画像統計情報に基づいて特定の領域において、より細かいワーピング操作を実行することによって、画像品質を維持しながら、処理時間及び／又は帯域幅使用量を低減し得る。そのうえ、短縮された処理時間は、ユーザの位置／ＰＯＶの変化に対するリアルタイム又は拡張フィードバックを提供し得る。理解されるように、グリッドサイズは一例であり、限定するものではない。さらに、画素グリッドに関する開示された技法は、ＰＯＶワーピング、幾何学的歪みワーピング、時間的ワーピングなどのワーピングを含むがこれらに限定されない複数の異なる画像処理操作のいずれかに使用され得る。実際、他の画像処理操作は、効率の向上及び／又は処理時間の短縮のために階層的グリッド構造を利用し得る。したがって、画像品質を改善し、及び／又は効率を高めるために、本開示は、一般的な階層的グリッドのための、及び拡張ＰＯＶワーピングのための技法を提供する。

【0035】

階層的グリッドを利用する電子デバイス１０の一実施形態を図１に示す。以下に、より詳細に説明するように、電子デバイス１０は、ハンドヘルド電子デバイス、タブレット電子デバイス、ノートブックコンピュータなどの、任意の好適な電子デバイスであり得る。したがって、図１は特定の実装形態の一例に過ぎず、電子デバイス１０内に存在し得る構成要素の種類を示すことを意図するものであることに留意されたい。

【0036】

電子デバイス１０は、１つ以上の電子ディスプレイ１２と、入力デバイス１４と、入出力（Ｉ／Ｏ）ポート１６と、１つ以上のプロセッサ又はプロセッサコアを有するプロセッサコア複合体１８と、ローカルメモリ２０と、メインメモリストレージデバイス２２と、ネットワークインタフェース２４と、電源２６と、画像処理回路構成２８と、を備え得る。図１に示す様々な構成要素は、ハードウェア要素（例えば、回路構成）、ソフトウェア要素（例えば、命令を記憶する有形で非一時的なコンピュータ可読媒体）、又はハードウェア要素とソフトウェア要素の両方の組合せを含み得る。理解されるように、この様々な構成要素は、組み合わせてより数の少ない構成要素としてもよく、又は分離して追加の構成要素としてもよいことを留意されたい。例えば、ローカルメモリ２０及びメインメモリストレージデバイス２２は、単一の構成要素に含まれ得る。加えて、画像処理回路構成２８（例えば、グラフィック処理ユニット、ディスプレイ画像処理パイプラインなど）が、プロセッサコア複合体１８に含まれ得る。

【0037】

プロセッサコア複合体１８は、ローカルメモリ２０及びメインメモリストレージデバイス２２に動作可能に結合され得る。ローカルメモリ２０及び／又はメインメモリストレージデバイス２２は、プロセッサコア複合体１８によって実行可能な命令及び／又はプロセッサコア複合体１８によって処理されることになるデータを格納する有形で非一時的なコンピュータ可読媒体を含み得る。例えば、ローカルメモリ２０は、ランダムアクセスメモリ（Random Access Memory、ＲＡＭ）を含み得、メインメモリストレージデバイス２２は、読み取り専用メモリ（Read Only Memory、ＲＯＭ）、フラッシュメモリなどの書き換え可能不揮発性メモリ、ハードドライブ、光学ディスク及び／又は同様のものを含み得る。

【0038】

プロセッサコア複合体１８は、ローカルメモリ２０及び／又はメインメモリストレージデバイス２２に記憶されている命令を実行して、ソース画像データの生成などの動作を実行し得る。よって、プロセッサコア複合体１８は、１つ以上の汎用マイクロプロセッサ、１つ以上の特定用途向けプロセッサ（Application Specific Processor、ＡＳＩＣ）、１つ以上のフィールドプログラマブルロジックアレイ（Field Programmable Logic array、ＦＰＧＡ）、又はその任意の組合せを含み得る。

【0039】

例えば、ネットワークインタフェース２４は、電子デバイス１０を、Ｂｌｕｅｔｏｏｔｈネットワークなどのパーソナルエリアネットワーク（Personal Area Network、ＰＡＮ）、８０２．１１ｘ Ｗｉ－Ｆｉネットワークなどのローカルエリアネットワーク（Local Area Network、ＬＡＮ）、及び／又は４Ｇ、ＬＴＥ、若しくは５Ｇセルラネットワークなどの広域ネットワーク（Wide Area Network、ＷＡＮ）に接続し得る。このようにして、ネットワークインタフェース２４は、電子デバイス１０が画像データをネットワークに送信すること、及び／又はネットワークから画像データを受信することを可能にし得る。

【0040】

電源２６は、電子デバイス１０内のプロセッサコア複合体１８及び／又は他の構成要素を動作させるための電力を供給し得る。したがって、電源２６は、充電式リチウムポリマ（Ｌｉｔｈｉｕｍ ｐｏｌｙｍｅｒ、Ｌｉ－ｐｏｌｙ）バッテリ及び／又は交流（alternating current、ＡＣ）電力変換器などの任意の好適なエネルギー源を含み得る。

【0041】

Ｉ／Ｏポート１６は、電子デバイス１０が様々な他の電子デバイスとインタフェースすることを可能にし得る。入力デバイス１４は、ユーザが電子デバイス１０とインタラクションすることを可能にし得る。例えば、入力デバイス１４は、ボタン、キーボード、マウス、トラックパッドなどを含み得る。加えて又は代わりに、電子ディスプレイ１２は、その画面（例えば、電子ディスプレイ１２の表面）をタッチするオブジェクトの出現及び／又は位置を検出することにより電子デバイス１０へのユーザ入力を可能にするタッチ感知構成要素を含み得る。

【0042】

電子ディスプレイ１２は、オペレーティングシステムのグラフィカルユーザインタフェース（Graphical User Interface、ＧＵＩ）、アプリケーションインタフェース、テキスト、静止画、又はビデオコンテンツを表示し得る。画像を表示することを容易にするために、電子ディスプレイ１２は、１つ以上の表示画素を有するディスプレイパネルを含み得る。加えて、それぞれの表示画素は、各々が色成分（例えば、赤色、青色、又は緑色）の輝度を制御する１つ以上の部分画素を含み得る。本明細書で使用される場合、表示画素は、部分画素（例えば、赤色、緑色、及び青色部分画素）の集合を指し得、又は単一の部分画素を指し得る。

【0043】

上述のとおり、電子ディスプレイ１２は、対応する画像データに少なくとも部分的に基づいて、部分画素の輝度を制御することによって画像を表示し得る。いくつかの実施形態では、画像データは、例えば、ネットワークインタフェース２４及び／又はＩ／Ｏポート１６を介して別の電子デバイスから受信され得る。加えて又は代わりに、画像データは、プロセッサコア複合体１８及び／又は画像処理回路構成２８によって生成され得る。そのうえ、いくつかの実施形態では、電子デバイス１０は、複数の電子ディスプレイ１２を含み得、並びに／又はネットワークインタフェース２４及び／若しくはＩ／Ｏポート１６を介して接続されるなど、１つ以上の外部電子ディスプレイ１２のための画像処理を（例えば、画像処理回路構成２８を介して）実行し得る。

【0044】

電子デバイス１０は、任意の好適な電子デバイスであり得る。説明に役立つものとして、好適な電子デバイス１０の一例、具体的にはハンドヘルドデバイス１０Ａを図２に示す。
いくつかの実施形態では、ハンドヘルドデバイス１０Ａは、ポータブル電話機、メディアプレーヤ、パーソナルデータオーガナイザ、ハンドヘルドゲームプラットフォーム及び／又は同様のものであり得る。例えば、ハンドヘルドデバイス１０Ａは、Ａｐｐｌｅ Ｉｎｃ．から入手可能なｉＰｈｏｎｅ（登録商標）モデルなどのスマートフォンであり得る。

【0045】

ハンドヘルドデバイス１０Ａは、例えば、内部構成要素を物理的破損から守り、及び／又は電磁干渉から遮蔽するエンクロージャ３０（例えば、ハウジング）を含み得る。加えて、エンクロージャ３０は、電子ディスプレイ１２を少なくとも部分的に囲み得る。図示の実施形態では、電子ディスプレイ１２は、アイコン３４のアレイを有するグラフィカルユーザインタフェース（ＧＵＩ）３２を表示している。例として、アイコン３４が電子ディスプレイ１２の入力デバイス１４又はタッチ感知構成要素のいずれかによって選択されると、アプリケーションプログラムが起動し得る。

【0046】

さらに、入力デバイス１４は、エンクロージャ３０の開口部を通して設けられ得る。上述のとおり、入力デバイス１４は、ユーザがハンドヘルドデバイス１０Ａとインタラクションすることを可能にし得る。例えば、入力デバイス１４は、ユーザがハンドヘルドデバイス１０Ａをアクティブ若しくは非アクティブにすること、ユーザインタフェースをホーム画面にナビゲーションすること、ユーザインタフェースをユーザが構成変更可能なアプリケーション画面にナビゲーションすること、音声認識機能をアクティブにすること、音量調節を提供すること、及び／又は振動モードと鳴動モードとの間でトグルすることを可能にし得る。そのうえ、Ｉ／Ｏポート１６もまた、エンクロージャ３０を通して開けられる。加えて、電子デバイスは、写真又はビデオをキャプチャするための１つ以上のカメラ３６を含み得る。いくつかの実施形態では、カメラ３６は、電子ディスプレイ１２上の仮想現実又は拡張現実の可視化と併せて使用され得る。

【0047】

好適な電子デバイス１０の別の例、具体的にはタブレットデバイス１０Ｂを図３に示す。例示として、タブレットデバイス１０Ｂは、Ａｐｐｌｅ Ｉｎｃ．から入手可能なｉＰａｄ（登録商標）モデルであってもよい。好適な電子デバイス１０の更なる例、具体的にはコンピュータ１０Ｃを図４に示す。例示として、コンピュータ１０Ｃは、Ａｐｐｌｅ Ｉｎｃ．から入手可能なＭａｃｂｏｏｋ（登録商標）又はｉＭａｃ（登録商標）モデルであってもよい。好適な電子デバイス１０の別の例、具体的には携帯時計１０Ｄを図５に示す。例示として、ウォッチ１０Ｄは、Ａｐｐｌｅ Ｉｎｃ．から入手可能なＡｐｐｌｅ Ｗａｔｃｈ（登録商標）モデルであってもよい。図示のように、タブレットデバイス１０Ｂ、コンピュータ１０Ｃ、及び携帯時計１０Ｄも各々、電子ディスプレイ１２、入力デバイス１４、Ｉ／Ｏポート１６、及びエンクロージャ３０を含む。

【0048】

上述のとおり、電子ディスプレイ１２は、画像データに少なくとも部分的に基づいて画像を表示し得る。電子ディスプレイ１２上に対応する画像を表示するために使用される前に、画像データは、例えば、画像処理回路構成２８を介して処理され得る。概して、画像処理回路構成２８は、１つ以上の電子ディスプレイ１２上に表示するために画像データを処理し得る。例えば、画像処理回路構成２８は、ディスプレイパイプライン、メモリツーメモリスケーラ及びローテータ（Memory-to-memory Scaler and Rotator、ＭＳＲ）回路構成、ワーピング補償回路構成、又は画像データを処理する追加のハードウェア又はソフトウェア手段を含み得る。画像データは、画像アーチファクトを低減又は除去し、１つ以上の異なるソフトウェア又はハードウェア関連の影響を補償し、及び／又は１つ以上の電子ディスプレイ１２上に表示するために画像データをフォーマットするために、画像処理回路構成２８によって処理され得る。理解されるように、本技法は、スタンドアロン回路構成、ソフトウェア、及び／又はファームウェアにおいて実装されてもよく、ディスプレイパイプライン若しくはＭＳＲ回路構成の一部である、ディスプレイパイプライン若しくはＭＳＲ回路構成とは別個である、及び／又はディスプレイパイプライン若しくはＭＳＲ回路構成と並列であると見なされ得る。

【0049】

説明に役立つものとして、画像処理回路構成２８を含む電子デバイス１０の一部分を図６に示す。いくつかの実施形態では、画像処理回路構成２８は、電子デバイス１０内の回路構成、電子ディスプレイ１２内の回路構成、又はその組合せによって実装され得る。例えば、画像処理回路構成２８は、プロセッサコア複合体１８、電子ディスプレイ１２内のタイミングコントローラ（Timing CONtroller、ＴＣＯＮ）、又はその任意の組合せに含まれ得る。理解されるように、画像処理が、本明細書ではいくつかの画像データ処理ブロックを介して実行されるものとして解説されているが、実施形態は、本明細書で解説される技法を実行するためのハードウェア又はソフトウェア構成要素を含み得る。

【0050】

電子デバイス１０はまた、画像データソース３８、ディスプレイパネル４０、及び／又は画像処理回路構成２８と通信するコントローラ４２を含み得る。いくつかの実施形態では、電子ディスプレイ１２のディスプレイパネル４０は、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、有機ＬＥＤ（ＯＬＥＤ）ディスプレイ、又は任意の他の好適な種類のディスプレイパネル４０であり得る。いくつかの実施形態では、コントローラ４２は、画像処理回路構成２８、画像データソース３８、及び／又はディスプレイパネル４０の動作を制御し得る。動作の制御を容易にするために、コントローラ４２は、コントローラプロセッサ４４及び／又はコントローラメモリ４６を含み得る。いくつかの実施形態では、コントローラプロセッサ４４は、プロセッサコア複合体１８、画像処理回路構成２８、電子ディスプレイ１２内のタイミングコントローラ、別個の処理モジュール、又はその任意の組合せに含まれて、コントローラメモリ４６に記憶されている命令を実行し得る。加えて、いくつかの実施形態では、コントローラメモリ４６は、ローカルメモリ２０、メインメモリストレージデバイス２２、別個の有形で非一時的なコンピュータ可読媒体、又はその任意の組合せに含まれ得る。

【0051】

画像処理回路構成２８は、電子ディスプレイ１２に表示されることになる所望の画像に対応するソース画像データ４８を画像データソース３８から受信し得る。ソース画像データ４８は、８ビット固定小数点αＲＧＢフォーマット、１０ビット固定小数点αＲＧＢフォーマット、符号付き１６ビット浮動小数点αＲＧＢフォーマット、８ビット固定小数点ＹＣｂＣｒフォーマット、１０ビット固定小数点ＹＣｂＣｒフォーマット、１２ビット固定小数点ＹＣｂＣｒフォーマット、及び／又は同様のものなど、任意の好適なソースフォーマットを用いて、所望の画像に対応するターゲット特性（例えば、画素データ）を示し得る。いくつかの実施形態では、画像データソース３８は、プロセッサコア複合体１８、画像処理回路構成２８、又はその組合せに含まれ得る。さらに、ソース画像データ４８は、線形色空間、ガンマ補正後色空間、又は任意の他の適切な色空間に存在し得る。本明細書で使用される場合、画素又は画素データは、部分画素（例えば、赤、緑、及び青などの個々の色成分画素）のグループ化、又は部分画素自体を指し得る。

【0052】

上述のとおり、画像処理回路構成２８は、画像データソース３８から受信したソース画像データ４８を処理するように動作し得る。データソース３８は、カメラ３６からのキャプチャされた画像、メモリに記憶された画像、プロセッサコア複合体１８によって生成されたグラフィックス、又はその組合せを含み得る。画像処理回路構成２８は、ワーピング処理ブロック５２などの画像データ処理ブロック５０（例えば、回路構成、モジュール、又は処理ステージ）の１つ以上のセットを含み得る。理解されるように、複数の他の処理ブロック５４もまた、色管理ブロック、ディザブロック、回転ブロックなどの画像処理回路構成２８に組み込まれ得る。さらに、いくつかの実施形態では、複数のワーピング処理ブロック５２は、画像処理回路構成２８の異なる適用に別個のワーピング操作を提供するために使用され得る。例えば、異なるワーピング処理ブロック５２は、異なる画像データソース３８からの画像データ（例えば、キャプチャされた画像、グラフィカルに生成された画像など）に使用され得る。画像データ処理ブロック５０は、ソース画像データ４８を受信して処理し、ディスプレイパネル４０によって解釈可能なフォーマット（例えば、デジタルフォーマット及び／又は解像度）で表示画像データ５６を出力し得る。さらに、画像処理回路構成２８によって実行される機能（例えば、動作）は、様々な画像データ処理ブロック５０の間で分配されてもよく、「ブロック」という用語が本明細書で使用される場合、画像データ処理ブロック５０の間に論理的な分離があってもなくてもよい。

【0053】

ワーピング処理ブロック５２は、１つ以上のワーピング操作中に異なる表示シナリオを考慮して、画素値の量（例えば、解像度）又は分布（例えば、形状、相対的サイズ、パースペクティブなど）を変更することによって、知覚される画像品質を改善することを容易にし得る。説明に役立つものとして、図７は、視点（ＰＯＶ）ワーピングサブブロック６０と階層的グリッド補間サブブロック６２とを含むワーピング処理ブロック５２のブロック図５８である。概して、ワーピング処理ブロック５２は、入力画像データ６４を受信し、１つ以上のワーピングを入力画像データ６４に適用することによって処理済み画像データ６６を生成し得る。理解されるように、ワーピング処理ブロック５２は、幾何学的ワーピング、レンズ補正ワーピング、時間的ワーピングなどのための他のワーピングサブブロックを含み得る。そのうえ、ＰＯＶワーピングサブブロック６０を、１つ以上の他のワーピングと組み合わせて（例えば、スタックして）、組み合わせワーピング操作とし得る。

【0054】

ＰＯＶワーピングサブブロック６０は、例えば、１つ以上のカメラ３６を介した、表示されることになる画像のキャプチャと比較して、ディスプレイに対する（例えば、位置、アイレリーフ、及び／又は焦点に基づいて決定される）視聴者のＰＯＶに対する補償を提供し得る。そのうえ、視聴者のＰＯＶは、視線追跡などの任意の適切な方法によって監視され得る。加えて、視聴者の高さは、ユーザ入力、又は電子デバイス１０と電子デバイス１０に対する視聴者の推定位置との間の相対的な高さの差に基づいて決定され得る。

【0055】

非限定的な例として、拡張現実、仮想現実、又は複合現実デバイスは、以前に又はリアルタイムで画像をキャプチャし、あたかも画像が物理的に視聴者の視野内にあるかのように、画像を拡張あり又はなしで視聴者に表示し得る。しかしながら、画像は、視聴者が通常経験するはずのものと異なるパースペクティブでキャプチャされたものであり得、このことは、視聴者が画像をどのように知覚するかを変え得る。例えば、オブジェクトは、それ自体又は他のオブジェクトに対して、より短く、より高く、より広く、より小さく、あるいはパースペクティブから外れて見えることがある。したがって、いくつかの実施形態では、ＰＯＶワーピングサブブロック６０は、知覚される画像が低減された歪みを有するか又は歪みを有さないように、画像データが表示される前に画像データをワーピングし得る。

【0056】

いくつかのシナリオでは、ソースフレーム７０（別名、ソース空間）からＰＯＶワーピング後フレーム７２（別名、ワーピング後空間）へのＰＯＶワーピング６８は、図８に示すように、画像７６内に１つ以上のオクルージョン領域７４を生じさせ得る。例えば、前景オブジェクト７８は、ＰＯＶワーピング６８の後に、以前は画像７６の一部ではなかった前景オブジェクト又は背景８０の一部分が見えるように、ＰＯＶワーピング６８においてシフトし得る。よって、ＰＯＶワーピング６８の後に、ソースフレーム７０内の入力画像データ６４へのマッピングを有さないＰＯＶワーピング後フレーム７２の部分が存在し得る。

【0057】

いくつかの実施形態では、ワーピング処理ブロック５２は、ＰＯＶワーピング後フレーム７２内のオクルージョン領域７４を充填するための画像データを生成し得る。例えば、オクルージョン領域７４は、オクルージョン領域７４の周囲の画素値をブレンディングすることによって、若しくは別の時間に（例えば、元のキャプチャの前又は後に）、１つ以上の異なる角度から、及び／又は異なるパースペクティブを有する追加の画像キャプチャデバイス（例えば、カメラ３６）によって、キャプチャされた画像などの追加の画像キャプチャからの画像データ使用することによって、充填され得る。例えば、いくつかの実施形態では、ステレオのカメラ３６は、互いのオクルージョン領域７４を低減又は除去するように組み合わせられ得るパースペクティブを提供する。このような場合、第２のカメラ３６からの入力画像データ６４は、ＰＯＶワーピング後フレーム７２へのＰＯＶワーピング６８がなされ得、オクルージョン領域７４に対応する部分が充填データとして使用され得る。加えて又は代わりに、いくつかの実施形態では、ワーピング処理ブロック５２は、ペインティングアルゴリズム及び／又は機械学習（例えば、深層学習）を利用することによって、オクルージョン領域７４の画素値を推定し、充填するために新しい画素値を生成し得る。

【0058】

加えて、いくつかの実施形態では、オクルージョン領域７４のエッジとオーバーラップする又は隣接するウィンドウ８２を用いてサンプリング又はリサンプリングが行われ得る。いくつかのシナリオでは、オクルージョン領域７４の境界にわたるフィルタリングは、アーチファクト８４を生じさせ得る。よって、いくつかの実施形態では、オクルージョン領域７４の周りの領域について、フィルタリングは低減又は除外され得る。

【0059】

図９は、ワーピング処理ブロック５２によって実行される例示的なプロセス８６のフローチャートである。概して、ワーピング処理ブロック５２は、入力画像データ６４及び／又は入力画像データ６４を示す画像統計情報を受信し得る（プロセスブロック８８）。ワーピング処理ブロック５２はまた、ＰＯＶワーピング６８を画素グリッドに適用して、ソースフレーム７０内の画素位置のＰＯＶワーピング後フレーム７２内の画素位置へのマッピングを生成し得る（プロセスブロック９０）。入力画像データ６４は、ワーピング後画素グリッド座標値に従って、ＰＯＶワーピング後フレーム７２にマッピングされ得る（プロセスブロック９２）。加えて、オクルージョン領域７４の充填データが決定され得る（プロセスブロック９４）。ＰＯＶワーピング後フレーム７２内の充填データとワーピング後画像データは、処理済み画像データ６６を生成するために結合（例えば、ブレンディング）され得（プロセスブロック９６）、次いで、処理済み画像データ６６は、他の処理ブロック５４及び／又はディスプレイパネル４０に出力され得る（プロセスブロック９８）。

【0060】

いくつかの実施形態では、異なる種類のワーピングを適用するために、例えば、ＰＯＶワーピング６８及び／又はワーピング処理ブロック５２は、画素グリッドを利用して、ソースフレーム７０内の画素位置を、視聴者のＰＯＶに対して補正されたＰＯＶワーピング後フレーム７２内の位置にマッピングし得る。画素グリッド上でワーピングを実行することにより、すべての入力画像データをフェッチ又は処理することなく画素座標のマッピングを作成することにより、効率を高め得る。例えば、ＰＯＶワーピング６８又は他のワーピング操作の後、特定の画像データが不要になる可能性があり、未使用データのフェッチ及び／又は処理を低減又は除外することにより、効率を高め得る。概して、画素グリッドは、ソースフレーム７０（すなわち、ソース空間）内の入力画像データ６４の座標へのマッピングを定義するグリッド点を含み得る。マッピングは、ソフトウェア又はハードウェアで実現し得るＰＯＶワーピング６８に基づいて生成され得る。マッピングを決定した後、グリッド点の座標マッピングに対応する入力画像データ６４の部分をフェッチして画素グリッドを解決し、ＰＯＶワーピング後フレーム７２内に画像７６を生成し得る。

【0061】

いくつかのシナリオでは、より粗いグリッドを使用するワーピングは、ボケなどの１つ以上の画像アーチファクトをもたらすことがある。一方、より細かいグリッドを使用するワーピングは、向上した鮮明さ及び低減された画像アーチファクトを提供し得るが、より細かいグリッドは、処理帯域幅に負担をかけ、及び／又はレンダリングするのに追加の時間を要し得る。よって、いくつかの実施形態では、ワーピング処理ブロック５２は、図１０に示すように、階層的グリッド１００を利用し得る。階層的グリッド１００は、ワーピング操作を実行するとき、可変サイズのグリッドパーティション１０２Ａ、１０２Ｂ、１０２Ｃ、１０２Ｄ（集合的に１０２と呼ばれる）を有し得る。例えば、各ワーピング後グリッドパーティション１０２は、ソースフレーム７０内の単一の画素座標を、グリッドパーティション１０２の角部又は中心グリッド点など、ワーピング後フレーム（例えば、ＰＯＶワーピング後フレーム７２）内の単一の画素に相関させ得る。グリッドパーティション１０２の粒度に応じて、グリッドパーティション１０２内のいくつか（例えば、より粗い／より大きいグリッドパーティション１０２についてはより大きい数、より細かい／より小さいグリッドパーティション１０２についてはより小さい数）の他のグリッド点について、ソースフレーム７０にマッピングされる座標が、（例えば、階層的グリッド補間サブブロック６２によって）補間され得る。

【0062】

いくつかの実施形態では、階層的グリッド１００は、入力画像データ６４の対応する部分に関連付けられた画像統計情報に応じて、グリッドパーティション１０２を４分の１に反復的に分割又はマージングすることによって決定される四分木グリッド構造を有し得る。例えば、階層的グリッド１００は、比較的大きなグリッドパーティション１０２の均一なグリッド１０６から開始するトップダウン分割１０４を介して決定されてもよい。粗い均一なグリッド１０６は、階層的グリッド１００に到達する前に、０、１、又はもっと多くの中間分割パーティションステージ１０８を経ることがある。加えて又は代わりに、階層的グリッド１００は、ボトムアップマージング１１０によって生成され得る。ボトムアップマージング１１０は、階層的グリッド１００に到達する前に、０、１、又はもっと多くの中間マージングパーティションステージ１１４を経ることがある比較的小さいグリッドパーティション１０２の均一なグリッド１１２から開始してもよい。そのうえ、トップダウン分割１０４及び／又はボトムアップマージング１１０は、反復的に又は単一パスで達成され得る。さらに、ベースパーティション１１６は、トップダウン分割１０４中に、粗い均一グリッド１０６が開始し得る所望の最大粒度に応じて設定され得る。同様に、いくつかの実施形態では、ボトムアップマージング１１０は、ベースパーティション１１６よりも大きいグリッドパーティション１０２を含むようにマージングしなくてもよい。本明細書では四分木グリッド構造を有するものとして解説されているが、階層的グリッド１００は、実装形態に応じて任意の適切な構造を使用することができる。例えば、階層的グリッドの構造は、各階層的な層／レベルにおいて、半分、４分の１、８分の１、又は任意の適切な分数に分岐し得る。

【0063】

さらなる説明に役立つものとして、図１３は、図１０による６４×６４ベースパーティション１１６のトップダウン分割１０４である。理解されるように、ベースパーティション１１６のサイズ（例えば、６４×６４）、最小パーティション１０２（例えば、４×４グリッドパーティション１０２Ｄ）、及び／又は分割若しくはマージングのステップサイズは、帯域幅及び／又は画像品質要求などの実装形態に応じて変動し得る。概して、対応する入力画像データ６４の画像統計情報（例えば、均質性、オクルージョン、アクティブ領域位置、知覚される深度、エッジ、及び／又はより細かいワーピング計算を必要とし得る他の画像特徴）に応じて、特定のベースパーティション１１６は、そのままとするか、４つの３２×３２グリッドパーティション１０２Ａに分割され得る。各新しいグリッドパーティション１０２は維持されるか、あるいはそれ以上の分割が望まれなくなるまで、又は最小のパーティション１０２が達成されるまで、画像統計情報に応じてさらに分割され得る。例えば、グリッドパーティション１０２が大体均質であり、オクルージョン領域７４を有さない場合、グリッドパーティション１０２は維持され得るが、グリッドパーティション１０２がオクルージョンを有するか、（例えば、設定若しくは計算されたパラメータに対して）著しく不均質であるか、又は設定若しくは計算されたしきい値量よりも大きいエッジ若しくは知覚される深度の変化を含む場合、グリッドパーティション１０２を分割して、このような関心領域における粒度を高め得る。図示の例では、１つの３２×３２グリッドパーティション１０２Ａが、４つの１６×１６グリッドパーティション１０２Ｂに分割され、１６×１６グリッドパーティション１０２Ｂのうちの１つが、４つの８×８グリッドパーティション１０２Ｃに分割される。

【0064】

入力画像データ６４に対する関心領域の画像統計情報に基づいて粒度を調節することに加えて、階層的グリッド１００は、ディスプレイ１２のアクティブ領域に基づいてパーティション化され得る。例えば、入力画像データ６４は、画像７６の表示される部分（例えば、アクティブ領域）の外側にある画像７６の部分を含み得る。いくつかの実施形態では、アクティブ領域の外側にあり、かつ／又はオクルージョン領域７４に対応する階層的グリッド１００のグリッドパーティション１０２は、無効領域１１８又はパーティションとして指定され得る。いくつかの実施形態では、無効領域１１８は、帯域幅使用量を低減し、速度及び効率を高めるために、ワーピングでは無視してもよい（例えば、対応する入力画像データ６４がフェッチされない）。

【0065】

ワーピング（例えば、ＰＯＶワーピング６８、幾何学的ワーピング、時間的ワーピングなど）がＰＯＶワーピングサブブロック６０又は階層的グリッド補間サブブロック６２によって階層的グリッド１００に適用されるとき、各グリッドパーティション１０２の少なくとも１つの特性グリッド点が、入力画像データ６４のソースフレーム７０内の画素座標にマッピングされる。マッピングは、ディスプレイ１２、画像キャプチャ機構（例えば、カメラ３６）、又は関心オブジェクトに対する、視聴者の目の位置、アイレリーフ、目の焦点、及び／又は他のＰＯＶ計算に対応するＰＯＶパラメータに基づいて、ハードウェア又はソフトウェアで計算され得る。理解されるように、実装形態に応じて、グリッドパーティション１０２ごとに２つ以上の特性グリッド点がマッピングされ得る。そのうえ、特性グリッド点は、参照の便宜上、グリッドパーティション１０２のエッジ、角部、又は中央に合わせられ得る。例えば、特性グリッド点は、各グリッドパーティション１０２の左上角のグリッド点であり、ソースフレーム７０内の座標（例えば、入力画像データ６４の画素グリッドに対する「ｘ」及び「ｙ」座標）にマッピングされ得る。さらに、各グリッドパーティション１０２の特性グリッド点マッピングは既知である（例えば、算出されている）一方、グリッドパーティション１０２の追加のグリッド点は、パーティションマッピングから不明であり得る。よって、階層的グリッド補間サブブロック６２は、既知の特性グリッド点座標マッピング間で階層的補間を行い、残りのグリッド点マッピングの座標を決定し得る。

【0066】

図１４は、ベースパーティション１１６（例えば、６４×６４グリッドパーティション）から始まる階層的補間の概略図１２０である。ベースパーティション１１６がより小さいグリッドパーティション１０２に分割されていない場合、複数の周囲のベースパーティション１１６の特性グリッド点の既知のｘ及びｙ座標マッピングを使用して、特性グリッド点の既知の座標マッピング間の中間点を補間し得る。階層的グリッド１００の構成により、このような中間点は、次の層の３２×３２グリッドパーティション１０２Ａの特性グリッド点に合わせられ得る。よって、３２×３２グリッドパーティション１０２Ａ及びベースパーティション１１６の特性グリッド点が決定され得る。さらに、最小グリッドパーティション（例えば、４×４グリッドパーティション１０２Ｄ）の特性グリッド点が決定されるまで、ベースパーティション１１６及び３２×３２グリッドパーティション１０２Ａの特性グリッド点を補間して、１６×１６グリッドパーティション１０２Ｂなどの特性グリッド点を決定し得る。しかしながら、ベースパーティション１１６が既により小さいグリッドパーティション１０２に分割されている場合、より小さいグリッドパーティションの特性グリッド点の少なくともいくつかはすでに算出されている可能性があり、したがって、補間なしにワーピング後グリッドを完成するために利用することできる。実際に、階層的補間の各層において、既知の値がそれぞれのグリッドパーティション（例えば、１０２Ａ～１０２Ｄ）から入力され得、未知の値は補間され得る。いくつかの実施形態では、反復補間は、以前に補間された座標マッピングを利用して、追加の座標マッピングを補間し得る。

【0067】

さらに、補間は、座標マッピングが１×１グリッドパーティションサイズに対して補間され、ソースフレーム７０の入力画像データ６４へのワーピング後グリッド内の各画素位置に対するマッピングが完了するまで継続し得る。理解されるように、双線形又は双曲線補間など、補間用の任意の適切な方法が座標マッピングを補間するために使用され得る。いくつかの実施形態では、より正確な補間（例えば、双曲線補間）が、３２×３２グリッド点補間及び１６×１６グリッド点補間などの上位の層の補間を決定する際に使用され得、一方、１×１グリッド補間などの下位の層の補間は、双線形補間などのより効率的な補間方法を使用し得る。理解されるように、本明細書では「ｘ」及び「ｙ」座標を使用するものとして述べられているが、任意の適切な座標系を使用して、入力画像データ６４をＰＯＶワーピング後フレーム７２などのワーピング後画像データにマッピングし得る。さらに、いくつかの実施形態では、「ｘ」と「ｙ」座標の補間を別々に処理し、補間の並列処理を可能にし得る。

【0068】

階層的補間のさらなる説明に役立つものとして、図１５は、複数のベースパーティション１１６を有する階層的グリッド１００の概略図である。上記で解説したように、ベースパーティション１１６の特性グリッド点１２２のマッピングは、ソースフレーム７０から宛先フレーム（例えば、ＰＯＶワーピングフレーム７２又は他のワーピング後フレーム）へのワーピングに基づいて計算され得る。ベースパーティション１１６がより小さいグリッドパーティション１０２に分割されていない場合、ベースパーティション１１６の特性グリッド点１２２の既知のｘ及びｙ座標マッピングを使用して、グリッド点１２２の間の中間にグリッド点を補間し得る。階層的グリッド１００の構成により、このような補間されたグリッド点は、３２×３２グリッドパーティション１０２Ａなどの次の層のグリッドパーティション１０２の特性グリッド点１２４に合わせられ得る。よって、３２×３２グリッドパーティション１０２Ａ及びベースパーティション１１６の特性グリッド点１２４は、第１のレベルの補間の後に知られ得る。加えて、ベースパーティション１１６のうちの１つ以上が３２×３２グリッドパーティション１０２Ａ又はより小さいグリッドパーティション１０２Ｂ～１０２Ｄに分割されている場合、３２×３２グリッドパーティション１０２Ａの特性グリッド点１２４のうちのいくつかは、ワーピング計算からすでに知られている可能性がある。いくつかの実施形態では、以前に計算されたグリッド点に対する補間はスキップされても実行されてもよく、ワーピング計算がなされたグリッド点を優先して、無視してもよい。

【0069】

ベースパーティション１１６の特性グリッド点１２２及び３２×３２グリッドパーティション１０２Ａの特性グリッド点１２４を使用して、１６×１６グリッドパーティション１０２Ｂの特性グリッド点１２６を補間し得る。３２×３２グリッドパーティション１０２Ａの場合と同様に、１つ以上のベースグリッド１１６が１６×１６グリッドパーティション１０２Ｂ又はより小さいグリッドパーティション１０２Ｃ、１０２Ｄに分割されている場合、１６×１６グリッドパーティション１０２Ｂの特性グリッド点１２６のいくつかは、ワーピング計算からすでに知られている可能性がある。反復される補間は、ワーピング操作により、あるいは補間によって、各グリッド点のマッピングが決定されるまで、階層的補間の各層において継続し得る。

【0070】

加えて、最も左上のグリッド点として示されているが、理解されるように、ベースパーティション１１６及びグリッドパーティション１０２内の任意の相対位置が、特性グリッド点１２２、１２４、１２６として使用されてもよい。さらに、上述したように、ベースパーティション１１６は６４×６４グリッドパーティションによって例示されているが、任意の適切なサイズのベースパーティション１１６を利用して、各グリッド点が解決されるまで反復補間を行ってもよい。

【0071】

図１６は、ソースフレーム７０からワーピング操作を、ＰＯＶワーピング後フレーム７２などのワーピング後フレームにマッピングする際に階層的グリッド１００を使用する例示的なプロセス１２８のフローチャートである。ワーピング処理ブロック５２などの画像処理回路構成２８は、入力画像データ６４及び／又は入力画像データ６４に基づく画像統計情報を受信し得る（プロセスブロック１３０）。いくつかの実施形態では、ワーピング処理ブロック５２は、画像統計情報をオンザフライで決定し、及び／又は別の処理ブロック５４から画像統計情報を受信し得る。画像処理回路構成２８はまた、無効領域１１８（プロセスブロック１３２）及び階層的グリッド１００のグリッドパーティション１０２（プロセスブロック１３４）を決定し得る。例えば、オクルージョン領域７４及び／又はディスプレイ１２のアクティブ領域の外側にある領域は、無効と見なされてもよく、いくつかの実施形態では、帯域幅を節約するために、無効領域１１８に対応する入力画像データ６４がフェッチされなくてもよい。そのうえ、グリッドパーティション１０２は、領域が無効であるかどうか、及び／又はエッジ効果、知覚可能な深度の変化、均質性、若しくは他の画像特徴が領域内に存在するかどうかを含み得る画像統計情報に基づいて決定され得る。さらに、階層的グリッド１００は、グリッドパーティション１０２に従ってワーピングされ得る（プロセスブロック１３６）。階層的グリッドをワーピングすることは、ソースフレーム７０へのグリッドパーティション１０２の特性グリッド点のマッピングを決定すること（プロセスブロック１３８）と、階層的補間を決定すること（プロセスブロック１４０）とを含み得る。次いで、画像処理回路構成２８は、ワーピング後グリッドに従って入力画像データ６４をマッピングしてワーピング後画像データを生成し得（プロセスブロック１４２）、ワーピング後画像データを出力し得る（プロセスブロック１４４）。理解されるように、ソースフレーム７０から宛先フレーム（例えば、ワーピング後フレーム）への入力画像データ６４のマッピングを適用することは、ワーピング後グリッドのマッピングを入力画像データ６４に適用すること、又はワーピング後グリッド内にマッピングされた対応する入力画像データ６４の値をフェッチし、ワーピング後グリッドの適所にまとめることを含み得る。いくつかの実施形態では、オクルージョン領域７４又は他の無効領域１１８は、存在する場合、周囲の画素値をブレンディングすることによって、別の時間に又は異なるパースペクティブを有する追加のカメラ３６によってキャプチャされた画像などの追加の画像キャプチャからの画像データを使用することによって、及び／又は画像７６の特性に基づいて新しい画像データを生成することによって、充填され得る。よって、処理済み画像データ６６は、追加の画像処理のために、又は表示画像データ５６として出力され得る。

【0072】

アーチファクトの可能性が低いパーティションにおけるワーピング計算を低減し、画像統計情報に基づいて特定の領域において、より細かいワーピング操作を実行することによって、画像品質を維持しながら、処理時間及び／又は帯域幅使用量を低減し得る。したがって、一般的な階層的グリッド及び拡張ＰＯＶワーピングのための本技法は、画像品質を改善し、及び／又は効率を高め、位置／ＰＯＶにおけるユーザの変化に対するリアルタイム又は拡張フィードバックを提供する。

【0073】

上記で参照したフローチャートは所与の順序で示されているが、特定の実施形態では、処理／判定ブロックの順序は、並べ替えられ、変更され、削除され、及び／又は同時に発生してもよい。加えて、参照したフローチャートは、例示的なツールとして与えられ、更なる判定ブロックやプロセスブロックもまた、実装形態に応じて追加されてもよい。

【0074】

上記の具体的な実施形態は、例として示されており、これらの実施形態は、様々な修正形態及び代替形態が可能であり得ることを理解されたい。特許請求の範囲は、開示の特定の形態に限定されることを意図するものではなく、むしろ、本開示の趣旨及び範疇内に入る全ての修正、等価物、及び代替案を網羅することを意図するものであることをさらに理解されたい。

【0075】

本明細書に提示及び特許請求されている技法は、本技術分野を実証可能に改善する、実用的な性質の有形物及び実際の例に参照及び適用されるものであり、よって、抽象的な、無形の、又は純粋に理論的なものではない。さらに、本明細書の最後に添付されている特許請求の範囲のいずれかの請求項が、「～［機能］を［実行］する手段」又は「～［機能］を［実行］するステップ」として示された１つ以上の要素を含む場合、このような要素は、米国特許法第１１２条（ｆ）下で解釈されるべきことが意図されている。しかしながら、他の方法で示された要素を含む請求項については、このような要素は、米国特許法第１１２条（ｆ）下で解釈されるべきではないことが意図されている。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【手続補正書】

【提出日】2023-12-21

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

処理済み画像データに少なくとも部分的に基づいて画像を表示するように構成されている電子ディスプレイと、
画像処理回路構成であって、
第１のパースペクティブの前記画像に対応する入力画像データを受信し、
前記入力画像データを、前記第１のパースペクティブから第２のパースペクティブにワーピングして、ワーピング後画像データを生成し、
前記第２のパースペクティブの１つ以上のオクルージョン領域を決定し、
前記１つ以上のオクルージョン領域に対応する充填データを決定し、
前記ワーピング後画像データと前記充填データとを組み合わせることによって、前記処理済み画像データを生成する、ように構成されている画像処理回路構成と、
を備える、電子デバイス。

【請求項2】

前記１つ以上のオクルージョン領域が、前記第１のパースペクティブでは見えない前記第２のパースペクティブの前記画像の部分を含む、請求項１に記載の電子デバイス。

【請求項3】

前記画像処理回路構成が、前記第２のパースペクティブを示す空間の画素グリッドであって、前記画素グリッドのグリッド点が、前記第１のパースペクティブから前記第２のパースペクティブへのマッピングを定義する、画素グリッドを決定するように構成されている、請求項１に記載の電子デバイス。

【請求項4】

前記画像処理回路構成が、前記１つ以上のオクルージョン領域に対応する前記画素グリッドの１つ以上の部分を無効領域として指定するように構成されている、請求項３に記載の電子デバイス。

【請求項5】

前記無効領域にはワーピング操作が適用されず、前記無効領域に対して前記入力画像データがフェッチされない、請求項４に記載の電子デバイス。

【請求項6】

前記入力画像データをワーピングすることが、前記第１のパースペクティブから前記第２のパースペクティブへの前記マッピングを決定することと、前記マッピングに従って前記入力画像データの部分をフェッチして前記画素グリッドを解決することと、を含む、請求項４に記載の電子デバイス。

【請求項7】

前記１つ以上のオクルージョン領域のうちのオクルージョン領域の前記充填データを決定することが、
第３のパースペクティブの前記画像に対応する第２の入力画像データを受信することと、
前記第２の入力画像データを、前記第３のパースペクティブから前記第２のパースペクティブにワーピングして、第２のワーピング後画像データを生成することと、
前記オクルージョン領域に対応する前記第２のワーピング後画像データの部分を、前記充填データとして選択することと、を含む、請求項１に記載の電子デバイス。

【請求項8】

２つ以上のカメラを備え、前記入力画像データ及び前記第２の入力画像データが、前記２つ以上のカメラのうちの異なるカメラからの画像キャプチャに基づいて生成される、請求項７に記載の電子デバイス。

【請求項9】

前記１つ以上のオクルージョン領域のうちのオクルージョン領域の前記充填データを決定することが、
前記オクルージョン領域の周囲の画像特性を解析することと、
解析された前記画像特性に少なくとも部分的に基づいて、前記オクルージョン領域に対応する前記画像の部分を推定することと、
前記画像の推定された前記部分に少なくとも部分的に基づいて前記充填データを決定することと、を含む、請求項１に記載の電子デバイス。

【請求項10】

前記画像処理回路構成が、ペインティングアルゴリズムを介して、解析された前記画像特性に少なくとも部分的に基づいて、前記オクルージョン領域に対応する前記画像の前記部分を推定するように構成されている、請求項９に記載の電子デバイス。

【請求項11】

前記１つ以上のオクルージョン領域のうちのオクルージョン領域の前記充填データを決定することが、前記ワーピング後画像データの部分又は前記入力画像データの部分を前記オクルージョン領域の周囲に沿ってブレンディングすることを含む、請求項１に記載の電子デバイス。

【請求項12】

画像の第１の視点（ＰＯＶ）に対応する入力画像データを画像処理回路構成を介して受信することと、
前記第１のＰＯＶからの前記入力画像データを第２のＰＯＶにワーピングして、ワーピング後画像データを生成することと、
前記第２のＰＯＶのオクルージョン領域であって、前記オクルージョン領域が、前記第１のＰＯＶでは見えない前記第２のＰＯＶの前記画像の部分を含む、オクルージョン領域を決定することと、
前記オクルージョン領域に対応する充填データを決定することと、
前記ワーピング後画像データと前記充填データとを組み合わせることによって、処理済み画像データを生成することと、
を含む、方法。

【請求項13】

前記第２のＰＯＶを示す空間の画素グリッドであって、前記画素グリッドのグリッド点が、前記第１のＰＯＶから前記第２のＰＯＶへのマッピングを定義する、画素グリッドを決定することを含む、請求項１２に記載の方法。

【請求項14】

前記オクルージョン領域におけるサンプリング又はリサンプリングを低減することを含む、請求項１３に記載の方法。

【請求項15】

前記オクルージョン領域の前記充填データを決定することが、
前記オクルージョン領域の周囲の画像特性を機械学習アルゴリズムを介して解析することと、
解析された前記画像特性に少なくとも部分的に基づいて、前記オクルージョン領域に対応する前記画像の前記部分を前記機械学習アルゴリズムを介して推定することと、含む、請求項１４に記載の方法。

【請求項16】

第１の視点（ＰＯＶ）を示す第１の空間の画像に対応する入力画像データを受信し、
前記第１の空間から前記第２の空間へのワーピングに少なくとも部分的に基づいて、第２のＰＯＶを示す第２の空間の画素グリッドであって、前記画素グリッドのグリッド点が、前記第１の空間の前記入力画像データの座標へのマッピングを定義する、画素グリッドを決定し、
前記入力画像データの前記座標への前記マッピングに少なくとも部分的に基づいて、前記入力画像データの部分をフェッチし、
前記画素グリッドに従って、前記入力画像データのフェッチされた前記部分に少なくとも部分的に基づいて、前記第２の空間においてワーピング後画像データを生成する、
ように構成されている、画像処理回路構成。

【請求項17】

前記画像処理回路構成が、
前記第２の空間のオクルージョン領域であって、前記オクルージョン領域が、前記第１のＰＯＶでは見えない前記第２のＰＯＶの前記画像の部分を含む、オクルージョン領域を決定し、
前記オクルージョン領域に対応する充填データあって、前記充填データが、前記オクルージョン領域の位置における前記第２のＰＯＶの前記画像を推定する、充填データを決定する、ように構成されている、請求項１６に記載の画像処理回路構成。

【請求項18】

前記画像処理回路構成が、前記ワーピング後画像データと前記充填データとをブレンディングすることによって、前記第２の空間において処理済み画像データを生成するように構成されており、
前記オクルージョン領域の前記充填データを決定することが、前記ワーピング後画像データの部分又は前記入力画像データの部分を、前記オクルージョン領域の周囲に沿ってブレンディングすることを含む、請求項１７に記載の画像処理回路構成。

【請求項19】

前記オクルージョン領域の前記充填データを決定することが、
前記オクルージョン領域の周囲の画像特性を解析することと、
解析された前記画像特性に少なくとも部分的に基づいて、前記オクルージョン領域に対応する前記画像の部分を推定することと、
前記画像の推定された前記部分に少なくとも部分的に基づいて前記充填データを決定することと、を含む、請求項１７に記載の画像処理回路構成。

【請求項20】

前記画素グリッドが、階層的四分木グリッドを含む、請求項１６に記載の画像処理回路構成。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】００６８

【補正方法】変更

【補正の内容】

【0068】

階層的補間のさらなる説明に役立つものとして、図１５は、複数のベースパーティション１１６を有する階層的グリッド１００の概略図である。上記で解説したように、ベースパーティション１１６の特性グリッド点１２２のマッピングは、ソースフレーム７０から宛先フレーム（例えば、ＰＯＶワーピング後フレーム７２又は他のワーピング後フレーム）へのワーピングに基づいて計算され得る。ベースパーティション１１６がより小さいグリッドパーティション１０２に分割されていない場合、ベースパーティション１１６の特性グリッド点１２２の既知のｘ及びｙ座標マッピングを使用して、グリッド点１２２の間の中間にグリッド点を補間し得る。階層的グリッド１００の構成により、このような補間されたグリッド点は、３２×３２グリッドパーティション１０２Ａなどの次の層のグリッドパーティション１０２の特性グリッド点１２４に合わせられ得る。よって、３２×３２グリッドパーティション１０２Ａ及びベースパーティション１１６の特性グリッド点１２４は、第１のレベルの補間の後に知られ得る。加えて、ベースパーティション１１６のうちの１つ以上が３２×３２グリッドパーティション１０２Ａ又はより小さいグリッドパーティション１０２Ｂ～１０２Ｄに分割されている場合、３２×３２グリッドパーティション１０２Ａの特性グリッド点１２４のうちのいくつかは、ワーピング計算からすでに知られている可能性がある。いくつかの実施形態では、以前に計算されたグリッド点に対する補間はスキップされても実行されてもよく、ワーピング計算がなされたグリッド点を優先して、無視してもよい。

【手続補正3】

【補正対象書類名】明細書

【補正対象項目名】００６９

【補正方法】変更

【補正の内容】

【0069】

ベースパーティション１１６の特性グリッド点１２２及び３２×３２グリッドパーティション１０２Ａの特性グリッド点１２４を使用して、１６×１６グリッドパーティション１０２Ｂの特性グリッド点１２６を補間し得る。３２×３２グリッドパーティション１０２Ａの場合と同様に、１つ以上のベースパーティション１１６が１６×１６グリッドパーティション１０２Ｂ又はより小さいグリッドパーティション１０２Ｃ、１０２Ｄに分割されている場合、１６×１６グリッドパーティション１０２Ｂの特性グリッド点１２６のいくつかは、ワーピング計算からすでに知られている可能性がある。反復される補間は、ワーピング操作により、あるいは補間によって、各グリッド点のマッピングが決定されるまで、階層的補間の各層において継続し得る。

【国際調査報告】