特表 2023-546693 深度データの、送信側での幾何学的融合

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-11-07

(54)【発明の名称】深度データの、送信側での幾何学的融合

(51)【国際特許分類】

   H04N 13/271 20180101AFI20231030BHJP

   H04N 13/128 20180101ALI20231030BHJP

   G06T 15/20 20110101ALI20231030BHJP

   G06T 19/00 20110101ALI20231030BHJP

   H04N 13/268 20180101ALI20231030BHJP

   H04N 13/194 20180101ALI20231030BHJP

【ＦＩ】

H04N13/271

H04N13/128

G06T15/20 500

G06T19/00 A

H04N13/268

H04N13/194

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023524720

(86)(22)【出願日】2020-10-23

(85)【翻訳文提出日】2023-06-15

(86)【国際出願番号】 US2020070690

(87)【国際公開番号】W WO2022086579

(87)【国際公開日】2022-04-28

(81)【指定国・地域】

(71)【出願人】

【識別番号】502208397

【氏名又は名称】グーグル エルエルシー

【氏名又は名称原語表記】Ｇｏｏｇｌｅ ＬＬＣ

【住所又は居所原語表記】１６００ Ａｍｐｈｉｔｈｅａｔｒｅ Ｐａｒｋｗａｙ ９４０４３ Ｍｏｕｎｔａｉｎ Ｖｉｅｗ， ＣＡ Ｕ．Ｓ．Ａ．

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】ホッペ，ユーグ・エルベ

(72)【発明者】

【氏名】マーティン・ブルアラ，リカルド

(72)【発明者】

【氏名】ノーバー，ハリス

【テーマコード（参考）】

5B050

5B080

【Ｆターム（参考）】

5B050AA03

5B050BA09

5B050BA12

5B050CA07

5B050CA08

5B050DA04

5B050DA07

5B050EA04

5B050EA26

5B050FA02

5B050FA05

5B080BA04

5B080CA00

5B080FA02

5B080GA01

5B080GA06

5B080GA11

5B080GA22

(57)【要約】

少なくとも１つの処理デバイスを有する画像処理システムを利用して動作を実行するためのシステムおよび方法が記載されており、上記動作は、オブジェクトの複数の深度ビューを受信することを含み、各複数の深度ビューは、オブジェクトのそれぞれの視点から取り込まれ、各複数の深度ビューは、それぞれの視点から取り込まれたオブジェクトの深度画像に関連付けられたそれぞれの深度データを含み、上記動作はさらに、複数の深度ビューに対して集約動作を実行することと、更新された深度ビューに基づいてターゲット視点からのオブジェクトの画像を生成することとを含み、ターゲット視点は、各複数の深度ビューが取り込まれる各それぞれの視点とは異なっている。

【特許請求の範囲】

【請求項1】

少なくとも１つの処理デバイスを有する画像処理システムを利用して動作を実行する、コンピュータによって実行される方法であって、前記動作は、
オブジェクトの複数の深度ビューを受信することを含み、各前記複数の深度ビューは、前記オブジェクトのそれぞれの視点から取り込まれ、各前記複数の深度ビューは、前記それぞれの視点から取り込まれた前記オブジェクトの深度画像に関連付けられたそれぞれの深度データを含み、前記動作はさらに、
前記複数の深度ビューに対して集約動作を実行することを含み、前記集約動作は、
各前記複数の深度ビューに対応する更新された深度ビューを生成することを含み、各々の更新された深度ビューは、前記それぞれの視点に基づいており、前記オブジェクトの前記複数の深度ビューの残部の各々からの前記それぞれの深度データの部分を表し、前記集約動作はさらに、
各前記複数の深度ビューを前記対応する更新された深度ビューと置換することを含み、
前記動作はさらに、
前記更新された深度ビューに基づいてターゲット視点からの前記オブジェクトの画像を生成することを含み、前記ターゲット視点は、各前記複数の深度ビューが取り込まれる各前記それぞれの視点とは異なっている、方法。

【請求項2】

前記集約動作を実行することは、前記オブジェクトの前記受信された複数の深度ビューのうちの少なくとも１つに関連付けられた欠損データを生成するという結果になる、請求項１に記載の方法。

【請求項3】

前記欠損データは、前記オブジェクトの前記受信された複数の深度ビューのうちの少なくとも１つに関連付けられたオクルージョン領域を含む、請求項２に記載の方法。

【請求項4】

前記集約動作を実行することは、前記オブジェクトの前記受信された複数の深度ビューのうちの少なくとも１つに関連付けられたノイズを減少させるという結果になる、請求項１～３のいずれか１項に記載の方法。

【請求項5】

前記集約動作は、前記更新された深度ビューを生成するための前記複数の受信された深度ビューの幾何学的融合であり、前記集約動作は、ネットワークを介して前記複数の深度ビューを送信する要求に応答して、事前プロセスとして実行され、
前記事前プロセスは、各々の更新された深度ビューの映像圧縮をさらに含む、請求項１～４のいずれか１項に記載の方法。

【請求項6】

前記ターゲット視点は、前記オブジェクトの、過去に取り込まれていない画像を合成するように選択される、請求項１～５のいずれか１項に記載の方法。

【請求項7】

前記画像処理システムは、前記更新された深度ビューを使用して複数のターゲット視点からの画像を合成するように構成されたテレプレゼンスシステムである、請求項１～６のいずれか１項に記載の方法。

【請求項8】

前記複数の深度ビューは、前記オブジェクトの取り込まれた画像に対応する複数の深度マップを表し、
前記複数の深度マップを生成して、前記複数の深度マップを前記更新された深度マップと置換することは、前記ターゲット視点からの前記オブジェクトの前記生成された深度画像の時間干渉性を向上させる、請求項１～７のいずれか１項に記載の方法。

【請求項9】

画像処理システムであって、
少なくとも１つの処理デバイスと、
命令を格納するメモリとを備え、前記命令は、実行されると前記システムに動作を実行させ、前記動作は、
オブジェクトの複数の深度ビューを受信することを含み、各前記複数の深度ビューは、前記オブジェクトのそれぞれの視点から取り込まれ、各前記複数の深度ビューは、前記それぞれの視点から取り込まれた前記オブジェクトの深度画像に関連付けられたそれぞれの深度データを含み、前記動作はさらに、
前記複数の深度ビューに対して集約動作を実行することを含み、前記集約動作は、
各前記複数の深度ビューに対応する更新された深度ビューを生成することを含み、各々の更新された深度ビューは、前記それぞれの視点に基づいており、前記オブジェクトの前記複数の深度ビューの残部の各々からの前記それぞれの深度データの部分を表し、前記集約動作はさらに、
各前記複数の深度ビューを前記対応する更新された深度ビューと置換することを含み、
前記動作はさらに、
前記更新された深度ビューに基づいてターゲット視点からの前記オブジェクトの画像を生成することを含み、前記ターゲット視点は、各前記複数の深度ビューが取り込まれる各前記それぞれの視点とは異なっている、システム。

【請求項10】

前記集約動作を実行することは、前記オブジェクトの前記受信された複数の深度ビューのうちの少なくとも１つに関連付けられた欠損データを生成するという結果になる、請求項９に記載のシステム。

【請求項11】

前記集約動作は、前記更新された深度ビューを生成するための前記複数の受信された深度ビューの幾何学的融合であり、前記集約動作は、ネットワークを介して前記複数の深度ビューを送信する要求に応答して、事前プロセスとして実行され、
前記事前プロセスは、各々の更新された深度ビューの映像圧縮をさらに含む、請求項９または１０のいずれか１項に記載のシステム。

【請求項12】

前記ターゲット視点は、前記オブジェクトの、過去に取り込まれていない画像を合成するように選択される、請求項９～１１のいずれか１項に記載のシステム。

【請求項13】

前記画像処理システムは、前記更新された深度ビューを使用して複数のターゲット視点からの画像を合成するように構成されたテレプレゼンスシステムである、請求項９～１２のいずれか１項に記載のシステム。

【請求項14】

前記複数の深度ビューは、前記オブジェクトの取り込まれた画像に対応する複数の深度マップを表し、
前記複数の深度マップを生成して、前記複数の深度マップを前記更新された深度マップと置換することは、前記ターゲット視点からの前記オブジェクトの前記生成された深度画像の時間干渉性を向上させる、請求項９～１３のいずれか１項に記載のシステム。

【請求項15】

命令が格納された非一時的な機械読取可能媒体であって、前記命令は、プロセッサによって実行されると、コンピューティングデバイスに、
オブジェクトの複数の深度ビューを受信することを行わせ、各前記複数の深度ビューは、前記オブジェクトのそれぞれの視点から取り込まれ、各前記複数の深度ビューは、前記それぞれの視点から取り込まれた前記オブジェクトの深度画像に関連付けられたそれぞれの深度データを含み、前記命令はさらに、前記プロセッサによって実行されると、前記コンピューティングデバイスに、
前記複数の深度ビューに対して集約動作を実行することを行わせ、前記集約動作は、
各前記複数の深度ビューに対応する更新された深度ビューを生成することを含み、各々の更新された深度ビューは、前記それぞれの視点に基づいており、前記オブジェクトの前記複数の深度ビューの残部の各々からの前記それぞれの深度データの部分を表し、前記集約動作はさらに、
各前記複数の深度ビューを前記対応する更新された深度ビューと置換することを含み、
前記命令はさらに、前記プロセッサによって実行されると、前記コンピューティングデバイスに、
前記更新された深度ビューに基づいてターゲット視点からの前記オブジェクトの画像を生成することを行わせ、前記ターゲット視点は、各前記複数の深度ビューが取り込まれる各前記それぞれの視点とは異なっている、機械読取可能媒体。

【請求項16】

前記集約動作を実行することは、前記オブジェクトの前記受信された複数の深度ビューのうちの少なくとも１つに関連付けられた欠損データを生成するという結果になる、請求項１５に記載の機械読取可能媒体。

【請求項17】

前記集約動作を実行することは、前記オブジェクトの前記受信された複数の深度ビューのうちの少なくとも１つに関連付けられたノイズを減少させるという結果になる、請求項１５または１６に記載の機械読取可能媒体。

【請求項18】

前記集約動作は、前記更新された深度ビューを生成するための前記複数の受信された深度ビューの幾何学的融合であり、前記集約動作は、ネットワークを介して前記複数の深度ビューを送信する要求に応答して、事前プロセスとして実行され、
前記事前プロセスは、各々の更新された深度ビューの映像圧縮をさらに含む、請求項１５～１７のいずれか１項に記載の機械読取可能媒体。

【請求項19】

前記深度ビューは、前記更新された深度ビューを使用して複数のターゲット視点からの画像を合成するように構成されたテレプレゼンスシステムによって生成される、請求項１５～１８のいずれか１項に記載の機械読取可能媒体。

【請求項20】

前記複数の深度ビューは、前記オブジェクトの取り込まれた画像に対応する複数の深度マップを表し、
前記複数の深度マップを生成して、前記複数の深度マップを前記更新された深度マップと置換することは、前記ターゲット視点からの前記オブジェクトの前記生成された深度画像の時間干渉性を向上させる、請求項１５～１９のいずれか１項に記載の機械読取可能媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願
本願は、「色および深度の複数のストリームのための空間適合的な映像圧縮（SPATIALLY ADAPTIVE VIDEO COMPRESSION FOR MULTIPLE STREAMS OF COLOR AND DEPTH）」と題される、２０１９年７月２６日に出願されて現在では米国特許第１０，７５７，４１０号として発行されている出願番号第１６／５２３，２４７号に関するとともに、「レイキャスティングを使用した複数の深度画像の画像ベースの幾何学的融合（IMAGE-BASED GEOMETRIC FUSION OF MULTIPLE DEPTH IMAGES USING RAY CASTING）」と題される、２０１９年７月２６日に出願された出願番号第１６／５２３，７０２号に関し、これらの内容は、全文が引用によって本明細書に援用される。

【0002】

技術分野
本記載は、概して、深度データの融合に関する。

【背景技術】

【0003】

背景
コンピューティングデバイスは、圧縮スキームを使用して圧縮されてネットワークを介して送信され得るオブジェクトの画像を生成するように構成され得る。たとえば、単一の映像ストリームにおける複数のカメラ角度から同時に取り込まれた映像シーケンスを効率的に符号化するために、立体映像の圧縮にマルチビュー映像符号化（ＭＶＣ：Multiview Video Coding）を使用することができる。ＭＶＣ圧縮スキームは、ノイズ、欠損データなどを含む各々の取り込まれたビューのアーティファクトを全て維持する。そのような従来のアプローチは、元のビュー（たとえば、色および深度）を保持し、一般的には、ネットワークを介してオブジェクトの画像を送信するためのビットレートを下げる目的で映像品質を上げるまたは下げる方法を使用する。

【発明の概要】

【0004】

概要
１つまたは複数のコンピュータのシステム（たとえば、画像処理システム）は、動作時にシステムにアクションを実行させるソフトウェア、ファームウェア、ハードウェア、またはそれらの組み合わせがシステムにインストールされるようにすることによって特定の動作またはアクションを実行するように構成され得る。１つまたは複数のコンピュータプログラムは、データ処理装置によって実行されると装置にアクションを実行させる命令を含むことによって特定の動作またはアクションを実行するように構成され得る。

【0005】

１つの一般的な局面において、少なくとも１つの処理デバイスを有する画像処理システムを利用して動作を実行する、コンピュータによって実行される方法のためのシステムおよび方法が記載されており、上記動作は、オブジェクトの複数の深度ビューを受信することを含み、各上記複数の深度ビューは、上記オブジェクトのそれぞれの視点から取り込まれ、各上記複数の深度ビューは、上記それぞれの視点から取り込まれた上記オブジェクトの深度画像に関連付けられたそれぞれの深度データを含む。上記方法はさらに、上記複数の深度ビューに対して集約動作を実行することを含み得て、上記集約動作は、各上記複数の深度ビューに対応する更新された深度ビューを生成することを含み、各々の更新された深度ビューは、上記それぞれの視点に基づいており、上記オブジェクトの上記複数の深度ビューの残部の各々からの上記それぞれの深度データの部分を表し、上記集約動作はさらに、各上記複数の深度ビューを上記対応する更新された深度ビューと置換することを含む。上記方法はさらに、上記更新された深度ビューに基づいてターゲット視点からの上記オブジェクトの画像を生成することを含み得て、上記ターゲット視点は、各上記複数の深度ビューが取り込まれる各上記それぞれの視点とは異なっている。

【0006】

これらのおよび他の局面は、以下のうちの１つ以上を単独でまたは組み合わせて含み得る。いくつかの局面に従って、本明細書でクレームされる方法、システムおよびコンピュータ読取可能媒体は、以下の特徴のうちの１つ以上（たとえば、全て）（または、それらの任意の組み合わせ）を含み得る。

【0007】

いくつかの実現例において、上記集約動作を実行することは、上記オブジェクトの上記受信された複数の深度ビューのうちの少なくとも１つに関連付けられた欠損データを生成するという結果になる。いくつかの実現例において、上記欠損データは、上記オブジェクトの上記受信された複数の深度ビューのうちの少なくとも１つに関連付けられたオクルージョン領域を含む。いくつかの実現例において、上記集約動作を実行することは、上記オブジェクトの上記受信された複数の深度ビューのうちの少なくとも１つに関連付けられたノイズを減少させるという結果になる。

【0008】

いくつかの実現例において、上記集約動作は、上記更新された深度ビューを生成するための上記複数の受信された深度ビューの幾何学的融合であり、上記集約動作は、ネットワークを介して上記複数の深度ビューを送信する要求に応答して、事前プロセスとして実行され、上記事前プロセスは、各々の更新された深度ビューの映像圧縮をさらに含む。いくつかの実現例では、上記ターゲット視点は、上記オブジェクトの、過去に取り込まれていない画像を合成するように選択される。いくつかの実現例では、上記画像処理システムは、上記更新された深度ビューを使用して複数のターゲット視点からの画像を合成するように構成されたテレプレゼンスシステムである。いくつかの実現例では、上記複数の深度ビューは、上記オブジェクトの取り込まれた画像に対応する複数の深度マップを表し、上記複数の深度マップを生成して、上記複数の深度マップを上記更新された深度マップと置換することは、上記ターゲット視点からの上記オブジェクトの上記生成された深度画像の時間干渉性を向上させる。

【0009】

記載されている技術の実現例は、コンピュータによってアクセス可能な媒体上にハードウェア、方法もしくはプロセス、またはコンピュータソフトウェアを含み得る。１つまたは複数の実現例の詳細は、添付の図面および以下の説明に記載されている。他の特徴は、説明および図面、ならびに特許請求の範囲から明らかであろう。

【図面の簡単な説明】

【0010】

【図1】本開示全体にわたって記載されている実現例に係る、合成コンテンツを生成してディスプレイデバイス上に表示するための例示的な３Ｄコンテンツシステムを示すブロック図である。

【図2】本開示全体にわたって記載されている実現例に係る、深度ビューを生成して、コンテンツを合成してディスプレイデバイス上でレンダリングを行うための例示的なシステムのブロック図である。

【図3A】本開示全体にわたって記載されている実現例に係る、送信側での幾何学的融合を使用して新規の画像を合成することの一例を示す図である。

【図3B】本開示全体にわたって記載されている実現例に係る、送信側での幾何学的融合を使用して新規の画像を合成することの一例を示す図である。

【図3C】本開示全体にわたって記載されている実現例に係る、送信側での幾何学的融合を使用して新規の画像を合成することの一例を示す図である。

【図3D】本開示全体にわたって記載されている実現例に係る、送信側での幾何学的融合を使用して新規の画像を合成することの一例を示す図である。

【図4】本開示全体にわたって記載されている実現例に係る、送信側での幾何学的融合を使用して欠損データの領域を合成することの一例を示す図である。

【図5】本開示全体にわたって記載されている実現例に係る、新規の画像を合成してディスプレイデバイス上でレンダリングを行うための例示的なパイプラインのブロック図である。

【図6】本開示全体にわたって記載されている実現例に係る、送信側での幾何学的融合を実行して画像コンテンツを生成するためのプロセスの一例を示すフローチャートである。

【図7】本明細書に記載されている技術とともに使用され得るコンピュータデバイスおよびモバイルコンピュータデバイスの一例を示す図である。

【発明を実施するための形態】

【0011】

さまざまな図面における同様の参照符号は、同様の要素を示す。
詳細な説明
概して、本文書は、複数のカメラによって取り込まれたオブジェクトに適用することができる幾何学的融合技術について説明している。幾何学的融合技術は、深度画像データの複数のビュー（たとえば、オブジェクトの取り込まれた深度ビュー）を、深度画像データの更新された（たとえば、計算された）ビューと置換するのに使用することができる。これらの更新された深度ビューは、取り込まれた深度ビューからの深度データを含むとともに、オブジェクトのその他の入手可能な取り込まれた深度ビューの各々からの画像および／または深度情報をさらに含むオブジェクトのビューとして生成され得る。更新された深度ビューのうちの１つ以上は、格納された深度画像データとオブジェクトの複数の他のビューに関連付けられた画像および／または深度情報とを利用してオブジェクトの追加の（および、新たな）ビューを合成するのに使用することができる。

【0012】

深度画像データは、各々の（入力された）深度ビューを、いくつかの他の深度ビューからの深度データ情報を組み込んだ新たな深度ビューと置換するために、任意の数のアルゴリズムを使用して融合され得る。入力された深度ビューは、本明細書に記載されているアルゴリズムによって修正される前の深度ビューを表し得る。本明細書に記載されているアルゴリズムは、欠損データを完全なものにするために、および／または、画像内のノイズを減少させるために、各々の（入力された）深度ビューを、任意の数の他の（入力された）深度ビューからの深度データ情報を組み込んだ新たな深度ビューと置換することができる。深度ビューは、本明細書で用いられる場合、特定の取り込まれたオブジェクトと、本明細書に記載されている画像処理システムに関連付けられた画像取込デバイスとの間の距離を表す。更新された深度ビューは、深度ビューから始まって、当該更新された深度ビューを生成するために当該深度ビューからのデータを修正、併合、追加および／または除去することができる。

【0013】

いくつかの実現例では、更新された深度ビューは、オブジェクトの新規の（たとえば、まだ見ぬ）ビューの合成に使用するために生成され得る。たとえば、本文書は、オブジェクトの新規の画像（たとえば、テレプレゼンスセッションにおけるユーザの取り込まれた画像、カメラによって取り込まれた仮想コンテンツ、カメラによって取り込まれた物理的オブジェクトなど）を生成することに関係する例を含む。新規の（たとえば、まだ見ぬ、新たな）ビューは、本明細書で用いられる場合、カメラによって取り込まれた画像コンテンツ（たとえば、オブジェクト、深度、照明など）および／または映像コンテンツの１つまたは複数のフレームに基づいて解釈（たとえば、合成、補間、モデル化、など）された画像コンテンツおよび／または映像コンテンツを含み得る。カメラによって取り込まれた画像コンテンツおよび／または映像コンテンツの解釈を、本明細書に記載されている技術と組み合わせて使用して、たとえば取り込まれた画像コンテンツおよび／または映像コンテンツのまだ見ぬ３Ｄバージョンおよびビュー（たとえば、ポーズ、角度など）を作成することができる。

【0014】

まだ見ぬ３Ｄ画像を生成するための１つの例示的な技術は、送信側システムで取り込まれた一組の深度ビューに適用される送信側での幾何学的融合を含み得る。送信側での幾何学的融合により、任意の数の取り込まれたビューの各々からの深度データを含む更新された深度ビューが生成され得る。融合された深度ビューは、圧縮されて、ネットワークを介して送信され得る。受信側システムでは、融合された深度ビューに対して復元プロセスが実行され得て、幾何学的融合技術が再び実行されて、新規のコンテンツを合成して受信側システムでレンダリングを行うことができる。このように、幾何学的融合は、２回、すなわち、送信前に各々の入力された（たとえば、取り込まれた）深度ビューに対して（送信側システムで）１回、および受信された（送信側で融合された）深度ビューを併合する際に最終的な合成されたビューに対して１回、実行され得る。

【0015】

特定の深度ビュー全体にわたるデータの併合（たとえば、融合）を利用してデータの圧縮率を向上させることにより、送信側の場所から受信側の場所に深度データを送信することに関連付けられたネットワーク帯域幅（たとえば、１秒あたりのビット数）を減少させる例が記載されている。いくつかの実現例では、本明細書に記載されているシステムおよび方法は、融合された深度画像データを送信する際のネットワーク帯域幅リソースを減らすために、そのようなデータを受信側に送信する前に、幾何学的融合アルゴリズムを利用して送信側の場所で深度画像データの複数のビューを融合することができる。

【0016】

いくつかの実現例では、本明細書に記載されているシステムおよび方法は、送信側クライアントから受信側クライアントに特定の深度ビューを送信するためのネットワーク帯域幅（たとえば、ビットレート）を減少させることができる。なぜなら、これらの特定の深度ビューは、ノイズの大きさを減少させるように、および／または、オクルージョン領域を埋めるようにこれらの特定の深度ビュー全体にわたる情報を併合（たとえば、融合）することによって新たな深度ビューを生成するのに使用することができ、その結果、そのようなコンテンツを送信するためのビットレートを下げることができるからである。いくつかの実現例では、欠損データのオクルージョン領域は、他の深度ビューからのデータを使用して埋められてもよい。

【0017】

いくつかの実現例では、本明細書に記載されている技術は、正確でリアルであるように見える画像を合成して、たとえば多方向３Ｄテレビ会議で使用される３Ｄディスプレイの画面上に表示するのに使用することができる。本明細書に記載されているシステムおよび方法は、そのような技術を使用して、３Ｄオブジェクト（たとえば、ユーザ、仮想オブジェクト、物理的オブジェクトなど）の正確でリアルなビュー（たとえば、画像コンテンツ、映像コンテンツ）を生成して表示することができる。これらのビューは、従来は３Ｄで描写するのが難しかったであろうまだ見ぬビューを含む。

【0018】

いくつかの実現例では、本明細書に記載されている技術は、本明細書に記載されている技術を使用して、オブジェクトを認識し、オブジェクトおよび／もしくは深度を再作成し、ならびに／または、そのようなオブジェクトから合成画像を生成するように画像処理を実行し得る仮想補助デバイスまたは他のインテリジェントエージェントによって使用されてもよい。

【0019】

ネットワーク送信ビットレートに対する上記の従来のアプローチに関わる技術的問題は、そのようなアプローチが複数の深度ビューの存在下では効果的でないということである。たとえば、深度ビューの冗長性には相当なオーバーヘッドが存在し、すなわち、深度ビューのうちのいくつかではしばしば環境の中のある地点が目に見えるということである。

【0020】

上記の技術的問題を解決するための従来のアプローチとは対照的に、本明細書に記載されているシステムおよび方法によって提供される技術的解決策は、深度画像面法線と深度ビューに関連付けられたビュー方向との間の類似性に基づいて、各々の取り込まれた深度ビューについて、幾何学的に融合された深度ビュー（すなわち、更新された深度ビュー）を計算することを含む。

【0021】

上記の技術的解決策の技術的利点は、送信側での融合技術が各深度ビューからの情報を使用して他の深度ビューの各々を修正するおよび／または向上させる（すなわち、欠損領域または未定義領域を埋めること、および、ビューに関連付けられたノイズの大きさを減少させることによる）ので、当該技術的解決策が複数の深度ビューを有する映像画像のより効率的な圧縮を可能にする、というものである。結果として得られた深度ビューは、互いに対して冗長なままであるが、結果として得られた深度ビューは、従来の深度ビューよりも圧縮しやすい。複数の深度ビューは、幾何学的融合を使用して送信側システムで修正されるので、より低いビットレート（よりよい圧縮表現）を使用してネットワークを介して送信される。そして、いくつかの実現例では、この冗長性を減少させるために、（ＭＶＣを含む）従来の技術がその後（すなわち、送信側での幾何学的融合後に）適用されてもよい。

【0022】

図１は、本開示全体にわたって記載されている実現例に係る、コンテンツを生成して立体ディスプレイデバイス上に表示するための例示的な３Ｄコンテンツシステム１００を示すブロック図である。３Ｄコンテンツシステム１００は、たとえば３Ｄでのテレビ会議通信（たとえば、テレプレゼンスセッション）を行うために複数のユーザが使用することができる。一般的に、図１のシステムは、３Ｄテレビ会議中にユーザの映像および／または画像を取り込み、本明細書に記載されているシステムおよび技術を使用して送信側の場所（たとえば、３Ｄシステム１０６）で複数のカラービューおよび深度ビューを取り込み、取り込まれた深度ビューに対して幾何学的融合技術を実行して、更新された深度ビューを生成し、そのようなビューを受信側の場所に送信し、受信側の場所でこれらのビューを使用してオブザーバのために新規のビューを合成する、ように使用され得る。

【0023】

システム１００は、本明細書に記載されている技術の使用から恩恵を受けることができる。なぜなら、そのような技術は、たとえばテレビ会議内のオブジェクトおよび／またはユーザの３Ｄ深度調整ビューを正確に表すテレビ会議内のポーズ、表情およびユーザ画像部分の新規のビューを生成して表示することができるからである。これらの新規のビュー（たとえば、画像）を、本明細書に記載されている技術とともに使用して、ユーザおよび／またはオブジェクトの正確なテクスチャ、深度およびイメージを生成することができ、これらのテクスチャ、深度およびイメージは、たとえばシステム１００を介して３Ｄで別のユーザに表示され得る。

【0024】

図１に示されるように、３Ｄコンテンツシステム１００は、第１のユーザ１０２および第２のユーザ１０４によって使用されている。たとえば、ユーザ１０２および１０４は、３Ｄコンテンツシステム１００を使用して３Ｄテレプレゼンスセッションに携わっている。そのような例では、３Ｄコンテンツシステム１００は、ユーザ１０２および１０４の各々が、他者の非常にリアルで視覚的に矛盾のない表現を見ることを可能にすることができ、それによって、物理的に目の前にいるのと同様の態様でユーザ同士が対話することをしやすくする。

【0025】

各ユーザ１０２，１０４は、対応する３Ｄシステムを有することができる。ここでは、ユーザ１０２は３Ｄシステム１０６を有し、ユーザ１０４は３Ｄシステム１０８を有している。３Ｄシステム１０６，１０８は、３Ｄ表示のための画像の取り込み、画像情報の処理および表示、ならびに音声情報の処理および表示を含むがそれらに限定されない３Ｄコンテンツに関連する機能を提供することができる。３Ｄシステム１０６および／または３Ｄシステム１０８は、１つのユニットとして一体化されたセンシングデバイスの集合体を構成することができる。３Ｄシステム１０６および／または３Ｄシステム１０８は、図２および図７を参照して説明する構成要素の一部または全部を含み得る。

【0026】

３Ｄコンテンツシステム１００は、１つまたは複数の３Ｄディスプレイを含み得る。ここでは、３Ｄシステム１０６のために３Ｄディスプレイ１１０が設けられ、３Ｄシステム１０８のために３Ｄディスプレイ１１２が設けられている。３Ｄディスプレイ１１０，１１２は、複数のタイプの３Ｄ表示技術のうちのいずれかを使用して、それぞれの視聴者（ここでは、たとえばユーザ１０２またはユーザ１０４）のために自動立体ビューを提供することができる。いくつかの実現例では、３Ｄディスプレイ１１０，１１２は、スタンドアロンユニット（たとえば、自立しているかまたは壁に吊り下げられている）であってもよい。いくつかの実現例では、３Ｄディスプレイ１１０，１１２は、ウェアラブル技術（たとえば、コントローラ、ヘッドマウントディスプレイなど）を含み得て、またはそのようなウェアラブル技術にアクセスし得る。いくつかの実現例では、ディスプレイ１１０，１１２は、２Ｄディスプレイであってもよい。

【0027】

一般的に、ディスプレイ１１０，１１２などのディスプレイは、ヘッドマウントディスプレイ（ＨＭＤ：Head-Mounted Display）デバイスを使用することなく実世界における物理的オブジェクトの３Ｄ光学特性に近いイメージを提供することができる。一般的に、本明細書に記載されているディスプレイは、フラットパネルディスプレイ、レンチキュラーレンズ（たとえば、マイクロレンズアレイ）、および／または、ディスプレイに関連付けられた複数の異なる視聴領域に画像をリダイレクトするためのパララックスバリアを含む。

【0028】

いくつかの実現例では、ディスプレイ１１０，１１２は、高解像度であるとともにメガネ不要のレンチキュラー３Ｄディスプレイを含み得る。たとえば、ディスプレイ１１０，１１２は、複数のレンズ（たとえば、マイクロレンズ）を含むマイクロレンズアレイ（図示せず）であって、ディスプレイのこれらのマイクロレンズにガラススペーサが結合（たとえば、接着）されたマイクロレンズアレイを含み得る。これらのマイクロレンズは、選択された視聴位置から、ディスプレイのユーザの左眼が画素の第１の組を見ることができ、ユーザの右眼が画素の第２の組（たとえば、画素の第２の組は画素の第１の組と相互排他的である）を見ることができるように設計され得る。

【0029】

いくつかの例示的なディスプレイには、そのようなディスプレイによって提供される画像コンテンツ（たとえば、ユーザ、オブジェクトなど）の３Ｄビューを提供する場所が１つ存在し得る。ユーザは、この１つの場所に座って、適切な視差の、歪みが最小限の、リアルな３Ｄ画像を体験することができる。ユーザが異なる物理的な場所に移動する（または、頭の位置もしくは視線の位置を変化させる）と、画像コンテンツ（たとえば、ユーザ、ユーザが着用しているオブジェクト、および/または、他のオブジェクト）は、それほどリアルでないように、２Ｄであるように、および／または、歪んでいるように見え始めるだろう。本明細書に記載されているシステムおよび技術は、ユーザが動き回るが依然として適切な視差および深度の、歪み率が低い、リアルな３Ｄ画像をリアルタイムで体験できることを確実にするように、ディスプレイから投影された画像コンテンツを再構成することができる。したがって、本明細書に記載されているシステムおよび技術は、ユーザが３Ｄディスプレイを見ている間に行うユーザの移動に関係なく、ユーザに表示するために提供された３Ｄ画像コンテンツおよびオブジェクトを維持するまたは向上させるという利点を提供する。

【0030】

図１に示されるように、３Ｄコンテンツシステム１００は、１つまたは複数のネットワークに接続することができる。ここでは、ネットワーク１１４が３Ｄシステム１０６および３Ｄシステム１０８に接続されている。ネットワーク１１４は、例を２つだけ挙げると、公に利用可能なネットワーク（たとえば、インターネット）またはプライベートネットワークであってもよい。ネットワーク１１４は、有線、または無線、またはそれら２つの組み合わせであってもよい。ネットワーク１１４は、１つまたは複数のサーバ（図示せず）を含むがそれらに限定されない１つまたは複数の他のデバイスまたはシステムを含み得て、またはそのようなデバイスまたはシステムを使用し得る。

【0031】

３Ｄシステム１０６，１０８は、３Ｄ情報の取り込み、処理、送信もしくは受信、および／または、３Ｄコンテンツの表示に関連する複数の構成要素を含み得る。３Ｄシステム１０６，１０８は、３Ｄ表現に含まれる画像の画像コンテンツを取り込むための１つまたは複数のカメラを含み得る。ここでは、３Ｄシステム１０６は、カメラ１１６および１１８を含む。たとえば、カメラ１１６および／またはカメラ１１８は、それぞれのカメラ１１６および／または１１８の対物レンズまたはレンズがハウジング内の１つまたは複数の開口によって画像コンテンツを取り込むように、実質的に３Ｄシステム１０６のハウジング内に配置することができる。いくつかの実現例では、カメラ１１６および／または１１８は、（たとえば、３Ｄシステム１０６との有線および／または無線接続を有する）スタンドアロンデバイスの形態など、ハウジングから分離していてもよい。カメラ１１６および１１８は、ユーザ（たとえば、ユーザ１０２）の十分に描写的なビューを取り込むように位置決めおよび／または方向付けすることができる。カメラ１１６および１１８は、一般的にはユーザ１０２のための３Ｄディスプレイ１１０のビューを不明瞭にすることはないが、カメラ１１６および１１８の設置は、任意に選択することができる。たとえば、カメラ１１６，１１８の一方がユーザ１０２の顔よりも上のどこかに位置決めされてもよく、他方が顔よりも下のどこかに位置決めされてもよい。たとえば、カメラ１１６，１１８の一方がユーザ１０２の顔の右側のどこかに位置決めされてもよく、他方が顔の左側のどこかに位置決めされてもよい。３Ｄシステム１０８も同様に、たとえばカメラ１２０および１２２を含み得る。追加のカメラが可能である。たとえば、第３のカメラがディスプレイ１１０の近くまたは後ろに設置されてもよい。

【0032】

いくつかの実現例では、３Ｄシステム１０６，１０８は、３Ｄ表現で使用される深度データを取り込むための１つまたは複数の深度センサを含み得る。そのような深度センサは、３Ｄディスプレイ上にシーンを正確に表示するために、３Ｄシステム１０６および／または１０８によって取り込まれたシーンを特徴付けるために使用される、３Ｄコンテンツシステム１００内の深度取り込み構成要素の一部であると考えることができる。また、システムは、視聴者の現在の視点に対応する外観で３Ｄ表現をレンダリングすることができるように、視聴者の頭の位置および向きを追跡することができる。ここでは、３Ｄシステム１０６は、深度センサ１２４を含む。同様に、３Ｄシステム１０８は、深度センサ１２６を含み得る。複数のタイプの深度センシングまたは深度取り込みのいずれかを深度データの生成に使用することができる。

【0033】

いくつかの実現例では、支援型ステレオ深度取り込みが実行される。光のドットを使用してシーンを照明することができ、たとえば２つのそれぞれのカメラ間でステレオマッチングを実行することができる。この照明は、選択された波長または波長範囲の波を使用してなされ得る。たとえば、赤外（ＩＲ）光が使用されてもよい。いくつかの実現例では、たとえば２Ｄデバイス上でビューを生成する際に深度センサは利用されなくてもよい。

【0034】

深度データは、深度センサ（たとえば、深度センサ１２４）とシーン内のオブジェクトとの間の距離を反映する、シーンに関する任意の情報を含み得て、またはそのような任意の情報に基づき得る。深度データは、シーン内のオブジェクトに対応する画像内のコンテンツについて、オブジェクトまでの距離（または、深度）を反映する。たとえば、カメラと深度センサとの間の空間的関係を知ることができ、そのような空間的関係は、カメラからの画像と深度センサからの信号とを相関付けてそれらの画像の深度データを生成するのに使用することができる。

【0035】

３Ｄコンテンツシステム１００によって取り込まれた画像は、処理されて、その後、３Ｄ表現として表示され得る。図１の例に示されるように、ユーザ１０４の３Ｄ画像１０４′が３Ｄディスプレイ１１０上に表示される。したがって、ユーザ１０２は、３Ｄ画像１０４′を、ユーザ１０２から遠隔に位置し得るユーザ１０４の３Ｄ表現として知覚することができる。３Ｄ画像１０２′が３Ｄディスプレイ１１２上に表示される。したがって、ユーザ１０４は、３Ｄ画像１０２′をユーザ１０２の３Ｄ表現として知覚することができる。

【0036】

３Ｄコンテンツシステム１００は、参加者（たとえば、ユーザ１０２，１０４）が互いおよび／または他者との音声通信に携わることを可能にすることができる。いくつかの実現例では、３Ｄシステム１０６は、スピーカおよびマイク（図示せず）を含む。たとえば、３Ｄシステム１０８も同様に、スピーカおよびマイクを含み得る。したがって、３Ｄコンテンツシステム１００は、ユーザ１０２および１０４が互いおよび／または他者との３Ｄテレプレゼンスセッションに携わることを可能にすることができる。一般的に、本明細書に記載されているシステムおよび技術は、画像コンテンツおよび／または映像コンテンツを生成してシステム１００のユーザ間に表示するようにシステム１００で機能することができる。

【0037】

テレプレゼンスシステム１００上に表示される画像コンテンツを生成することは、（たとえば、入力画像２０１から取得された）任意の数の入力深度ビュー１３４の使用を含み得る。たとえば、システム１０６は、更新された深度ビュー１３８を生成するために、画像２０１を取り込み、深度ビュー１３４を検索し、幾何学的融合技術１３６を使用してビュー１３４を処理する（または、サーバで処理されるようにビューを送信する）ことができる。更新された深度ビュー１３８は、取り込まれた深度ビュー１３４からの各々の元の深度ビューを、取り込まれた深度ビュー１３４に対応する他の深度ビューからの情報を組み込んだ再計算された深度ビューと置換するビューを表す。送信側で深度ビューを再計算することによって、システム１００は、ノイズの大きさを減少させるとともにいずれの検出されたオクルージョン領域も埋めるようにビュー１３４全体にわたる情報を併合することによって、送信側クライアント（たとえば、３Ｄシステム１０６）から受信側クライアント（たとえば、３Ｄシステム１０８）に深度ビューを送信するためのビットレートを事実上下げることができる。

【0038】

図２は、本開示全体にわたって記載されている実現例に係る、深度ビューを生成して、コンテンツを合成してディスプレイデバイス上でレンダリングを行うための例示的なシステムのブロック図である。システム２００は、本明細書に記載されている１つもしくは複数の実現例として機能することができ、または本明細書に記載されている１つもしくは複数の実現例に含まれ得て、および／または、本明細書に記載されている画像データを表すビューの合成、処理、モデル化もしくは表示の１つもしくは複数の例の動作を実行するために使用することができる。システム２００全体および／またはその個々の構成要素のうちの１つ以上は、本明細書に記載されている１つまたは複数の例に従って実現することができる。

【0039】

システム２００は、複数の既存のビューを考慮して所定のビューにおいてコンピュータグラフィックオブジェクトをレンダリングするように構成され得る。たとえば、そのようなコンピュータグラフィックオブジェクトを含むシーンについてカメラから取り込まれたいくつかの画像ビュー（たとえば、入力画像２０１）を考慮すると、目標は、異なる視点からのシーンの新たな（たとえば、新規の）ビューを合成することであり得る。シーンはリアルなものであってもよく、この場合、物理的なカラーセンサおよび深度センサを使用してビューが取り込まれ、または、シーンは合成的なものであってもよく、この場合、ラスタライゼーションもしくはレイトレーシングなどのレンダリングアルゴリズムを使用してビューが取り込まれる。リアルなシーンでは、飛行時間型センサ、構造化光ベースのセンサ、およびステレオまたはマルチビューステレオアルゴリズムなどの多くの深度センシング技術が存在し、それらのいずれかおよび全てをシステム２００が利用することができる。そのような技術は、受動的または能動的照明パターンを有する可視センサまたは赤外センサを含み得て、これらのパターンは、時間的に変化するものであってもよく、それらのいずれかおよび全てをシステム２００が利用することができる。

【0040】

システム２００は、１つまたは複数の３Ｄシステム２０２を含み得る。示されている例では、３Ｄシステム２０２Ａ，２０２Ｂ～２０２Ｎが示されており、添字Ｎは任意の数字を示す。３Ｄシステム２０２は、２Ｄまたは３Ｄ表示のための視覚情報および音声情報の取り込みを提供して、この２Ｄまたは３Ｄ情報を処理のために転送することができる。そのような情報は、シーンの画像、シーンについての深度データ、およびシーンからの音声を含み得る。たとえば、３Ｄシステム２０２は、システム１０６および２Ｄ／３Ｄディスプレイ１１０（図１）として機能し得て、または、システム１０６および２Ｄ／３Ｄディスプレイ１１０内に含まれ得る。

【0041】

システム２００は、カメラ２０４によって示されるように複数のカメラを含み得る。一般的なデジタルカメラで使用されるタイプの画像センサなどの任意のタイプの光センシング技術を画像の取り込みに使用することができる。カメラ２０４は、同一のタイプのカメラであってもよく、または異なるタイプのカメラであってもよい。カメラの場所は、たとえばシステム１０６などの、３Ｄシステム上の任意の場所の中に設置されてもよい。いくつかの実現例では、カメラ（たとえば、カメラセンサ）は、ディスプレイ２１２の周囲（たとえば、１１２）に位置していてもよく、そのようなカメラは、ディスプレイ２１２の中央付近（たとえば、１１２）からの新規のビューを合成するのに使用することができる。

【0042】

システム２０２Ａは、深度センサ２０６を含む。いくつかの実現例では、深度センサ２０６は、ＩＲ信号をシーン上に投影して応答信号を検出することによって動作する。たとえば、深度センサ２０６は、ビーム１２８Ａ～Ｂおよび／または１３０Ａ～Ｂを生成および／または検出することができる。いくつかの実現例では、深度センサ２０６は、たとえば深度センシングを利用しない２Ｄテレビ会議アプリケーションにおける任意の構成要素である。システム２０２Ａは、少なくとも１つのマイク２０８およびスピーカ２１０も含む。いくつかの実現例では、マイク２０８およびスピーカ２１０は、システム１０６の一部であってもよい。

【0043】

さらに、システム２０２は、３Ｄ画像を表示することができる３Ｄディスプレイ２１２を含む。いくつかの実現例では、３Ｄディスプレイ２１２は、スタンドアロンディスプレイであってもよく、いくつかの他の実現例では、３Ｄディスプレイ２１２は。いくつかの実現例では、３Ｄディスプレイ２１２は、パララックスバリア技術を使用して動作する。たとえば、パララックスバリアは、画面と視聴者との間に設置された実質的に非透明な材料からなる平行な縦縞（たとえば、不透明フィルム）を含み得る。視聴者のそれぞれの眼同士の間の視差のために、画面の異なる部分（たとえば、異なる画素）がそれぞれの左眼および右眼によって見られる。いくつかの実現例では、３Ｄディスプレイ２１２は、レンチキュラーレンズを使用して動作する。たとえば、レンズの交互の列が画面の正面に設置されてもよく、これらの列は、画面からそれぞれ視聴者の左眼および右眼の方に光を向ける。

【0044】

システム２００は、データ処理、データモデル化、深度画像管理および修正、圧縮管理、データ連携および／またはデータ送信の特定のタスクを実行することができる画像処理システム２１４を含む。システム２１４は、図７を参照して説明する構成要素のいずれかもしくは全てを有するサーバもしくはクライアントコンピューティングシステム、および／または、３Ｄシステム２０２を表し得る。

【0045】

いくつかの実現例では、システム２１４は、オブジェクトの画像をレンダリングするように構成され得る。システム２１４は、ネットワークインターフェイス２１６と、１つまたは複数の処理ユニット２１８と、メモリ２２０とを含む。ネットワークインターフェイス２１６は、たとえば、ネットワーク２２２から受信された電子信号および／または光信号を、たとえばシステム２１４によって使用するための電子的な形態に変換するためのイーサネット（登録商標）アダプタなどを含む。一組の処理ユニット２１８は、１つまたは複数の処理チップおよび／またはアセンブリを含む。メモリ２２０は、揮発性メモリ（たとえば、ＲＡＭ）と、１つまたは複数のＲＯＭ、ディスクドライブ、ソリッドステートドライブなどの不揮発性メモリとを両方とも含む。一組の処理ユニット２１８およびメモリ２２０はともに、本明細書に記載されているさまざまな方法および機能を実行するように構成および配置された制御回路を形成する。

【0046】

いくつかの実現例では、システム２１４の構成要素のうちの１つ以上は、メモリ２２０に格納された命令を処理するように構成されたプロセッサ（たとえば、処理ユニット２１８）を含み得て、またはそのようなプロセッサにアクセスし得る。そのような命令は、たとえば、深度画像マネージャ２２４、任意のカラー画像マネージャ２２６、深度画像識別マネージャ２２８、深度画像生成部２３０および圧縮マネージャ２３２によって実行され得る。さらに、図２に示されるように、メモリ２２０は、さまざまなデータを格納するように構成されており、このことについて、そのようなデータを使用するそれぞれのマネージャに関連して説明する。

【0047】

深度画像マネージャ２２４は、深度画像データ（たとえば、深度ビュー１３４）を受信するように構成されている。いくつかの実現例では、深度画像マネージャ２２４は、ネットワーク２２２を介してネットワークインターフェイス２１６経由で深度ビュー１３４を受信する。いくつかの実現例では、深度画像マネージャ２２４は、たとえばハードドライブ、フラッシュドライブ、ストレージディスクなどのローカルストレージデバイスから深度ビュー１３４を受信する。

【0048】

深度ビュー１３４は、オブジェクト（たとえば、仮想オブジェクト、物理的オブジェクト、ユーザなど）の深度画像１３４（１）...１３４（Ｎ）として示される複数の深度画像（たとえば、深度マップ）を表す。深度画像の一例、たとえば深度画像１３４（１）が図１に見られる。各深度画像は、少なくとも１つのカメラからオブジェクトの表面上の画素までの線に沿った距離または深度のマップを表す。少なくとも１つのカメラは、深度画像が取り込まれる視点によって示される角度でオブジェクトに対して方向付けられる。本明細書に記載されている例では、所定の視点から取り込まれた新たな深度画像に融合されるオブジェクトの所与の深度画像が３つある。いくつかの実現例では、融合される深度画像は３つよりも少なくてもよく、または３つよりも多くてもよい。

【0049】

いくつかの実現例では、システム２１４は、任意に、カラー画像を圧縮するように構成され得る。カラー画像マネージャ２２６は、カラー画像データ２２７を受信するように構成されている。いくつかの実現例では、カラー画像マネージャ２２６は、ネットワーク２２２を介してネットワークインターフェイス２１６経由でカラー画像データ２２７を受信する。いくつかの実現例では、カラー画像マネージャ２２６は、たとえばハードドライブ、フラッシュドライブ、ストレージディスクなどのローカルストレージデバイスからカラー画像データ２２７を受信する。

【0050】

カラー画像データ２２７は、オブジェクトの複数のカラー画像２２７（１）...２２７（Ｎ）を表す。たとえばカラー画像２２７（１）などの各深度画像は、少なくとも１つのカメラからオブジェクトの表面上の画素までの線に沿った距離または深度のマップを表す。たとえば、深度画像における各画素値は、画素を通るカメラ中心からの線（たとえば、光線）が交差する最も近いオブジェクト表面の位置を符号化する。この符号化は、距離または深度のいずれかとして実行することができる。距離は、カメラ中心から表面地点までの各画素を通る線（光線）に沿った長さを測定する。深度は、カメラ主軸（一般に、深度カメラのｚ軸と呼ばれる）に沿った表面地点の座標を測定する。少なくとも１つのカメラは、深度画像が取り込まれる視点によって示される角度でオブジェクトに対して方向付けられる。

【0051】

深度画像識別マネージャ２２８は、当該カラー画像に関連付けられた複数の深度画像のうちのある深度画像を識別するように構成されている。いくつかの実現例では、深度画像識別マネージャ２２８は、カラー画像２２７（１）の投影中心に最も近い投影中心を有する深度画像（たとえば、深度画像１３４（１））を、カラー画像（たとえば、カラー画像２２７（１））に関連付けられた深度画像として識別する。

【0052】

いくつかの実現例では、視点は、システム２１４において受信され得る。視点データは、新たな深度画像データを生成することができるターゲット視点の向きを表す。いくつかの実現例では、視点データは、カメラ行列を含む。いくつかの実現例では、カメラ行列は、３Ｄカメラ座標から２Ｄ画像座標へのマッピングを表す３×４行列である。

【0053】

深度画像生成部２３０は、特定の深度画像が取り込まれ得る視点データによって表されるターゲット視点から取り込まれたオブジェクトの深度画像を生成するように構成されたマネージャであり得る。

【0054】

いくつかの実現例では、ターゲット視点の観点から見たときの画像によって表される３Ｄシーンに基づいて光線データを生成するために、システム２００とともにレイキャスティングマネージャ（図示せず）が使用されてもよい。たとえば、レイキャスティングマネージャは、画像の各画素についてそれぞれの光線を投じることができる。いくつかの実現例では、レイキャスティングマネージャは、並列処理を使用して、すなわち複数のスレッドおよび／またはプロセッサを同時に使用して、光線を投じる。そのような実現例では、投じられた各光線に対する動作は、同様に並行して実行される。いくつかの実現例では、レイキャスティングマネージャは、ワープを使用して画像の画素全体にわたって平行に光線を投じる。いくつかの実現例では、レイキャスティングマネージャは、ＯｐｅｎＧＬフラグメントシェーダを使用して画像の画素全体にわたって平行に光線を投じる。

【0055】

光線データ（図示せず）は、オブジェクトを含む３Ｄシーンの画像を形成するために使用される光線を表す。光線データによって表される各光線は、画像の画素に関連付けられる。光線データによって表される光線は、視点起点（たとえば、カメラ）から画像の画素に発せられる。いくつかの実現例では、符号付き距離値（ＳＤＶ：Signed Distance Value）マネージャ（図示せず）は、システム２００の一部であってもよく、深度画像の各々について各光線に沿ったさまざまな位置における当該光線に沿ったＳＤＶを計算することによってＳＤＶデータを生成するように構成され得る。これを実現するために、いくつかの実現例では、ＳＤＶマネージャは、停止条件が満たされるまで繰り返し光線に沿って１ステップずつ実行するように構成されている。いくつかの実現例では、停止条件は、次のステップの場所が、深度画像に関連付けられたオブジェクトの表面と交差するというものである。いくつかの実現例では、光線に沿ったステップサイズは、ステップの光線に沿った現在の場所とオブジェクトの表面との間の距離の絶対値に比例する。このように、深度画像の視点に関連付けられたオブジェクト表面に場所が近づくにつれて、ステップが細かくなっていく。いくつかの実現例では、ＳＤＶの絶対値がある切捨て閾値よりも大きい場合、当該ＳＤＶは所定の値と置換される。いくつかの実現例では、この所定の値は、未定義である。いくつかの実現例では、ＳＤＶデータ１６２は、各深度画像についての各光線に沿ったＳＤＶ（符号付き距離値）を表す。慣例として、本明細書におけるＳＤＶの符号は、視点起点と視点に関連付けられた表面との間の光線に沿った位置では正であり、この表面を超えた光線に沿った位置では負である。

【0056】

一例では、光線に沿った地点は、ｐ＝ｏ＋αｖとして表現され、式中、ｏはターゲット視点を示し、ｖは光線の単位ビュー方向であり、スカラαは光線に沿ったパラメータ的な場所を符号化する。光線地点ｐを考えると、各深度画像ｊについて、ｐを深度画像のカメラ空間に変換し、透視投影を計算してカメラ画像内の地点ｐの画素座標を決定し、格納された深度値をサンプリングする。いくつかの実現例では、重み値も格納される。深度値をカメラ空間地点のｚ座標から減算して、符号付き距離値ｓ_ｊを取得する。なお、上記のように、ｓ_ｊは、地点ｐが深度カメラから見える最前部の表面の正面に位置している場合には正であり、そうでなければ負である。

【0057】

求根マネージャ（図示せず）は、求根動作を実行して、各光線に沿った総計ＳＤＶの根を生成するように構成されている。いくつかの実現例では、求根動作は、総計ＳＤＶがたとえば正から負に符号を変化させる場所を決定し、二分探索動作を実行して根の場所（たとえば、光線に沿った総計ＳＤＶがゼロまたは何らかの他の定数である場所）を特定することを含む。根の場所のデータは、上記の求根動作によって決定された各光線に沿った総計ＳＤＶのルートを表し得る。深度画像生成部２３０は、根の場所のデータによって表されるルートに基づいて、これらの線に沿ってオブジェクト表面を生成する。いくつかの実現例では、深度画像生成部２３０は、補間動作を実行して、個別の根から連続的な表面を生成する。

【0058】

圧縮マネージャ２３２は、決定された深度ビューに従って各深度ビューに対して圧縮動作を実行して、圧縮データ２３４を生成する。圧縮データ２３４は受信機に送信され、受信機において、圧縮データ２３４は復元（復号）および融合されて、合成されたビュー２４０を作成する。

【0059】

従来の映像システムは、たとえば３つの深度ビューおよび４つのカラービューなどの映像の複数のストリームのハードウェア映像符号化および復号を利用することによって映像のリアルタイム送信を実現する。これらのビューは受信機において融合されて、受信機の追跡された眼に基づいて低レイテンシの左側／右側ビューが作成される。そのようなシステムでは、一般的な問題は、映像ストリームで、特に複数のカラービューで必要なネットワーク送信ビットレートを下げることである。ネットワーク送信ビットレートを下げるための従来のアプローチは、映像、特にフレームの空間的領域の品質を選択的に上げるまたは下げることを含む。たとえば、テレビ会議のシナリオでは、そのような従来のアプローチは、ユーザの顔に関するより詳しい詳細を保持しながらフレームの他の部分が低い品質を有することを可能にするために使用され得る。他の従来のアプローチは、複数のカラー画像の各々の品質を保持しようとする。これは、圧縮されたビューの組み合わせとしての最終的なオブジェクトの高品質レンダリングを可能にすることを目指してビュー画像の品質を適合させることによって（たとえば、圧縮品質を空間的に圧縮することによって）なされる。

【0060】

システム２００は、幾何学的融合技術１３６を実行し得る。技術１３６は、既存のビューからのコンピュータグラフィックスレンダリングの文脈において使用することができる。たとえば、あるシーンについてカメラから取り込まれたいくつかの深度画像（および／または、カラー画像）を考えると、異なる視点からのシーンの新たなビューを合成することが望ましい。このシーンは、物理的なものであってもよく（この場合、ビューは物理的なカラーセンサおよび深度センサを使用して取り込まれる）、または合成的なものであってもよい（この場合、ビューはラスタライゼーションまたはレイトレーシングなどのレンダリングアルゴリズムを使用して取り込まれる）。物理的なシーンでは、飛行時間型センサ、構造化光ベースのセンサ、およびステレオ（または、マルチビューステレオ）アルゴリズムなどの多くの深度センシング技術が存在する。これらの技術は、任意に受動的または能動的照明パターンを有する可視センサまたは赤外センサを含み得て、これらのパターンは、時間的に変化するものであってもよい。

【0061】

システム２００は、複数のビューからの深度情報および／または他の画像情報を併合してシーンの一貫性のある表現にすることにより、再構築されたシーンを正確な表面間オクルージョンおよび所定の視点からの視差でレンダリングすることができる。物理的なシーンでは、深度センサもカラーセンサもノイズの混ざったデータを作成する。さらに、取得された深度画像は、特にシルエットなどの深度不連続部分付近に大きな誤差を有し得る。したがって、異なるビューを併合する際にそれらに付与される重要度を適合的に変化させること、たとえばシーン面が別のビューからより正面方向に見える場合、このシーン面を斜めに見るビューに対して低い優先度を付与することが望ましい。システム２００によって使用される幾何学的融合技術は、複数の深度ビューを併合して特定のビューからの一貫性のある表現（すなわち、当該ビューからの新たな深度画像を使用して表される）にすることを含み得る。したがって、幾何学的融合を送信側で実行して、全ての深度ビューを併合して各々の元の深度ビューについて新たな深度画像を生成することができる。また、幾何学的融合技術を受信側で実行して、全ての深度ビューを併合して新規のビューから（たとえば、左眼および右眼について）深度画像を生成することができる。

【0062】

いくつかの実現例では、幾何学的融合技術は、特定の幾何学的形状に基づいて情報を集約する技術を含み得る。いくつかの実現例では、幾何学的融合技術は、（たとえば、深度ビュー／マップに見られる）複数組の重複する表面測定値を使用して、これらの重複する表面測定値を有する他の深度ビュー／マップからのデータを含む更新された深度ビュー／マップを生成し得る。

【0063】

動作時、システム２００を有するシステムは、送信側システムで取り込まれた一組のビューに適用された通りに送信側での幾何学的融合を実行することができる。送信側での幾何学的融合により、取り込まれたビューの各々からの深度データを含む更新されたビューが生成され得る。受信側システムにおいて、幾何学的融合技術を再び実行して、受信側システムにおいてレンダリングを行うために新規のコンテンツを合成し得る。このように、幾何学的融合は、２回、すなわち、送信前に各々の入力された（たとえば、取り込まれた）深度ビューに対して（送信側システムで）１回、および受信された（送信側で融合された）深度ビューを併合する際に最終的な合成されたビューに対して１回、実行され得る。

【0064】

上記の例示的な構成要素は、（図１におけるネットワーク１１４と同様または同一であり得る）ネットワーク２２２によって３Ｄシステム２０２のうちの１つ以上と通信することができるシステム２１４において実現されるものとして説明されている。いくつかの実現例では、メモリ２２０内に示される構成要素は、その代わりにまたはそれに加えて、３Ｄシステム２０２の一部または全部において実現されてもよい。たとえば、上記の方法および／または処理は、３Ｄ情報を１つまたは複数の受信システムに転送する前に、３Ｄ情報を生じさせるシステムによって実行することができる。

【0065】

システム２００は、カメラ（たとえば、カメラ２０４）、深度センサ（たとえば、深度センサ２０６）、およびメモリ２２０に格納された命令を実行するプロセッサを有する３Ｄコンテンツ生成部（たとえば、深度画像生成部２３０）からの画像データを含む、またはそのような画像データにアクセスするシステムの一例である。そのような命令は、プロセッサに、（たとえば、深度処理構成要素によって）３Ｄ情報に含まれる深度データを使用して、この３Ｄ情報に含まれるあるシーンの画像内の画像コンテンツを識別させることができる。プロセッサは、以下の図６で説明する修正された深度ビュー（たとえば、更新された深度ビュー１３８）を生成することができ、この修正された深度ビューは、ディスプレイ２１２に提供されて、たとえば合成されたビュー２４０を適切に示すことができる。

【0066】

更新された深度ビュー１３８は、取り込まれた深度ビュー１３４からの各々の元の深度ビューを、取り込まれた深度ビュー１３４に対応する他の深度ビューからの情報を組み込んだ再計算された深度ビューと置換するビューを表す。送信側で深度ビューを再計算することは、以下でさらに詳細に説明するように、ノイズの大きさを減少させるとともにいずれの検出されたオクルージョン領域も埋めるように深度ビュー１３４全体にわたる情報を併合することを含み得る。

【0067】

合成されたビュー２４０は、本明細書に記載されている送信側での幾何学的融合に少なくとも部分的に基づく、ディスプレイ（たとえば、ディスプレイ２１２）にアクセスするユーザに関連付けられた両眼の適切な視差およびビューイング構成を有する特定のオブジェクトの３Ｄ立体画像（たとえば、ユーザ画像１０４′）を表す。

【0068】

いくつかの実現例では、プロセッサ２１８は、グラフィックス処理ユニット（ＧＰＵ：Graphics Processing Unit）を含み得る（または、通信し得る）。動作時、これらのプロセッサは、メモリ、ストレージおよび他のプロセッサ（たとえば、ＣＰＵ）を含み得る（または、アクセスし得る）。グラフィックスおよび画像の生成を容易にするために、これらのプロセッサは、ＧＰＵと通信してディスプレイデバイス（たとえば、ディスプレイデバイス２１２）上に画像を表示することができる。ＣＰＵおよびＧＰＵは、ＰＣＩ、ＡＧＰまたはＰＣＩ－Ｅｘｐｒｅｓｓなどの高速バスを介して接続され得る。ＧＰＵは、ＨＤＭＩ（登録商標）、ＤＶＩまたはＤｉｓｐｌａｙＰｏｒｔなどの別の高速インターフェイスを介してディスプレイに接続され得る。一般的に、ＧＰＵは、画素の形態で画像コンテンツをレンダリングし得る。ディスプレイデバイス２１２は、ＧＰＵから画像コンテンツを受信し得て、この画像コンテンツをディスプレイ画面上に表示し得る。

【0069】

図３Ａ～図３Ｄは、本開示全体にわたって記載されている実現例に係る、送信側での幾何学的融合を使用して新規の画像を合成することの例を示す図である。図３Ａは、ユーザのビュー３０４ａの深度マップ３０２を含む。深度マップ３０２は、第１の斜め方向視点からの着席しているユーザの深度画像を表す。図３Ｂは、同一の着席しているユーザのビュー３０４ｂの深度マップ３０６を含む。深度マップ３０６は、平角視点からの着席しているユーザの深度画像である。図３Ｃは、同一の着席しているユーザのビュー３０４ｃの深度マップ３０８である。深度マップ３０８は、第２の斜め方向視点からの着席しているユーザの深度画像である。

【0070】

深度マップ３０２，３０６および３０８では、深度値は、暗い色（小さな深度値を示す）から明るい色（大きな深度値を示す）までのグレースケールで示されている。白色は、背景（実質的に無限の深度）を示す。黒色は、未知または未定義の深度（たとえば、欠損データ、ノイズなど）を示す。

【0071】

システム２００は、深度マップ３０２，３０６および３０８を使用して、更新された深度ビュー（図示せず）を生成し得て、これらの更新された深度ビューを使用して、図３Ｄに示される結果として得られる深度画像３１０を生成し得る。たとえば、深度マップ３０２，３０６および３０８の各々からの深度データを使用して、各々の最初に取り込まれた深度ビューについて新たな（たとえば、更新された）深度ビューを生成してもよい。いくつかの実現例では、更新された深度ビューは、いくつかの深度ビュー（たとえば、ビュー３０２，３０６および３０８）からの併合された情報を表す。いくつかの実現例では、更新された深度ビューは、特に低品質の深度データが特定されて除去されたいくつかの深度ビューからの深度情報を含む。更新された深度ビューを使用して、最終的な深度画像３１０を生成する（たとえば、合成する）ことができる。

【0072】

深度画像３１０は、所定の視点から生成されてもよい。たとえば、融合された深度画像３１０の所定の視点は、ユーザの真正面に向いている。いくつかの実現例では、深度画像３１０を生成するために上記のレイキャスティングアプローチが使用されてもよく、これは、以前の容積測定ベースの技術よりも、使用するリソースがはるかに少なく、リアルタイムで実行することができる。これは、テレビ会議などのアプリケーションで有用である。

【0073】

図４は、本開示全体にわたって記載されている実現例に係る、送信側での幾何学的融合を使用して欠損データの領域を合成することの一例を示す図である。送信側での幾何学的融合を実行することは、最初に取り込まれた深度ビューの更新バージョンを送信するために使用されるネットワーク帯域幅を減少させることができる。

【0074】

図４に示されるように、（たとえば、深度画像１３４（１）のビューを表す）第１の入力深度マップ４０２が表示される。深度マップ４０２は、取り込まれた深度データを表す。同様に、深度マップ４０４および深度マップ４０６は、たとえば深度画像１３４（２）および１３４（Ｎ）の他の深度ビューを表す。

【0075】

示されているように、深度マップ４０２，４０４および４０６の各々は、特定の入力画像（たとえば、２０１）に対して実行された３Ｄ深度推定プロセスのために、ノイズ（たとえば、ピンぼけおよび照明欠陥）ならびに欠損データのエリア（たとえば、暗い影および黒色のエリア）を含む。破線の形状は、そのようなノイズおよび欠損データのいくつかの例を強調している。いくつかの実現例では、欠損データは、深度マップ４０２，４０４および４０６によって示される入力深度ビューでは黒色の値として表現されてもよい。さらに、このノイズおよび欠損データは、しばしば時間的に（すなわち、１つの時間フレームから次の時間フレームへと）変化するので、深度データストリームを効果的に圧縮することが困難になる。

【0076】

したがって、更新された深度データを使用して新たな（たとえば、新規の）画像を生成するために、システム２００は、矢印セット４０８，４１０および４１２によって示されるように、他のビューからの深度データを考慮に入れた（たとえば、組み合わせた）各深度マップについて深度ビューを再計算し得る。たとえば、送信側での幾何学的融合技術を深度マップ４０２，４０４および４０６に適用して、最初に取り込まれた深度マップ（たとえば、深度マップ４０２，４０４および４０６）に対する置換データソースとして、更新された深度マップ／ビューを生成することができる。置換深度マップ（ここでは、マップ４１４，４１６および４１８として示されている）を使用して、深度マップ４０２，４０４および４０６に示されるビューのいずれについても深度情報を送信することができる。要するに、置換ビュー４１４～４１８は、送信側での幾何学的融合技術を適用して各々の元の深度ビューを、２つまたはそれ以上の他の入手可能な深度ビューからの情報を組み込んだ再計算された深度ビューと置換することによって、深度マップ／データを送信するのに必要な帯域幅を減少させる。

【0077】

上記のプロセスは、ビュー４１４，４１６および４１８に示されるように、ノイズの大きさを減少させるとともにオクルージョン領域を埋めるようにビュー全体にわたる情報を併合することによって、送信側システム（たとえば、コンピューティングシステム）から受信側クライアントに深度ビューを送信するビットレートを下げる効果を提供することができる。各々の更新された深度ビュー４１４，４１６および４１８は、対応する取り込まれた深度ビュー４０２，４０４および４０６に示される、オクルージョン領域およびノイズを持たない補正されたビューを有する。

【0078】

たとえば、（送信側で融合された深度ビューを表す）更新された深度ビュー４１４，４１６および４１８に示されるように、欠損データの領域（上段における黒色）は、他のビュー４０２，４０４および４０６からのデータを使用して埋められている。また、更新された深度ビュー４１４～４１８では、ノイズの大きさが減少している。また、時間的連続性が向上しており、これは、ほんの数例を挙げればビデオコーデックＨ．２６４、ＶＰ９、Ｈ．２６５およびＡＶＩなどの特定の圧縮スキームを支援することができる。

【0079】

送信側での幾何学的融合が行われた（すなわち、更新された）深度ビューが受信側システムで受信されると、たとえば新規の視点からの画像を合成するために、３つの受信された更新された深度ビューを使用して幾何学的融合プロセスが再び実行され得る。

【0080】

図５は、本開示全体にわたって記載されている実現例に係る、新規の画像を合成してディスプレイデバイス上でレンダリングを行うための例示的なパイプライン５００のブロック図である。ここでは、たとえばテレビ会議セッション中に、（たとえば、表現１３４（１），１３４（２）および１３４（Ｎ）と同様の）３つの入力深度ビュー５０２，５０４および５０６がシステム２０２によって取り込まれ得る。これらの深度ビューは、送信側の場所で取り込まれた深度データおよび／またはカラーデータを表し得る。３つのそれぞれの更新された深度ビュー５１０，５１２および５１４を生成するために、これら３つの深度ビュー１３４（１），１３４（２）および１３４（Ｎ）の各々に対して幾何学的融合技術５０８が実行され得る。一般的に、送信側での幾何学的融合技術５０８は、任意の数の取り込まれた深度ビューからの深度ビューの部分を組み合わせる集約動作を含み得る。送信側での幾何学的融合は、元の受信された深度ビューから修正された複数の更新された深度ビューの出力をもたらすことができ、当該修正は、深度ビューを使用して特定の深度ビュー内のオブジェクトを表す画像を後で合成することと比較して、特定の深度ビューに格納された深度画像データの品質を向上させる。送信側での幾何学的融合は、ほんの数例を挙げると、ノイズを除去するため、欠損データまたはオクルージョン画像部分を完全にするため、データ圧縮を向上させるため、および時間干渉性を向上させるために、集約動作を実行し得る。

【0081】

融合５０８を完了すると、更新された深度ビュー５１０，５１２および５１４は圧縮されて、ネットワークを介して送信され得る（５１６）。たとえば、３Ｄシステム２０２Ａは、圧縮された深度ビュー５１０，５１２および５１４を３Ｄシステム２０２Ｂに送信し得る。３Ｄシステム２０２Ｂは、受信された深度ビューを復元して、たとえばディスプレイ上でコンテンツをレンダリングする際にそのようなビューを利用し得る。特に、システム２０２Ｂは、復元された深度ビュー５１８，５２０および５２２を使用して、別の幾何学的融合５２４を実行することによって最終的なレンダリングビュー５２６を生成し得る。

【0082】

たとえば、受信側システム（たとえば、システム２０２Ｂ）上で、３つの受信された深度ビュー５１８，５２０および５２２を使用して幾何学的融合を実行して、ビュー５２６に示されるユーザの新規のビューを再び合成する。このように、幾何学的融合技術は、２回、すなわち、送信前に各々の入力された深度ビューに対して（送信側で）１回、および受信された（送信側で融合された）深度ビューを併合する際に最終的な出力されたビューに対して１回、適用される。幾何学的融合は、従来のシステムよりも、オブジェクトの元の深度ビューの面の滑らかでより完全なカバレージを生成する。

【0083】

いくつかの実現例では、画像処理システムは、システム２１４またはシステム２０２であり、システム２１４またはシステム２０２のどちらか一方は、更新されたビューおよび／または結果として得られた生成された深度画像を使用して複数のターゲット視点からの画像を合成するように構成されたテレプレゼンスシステムの一方の側であってもよい。たとえば、システム２１４またはシステム２０２上で動作するテレプレゼンスシステムは、ユーザの過去に取り込まれて修正された深度ビューを使用してリアルタイムでユーザの新規の画像を生成することができる。したがって、ターゲット視点は、ユーザ（または、たとえばシーン内の他のオブジェクト）の過去に取り込まれていない画像を合成するように選択され得る。

【0084】

いくつかの実現例では、幾何学的融合は、受信された深度ビューを全て使用して実行されて更新された深度ビューを生成する集約動作であり、そのような動作は、ネットワークを介して複数の深度ビューを送信する要求に応答して、事前プロセスとして実行され得る。当該事前プロセスは、各々の更新された深度ビューの画像圧縮および／または映像圧縮を含み得る。

【0085】

図６は、本開示全体にわたって記載されている実現例に係る、送信側での幾何学的融合を実行して画像コンテンツを生成するためのプロセス６００の一例を示すフローチャートである。要するに、プロセス６００は、取り込まれた深度画像を修正して、（たとえば、カメラによって過去に取り込まれていない）オブジェクトの新規のビューを生成することの一例を提供することができる。たとえば、プロセス６００は、特定の視点からの特定の画像を生成するために、本明細書に記載されているシステムおよびアルゴリズムを利用して深度ビュー集約動作を実行する。一般的には、記載されているプロセス６００は、画像コンテンツ、映像コンテンツ、仮想コンテンツ、ＵＩ要素、アプリケーションコンテンツ、または他のカメラによって取り込まれたコンテンツに対して実行され得る。

【0086】

一般的には、プロセス６００の説明および実行ではシステム１００，２００および／または７００が使用され得る。いくつかの実現例では、システム１００，２００および／または７００の各々は、単一のシステムを表し得る。いくつかの実現例では、システム２０２内の記載されているテレプレゼンスシステムが請求項の動作を実行してもよい。いくつかの実現例では、その代わりに、システム２０２を介してアクセスされるシステム２１４が請求項の動作を実行してもよい。プロセス６００は、少なくとも１つの処理デバイスを有する画像処理システム（たとえば、システム２１４または３Ｄシステム２０２）を利用して動作を実行する、コンピュータによって実行される方法である。

【0087】

ブロック６０２において、プロセス６００は、オブジェクトの複数の深度ビューを受信することを含む。たとえば、システム２１４は、（たとえば、深度マップ３０２，３０６および３０８に対応する深度画像／マップ１３４（１）...１３４（Ｎ）を含む）深度ビュー１３４を含み得る入力画像２０１を取り込み、受信し、または取得することができる。複数の深度ビュー１３４の各々は、オブジェクト（たとえば、ユーザ）のそれぞれの視点から取り込まれ得る。複数の深度ビューの各々は、それぞれの視点から取り込まれたオブジェクトの１つの深度画像に関連付けられたそれぞれの深度データを含み得る。たとえば、深度マップ３０２に示される第１の深度ビュー３０４ａは、深度画像１３４（１）に関連付けられてもよい。いくつかの実現例では、第１の深度ビューは、カラー画像２２７（１）にも関連付けられてもよい。一般的には、第１の深度ビューは、たとえばオンボードカメラによって取り込まれた実際の取り込まれた入力画像２０１に対応する。

【0088】

ブロック６０４において、プロセス６００は、複数の深度ビュー１３４に対して集約動作を実行することを含む。集約動作は、本開示全体にわたって記載されているように、深度ビュー１３４に対して送信側での幾何学的融合を実行することを含み得る。複数の深度ビュー１３４は、深度画像１３４（１）...１３４（Ｎ）に対応する、オブジェクトの取り込まれた画像２０１に対応する複数の深度マップ（たとえば、３０２，３０６および３０８）を表し得る。

【0089】

いくつかの実現例では、集約動作は、ブロック６０６に示されるように、複数の深度ビュー１３４（たとえば、ビュー３０４ａ，３０４ｂおよび３０４ｃ）の各々に対応する更新された深度ビュー１３８を生成することを少なくとも含み得る。各々の更新された深度ビュー１３８は、元の深度ビューが取り込まれたそれぞれの視点に少なくとも部分的に基づき得る。各深度ビュー１３４についての更新された深度ビュー１３８は、複数の深度ビュー１３８の残部の各々からの、（たとえば、深度マップ３０２，３０６および３０８によって表される画像１３４（１）...１３４（Ｎ）からの）それぞれの深度データの部分を表し得る。たとえば、同一オブジェクトの他の画像からの他の深度データの部分は、オブジェクトの他の角度（たとえば、ポーズ、視点など）、オブジェクトの他の照明、またはオブジェクトについての深度データに関係するとシステム２１４（または、システム２０２）によって判断された他の情報を含み得る。

【0090】

いくつかの実現例では、プロセス６００は、ブロック６０８に示されるように、複数の深度ビュー１３４の各々を、対応する更新された深度ビュー１３８と置換することを含む。たとえば、複数の深度ビュー１３４は、複数の深度マップ（たとえば、３０２，３０６および３０８）を表し得て、システム２１４は、送信側での幾何学的融合（たとえば、集約動作）を完了すると、複数の深度マップ３０２，３０６および３０８を生成して、複数の深度マップ３０２，３０６および３０８を、更新された深度マップ（図４の深度ビュー４１４，４１６および４１８によって示される）と置換することができる。

【0091】

いくつかの実現例では、集約動作（たとえば、深度ビューの置換）は、ターゲット視点からのオブジェクトの生成された深度画像の時間干渉性を向上させるために実行され得る。更新された深度ビューは、シングルキャプチャ深度ビューのいずれか１つよりも多くの情報を含んでいる。したがって、集約動作は、更新された深度ビューを利用する特定の結果として得られた画像を滑らかにするために実行され得る。なぜなら、そのような画像は、より多くの情報、より高品質な情報、および／または、特定の深度閾値を満たす情報で生成され得るからである。

【0092】

いくつかの実現例では、集約動作は、オブジェクトの受信された複数の深度ビューのうちの少なくとも１つに関連付けられた欠損（または、オクルージョン）データを生成するために実行され得る。たとえば、元の深度ビューの取込角度がユーザの顔の右側からであるので、深度マップ３０８に示される深度ビューは、ユーザの顔の左側が欠落している可能性がある。したがって、システム２１４は、システム２１４が利用できる他の深度マップ／深度ビューのうちの１つ以上の中にオクルージョン領域を表示することができる欠損データを生成するために、たとえば深度マップ３０２からの顔の左側の画像データを利用して深度ビュー情報を幾何学的に併合するように集約動作を使用することができる。

【0093】

オクルージョン領域は、たとえばステレオアルゴリズムを使用して２つの比較的接近した画像（たとえば、１５ｃｍ離れている）から深度画像が計算される場合に、システム２００（たとえば、ステレオベースの深度推論システム）などのシステムにおいて生じ得る。ステレオアルゴリズムによって作成される深度画像は、それら２つの取り込まれた画像のうちの１つに関して計算される。ステレオアルゴリズムは、面が２つの画像センサに関する斜角閾値を超える場合、または、面が２つの画像センサのうちの一方によって観察できるが２つの画像センサのうちの他方では観察できない場合、機能しない可能性がある。この可視性制約がオクルージョン問題を生じさせ得る。

【0094】

いくつかの実現例では、深度ビューの置換は、深度ビューをネットワークを介して受信側システムに送信する前にそのようなビューの映像圧縮率を向上させる（たとえば、記憶空間をより少なくする、速度をより速くするなど）ために実行され得る。いくつかの実現例では、深度ビューの置換（すなわち、集約動作を介したもの）は、特定のオブジェクトの受信された複数の深度ビューのうちの少なくとも１つに関連付けられたノイズを減少させるために実行され得る。

【0095】

ブロック６１０において、プロセス６００は、更新された深度ビューに基づいてターゲット視点からのオブジェクトの画像を生成することを含む。たとえば、ターゲット視点（たとえば、画像５２６に示されるユーザの過去に取り込まれていない視点）から画像５２６が生成され得る。すなわち、ターゲット視点は、（たとえば、深度マップ３０２，３０６および３０８によって示される）複数の深度ビューの各々が取り込まれるそれぞれの視点の各々とは異なっていてもよい。

【0096】

いくつかの実現例では、画像処理システムは、システム２１４またはシステム２０２であり、システム２１４またはシステム２０２のどちらか一方は、更新された深度ビューを使用して複数のターゲット視点からの画像を合成するように構成されたテレプレゼンスシステムの一方の側であってもよい。たとえば、システム２１４またはシステム２０２上で動作するテレプレゼンスシステムは、ユーザの過去に取り込まれて修正された深度ビューを使用してリアルタイムでユーザの新規の画像を生成することができる。したがって、ターゲット視点は、ユーザ（または、たとえばシーン内の他のオブジェクト）の過去に取り込まれていない画像を合成するように選択され得る。

【0097】

図７は、記載されている技術とともに使用され得るコンピュータデバイス７００およびモバイルコンピュータデバイス７５０の一例を示す図である。コンピューティングデバイス７００は、プロセッサ７０２と、メモリ７０４と、ストレージデバイス７０６と、メモリ７０４および高速拡張ポート７１０に接続する高速インターフェイス７０８と、低速バス７１４およびストレージデバイス７０６に接続する低速インターフェイス７１２とを含み得る。構成要素７０２，７０４，７０６，７０８，７１０および７１２は、さまざまなバスを使用して相互接続されて、共通のマザーボード上にまたは適宜他の態様で実装され得る。プロセッサ７０２は、高速インターフェイス７０８に結合されたディスプレイ７１６などの外部入力／出力デバイス上にＧＵＩのためのグラフィカル情報を表示するために、メモリ７０４内またはストレージデバイス７０６上に格納された命令を含む、コンピューティングデバイス７００内で実行するための命令を処理することができる。いくつかの実施形態では、複数のプロセッサおよび／または複数のバスが複数のメモリおよび複数のタイプのメモリとともに適宜使用されてもよい。また、複数のコンピューティングデバイス７００が接続されてもよく、各デバイスは、必要な動作の（たとえば、サーババンクとして、ブレードサーバ群として、またはマルチプロセッサシステムとしての）部分を提供する。

【0098】

メモリ７０４は、コンピューティングデバイス７００内に情報を格納する。一実施形態では、メモリ７０４は、１つまたは複数の揮発性メモリユニットである。別の実施形態では、メモリ７０４は、１つまたは複数の不揮発性メモリユニットである。また、メモリ７０４は、磁気ディスクまたは光ディスクなどの別の形態のコンピュータ読取可能媒体であってもよい。

【0099】

ストレージデバイス７０６は、コンピューティングデバイス７００に対してマスストレージを提供することができる。一実施形態では、ストレージデバイス７０６は、フロッピー（登録商標）ディスクデバイス、ハードディスクデバイス、光ディスクデバイス、もしくはテープデバイスなど、または、フラッシュメモリもしくは他の同様のソリッドステートメモリデバイス、または、ストレージエリアネットワークもしくは他の構成におけるデバイスを含むデバイスのアレイなどの、コンピュータ読取可能媒体であり得るか、またはそのようなコンピュータ読取可能媒体を含み得る。コンピュータプログラム製品は、情報担体において有形に具現化することができる。コンピュータプログラム製品は、実行されると上記の方法などの１つまたは複数の方法を実行する命令も含み得る。情報担体は、メモリ７０４、ストレージデバイス７０６またはメモリオンプロセッサ７０２などのコンピュータまたは機械読取可能媒体である。

【0100】

高速コントローラ７０８は、コンピューティングデバイス７００のための帯域幅集約的な動作を管理し、低速コントローラ７１２は、より低い帯域幅集約的な動作を管理する。そのような機能の割り当ては例示に過ぎない。一実施形態では、高速コントローラ７０８は、（たとえば、グラフィックスプロセッサまたはアクセラレータを介して）メモリ７０４、ディスプレイ７１６に結合されるとともに、さまざまな拡張カード（図示せず）を受け入れることができる高速拡張ポート７１０に結合される。低速コントローラ７１２は、ストレージデバイス７０６および低速拡張ポート７１４に結合され得る。さまざまな通信ポート（たとえば、ＵＳＢ、ブルートゥース（登録商標）、イーサネット（登録商標）、無線イーサネット）を含み得る低速拡張ポートは、キーボード、ポインティングデバイス、スキャナなどの１つもしくは複数の入力／出力デバイスに、または、スイッチもしくはルータなどのネットワーキングデバイスに、たとえばネットワークアダプタを介して結合され得る。

【0101】

コンピューティングデバイス７００は、図に示されるように、いくつかの異なる形態で実現されてもよい。たとえば、コンピューティングデバイス７００は、標準的なサーバ７２０として、またはそのようなサーバの群内で複数回実現されてもよい。また、コンピューティングデバイス７００は、ラックサーバシステム７２４の一部として実現されてもよい。また、コンピューティングデバイス７００は、ラップトップコンピュータ７２２などのパーソナルコンピュータにおいて実現されてもよい。代替的に、コンピューティングデバイス７００からの構成要素は、デバイス７５０などのモバイルデバイス（図示せず）における他の構成要素と組み合わせられてもよい。そのようなデバイスの各々は、コンピューティングデバイス７００，７５０のうちの１つ以上を含み得て、システム全体は、互いに通信する複数のコンピューティングデバイス７００，７５０で構成され得る。

【0102】

コンピューティングデバイス７５０は、他の構成要素の中でも特に、プロセッサ７５２と、メモリ７６４と、ディスプレイ７５４などの入力／出力デバイスと、通信インターフェイス７６６と、トランシーバ７６８とを含む。デバイス７５０は、追加のストレージを提供するために、マイクロドライブまたは他のデバイスなどのストレージデバイスを備え得る。構成要素７５０，７５２，７６４，７５４，７６６および７６８の各々は、さまざまなバスを使用して相互接続されており、当該構成要素のうちのいくつかは、共通のマザーボード上にまたは適宜他の態様で実装され得る。

【0103】

プロセッサ７５２は、メモリ７６４に格納された命令を含む命令をコンピューティングデバイス７５０内で実行することができる。プロセッサは、別々の複数のアナログプロセッサおよびデジタルプロセッサを含むチップのチップセットとして実現されてもよい。プロセッサは、たとえば、ユーザインターフェイスの制御、デバイス７５０によって実行されるアプリケーション、およびデバイス７５０による無線通信などの、デバイス７５０の他の構成要素の連携を提供し得る。

【0104】

プロセッサ７５２は、ディスプレイ７５４に結合された制御インターフェイス７５８およびディスプレイインターフェイス７５６を介してユーザと通信し得る。ディスプレイ７５４は、たとえば、薄膜トランジスタ液晶ディスプレイ（ＴＦＴ ＬＣＤ：Thin-Film-Transistor Liquid Crystal Display）または有機発光ダイオード（ＯＬＥＤ:Organic Light Emitting Diode）ディスプレイ、または他の適切なディスプレイ技術であってもよい。ディスプレイインターフェイス７５６は、グラフィカル情報および他の情報をユーザに提示するようにディスプレイ７５４を駆動するための適切な回路を備え得る。制御インターフェイス７５８は、ユーザからコマンドを受信し、それらを変換してプロセッサ７５２に送信し得る。また、外部インターフェイス７６２は、デバイス７５０と他のデバイスとの近距離通信を可能にするために、プロセッサ７５２と通信し得る。外部インターフェイス７６２は、たとえば、有線または無線通信を提供してもよく、いくつかの実施形態では、複数のインターフェイスが使用されてもよい。

【0105】

メモリ７６４は、コンピューティングデバイス７５０内に情報を格納する。メモリ７６４は、１つもしくは複数のコンピュータ読取可能媒体、１つもしくは複数の揮発性メモリユニット、または１つもしくは複数の不揮発性メモリユニットのうちの１つ以上として実現され得る。拡張メモリ７８４も設けられ得て、たとえばシングル・インライン・メモリ・モジュール（ＳＩＭＭ：Single In Line Memory Module）カードインターフェイスを含み得る拡張インターフェイス７８２を介してデバイス７５０に接続され得る。そのような拡張メモリ７８４は、デバイス７５０に追加の記憶空間を提供し得て、または、デバイス７５０のためのアプリケーションもしくは他の情報も格納し得る。具体的には、拡張メモリ７８４は、上記のプロセスを実行または補足するための命令を含み得て、セキュリティ保護された情報も含み得る。したがって、たとえば、拡張メモリ７８４は、デバイス７５０のためのセキュリティモジュールであってもよく、デバイス７５０の安全な使用を可能にする命令でプログラムされてもよい。また、ハッキングできない態様で識別情報をＳＩＭＭカード上に配置するなど、セキュリティ保護されたアプリケーションが追加の情報とともにＳＩＭＭカードを介して提供されてもよい。

【0106】

メモリは、以下で説明するように、たとえばフラッシュメモリおよび／またはＮＶＲＡＭメモリを含み得る。一実施形態では、コンピュータプログラム製品は、情報担体において有形に具現化される。コンピュータプログラム製品は、実行されると上記の方法などの１つまたは複数の方法を実行する命令を含む。情報担体は、メモリ７６４、拡張メモリ７８４またはメモリオンプロセッサ７５２などのコンピュータまたは機械読取可能媒体であって、たとえばトランシーバ７６８または外部インターフェイス７６２を介して受信され得る。

【0107】

デバイス７５０は、必要に応じてデジタル信号処理回路を含み得る通信インターフェイス７６６を介して無線で通信し得る。通信インターフェイス７６６は、とりわけ、ＧＳＭ（登録商標）音声通話、ＳＭＳ、ＥＭＳ、またはＭＭＳメッセージング、ＣＤＭＡ、ＴＤＭＡ、ＰＤＣ、ＷＣＤＭＡ（登録商標）、ＣＤＭＡ２０００、またはＧＰＲＳなどのさまざまなモードまたはプロトコル下での通信を提供し得る。そのような通信は、たとえば無線周波数トランシーバ７６８を介して行われてもよい。また、ブルートゥース、ＷｉＦｉ、または他のそのようなトランシーバ（図示せず）を使用するなどして短距離通信が行われてもよい。また、グローバルポジショニングシステム（ＧＰＳ：Global Positioning System）受信機モジュール７８０は、デバイス７５０上で実行されるアプリケーションによって適宜使用され得る追加のナビゲーション関連および位置関連の無線データをデバイス７５０に提供し得る。

【0108】

また、デバイス７５０は、音声コーデック７６０を使用して音声認識可能に通信し得て、音声コーデック７６０は、口頭の情報をユーザから受信して、それを使用可能なデジタル情報に変換し得る。音声コーデック７６０は、同様に、たとえばデバイス７５０のハンドセット内のスピーカなどを介して、ユーザのために可聴音を生成し得る。そのような音は、音声電話通話からの音を含み得て、録音された音（たとえば、音声メッセージ、音楽ファイルなど）を含み得て、デバイス７５０上で動作するアプリケーションによって生成された音も含み得る。

【0109】

コンピューティングデバイス７５０は、図に示されるように、いくつかの異なる形態で実現されてもよい。たとえば、コンピューティングデバイス７５０は、携帯電話７８０として実現されてもよい。また、コンピューティングデバイス７５０は、スマートフォン７８２、パーソナルデジタルアシスタントまたは他の同様のモバイルデバイスの一部として実現されてもよい。

【0110】

本明細書に記載されているシステムおよび技術のさまざまな実現例は、デジタル電子回路、集積回路、特別に設計されたＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェアおよび／またはそれらの組み合わせで実現することができる。これらのさまざまな実現例は、ストレージシステム、少なくとも１つの入力デバイス、および少なくとも１つの出力デバイスから／へのデータおよび命令の送受信を行うように結合された、専用または汎用であり得る少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステム上で実行可能および／または解釈可能である１つまたは複数のコンピュータプログラムでの実現例を含み得る。

【0111】

（プログラム、ソフトウェア、ソフトウェアアプリケーションまたはコードとしても知られている）これらのコンピュータプログラムは、プログラマブルプロセッサのための機械命令を含み、高レベルの手続き型および／もしくはオブジェクト指向型のプログラミング言語で、ならびに／または、アセンブリ／機械言語で実現することができる。「機械読取可能媒体」「コンピュータ読取可能媒体」という語は、本明細書で用いられる場合、機械読取可能信号として機械命令を受信する機械読取可能媒体を含むプログラマブルプロセッサに機械命令および／またはデータを提供するために使用される任意のコンピュータプログラム製品、装置および／またはデバイス（たとえば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ：Programmable Logic Device））を指す。「機械読取可能信号」という語は、プログラマブルプロセッサに機械命令および／またはデータを提供するために使用される任意の信号を指す。

【0112】

ユーザとの対話を提供するために、本明細書に記載されているシステムおよび技術は、情報をユーザに表示するためのディスプレイデバイス（たとえば、陰極線管（ＣＲＴ：Cathode Ray Tube）または液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）モニタ）と、ユーザがコンピュータに入力を提供することができるキーボードおよびポインティングデバイス（たとえば、マウスまたはトラックボール）とを有するコンピュータ上で実現することができる。ユーザとの対話を提供するために、他の種類のデバイスも使用することができる。たとえば、ユーザに提供されるフィードバックは、任意の形態の感覚フィードバック（たとえば、視覚フィードバック、聴覚フィードバック、または触覚フィードバック）であり得て、ユーザからの入力は、音響入力、音声入力または触覚入力を含む任意の形態で受信することができる。

【0113】

本明細書に記載されているシステムおよび技術は、バックエンド構成要素を（たとえば、データサーバとして）含むコンピューティングシステムにおいて実現されてもよく、ミドルウェア構成要素（たとえば、アプリケーションサーバ）を含むコンピューティングシステムにおいて実現されてもよく、フロントエンド構成要素（たとえば、ユーザが本明細書に記載されているシステムおよび技術の実施形態と対話することができるグラフィカルユーザインターフェイスまたはウェブブラウザを有するクライアントコンピュータ）を含むコンピューティングシステムにおいて実現されてもよく、またはそのようなバックエンド構成要素、ミドルウェア構成要素またはフロントエンド構成要素の任意の組み合わせを含むコンピューティングシステムにおいて実現されてもよい。システムのこれらの構成要素は、デジタルデータ通信の任意の形態または媒体（たとえば、通信ネットワーク）によって相互接続することができる。通信ネットワークの例としては、ローカルエリアネットワーク（「ＬＡＮ：Local Area Network」）、ワイドエリアネットワーク（「ＷＡＮ：Wide Area Network」）、およびインターネットが挙げられる。

【0114】

コンピューティングシステムは、クライアントおよびサーバを含み得る。クライアントおよびサーバは、一般に互いに遠隔にあり、典型的には通信ネットワークを介して対話する。クライアントとサーバとの関係は、それぞれのコンピュータ上で実行されるとともに互いに対してクライアント－サーバ関係を有するコンピュータプログラムによって生じるものである。

【0115】

いくつかの実施形態では、図７に示されるコンピューティングデバイスは、バーチャルリアリティまたはヘッドセット（ＶＲヘッドセット／ＡＲヘッドセット／ＨＭＤデバイス７９０）と接続するセンサを含み得る。たとえば、図７に示されるコンピューティングデバイス７５０または他のコンピューティングデバイス上に含まれる１つまたは複数のセンサは、ＡＲ／ＶＲヘッドセット７９０に入力を提供し、または一般に、ＡＲ／ＶＲ空間に入力を提供することができる。センサは、タッチスクリーン、加速度計、ジャイロスコープ、圧力センサ、生体センサ、温度センサ、湿度センサ、および周囲光センサを含み得るが、それらに限定されるものではない。コンピューティングデバイス７５０は、これらのセンサを使用して、ＡＲ／ＶＲ空間内のコンピューティングデバイスの絶対位置および／または検出された回転を判断することができ、絶対位置および／または検出された回転は、その後、ＡＲ／ＶＲ空間への入力として使用することができる。たとえば、コンピューティングデバイス７５０は、コントローラ、レーザポインタ、キーボード、武器などの仮想オブジェクトとしてＡＲ／ＶＲ空間に組み込まれてもよい。ＡＲ／ＶＲ空間に組み込まれたときのユーザによるコンピューティングデバイス／仮想オブジェクトの位置決めは、ユーザが、ＡＲ／ＶＲ空間内で特定の態様で仮想オブジェクトを見るようにコンピューティングデバイスを位置決めすることを可能にし得る。

【0116】

いくつかの実施形態では、コンピューティングデバイス７５０上に含まれる、またはコンピューティングデバイス７５０に接続する１つまたは複数の入力デバイスは、ＡＲ／ＶＲ空間への入力として使用することができる。当該入力デバイスは、タッチスクリーン、キーボード、１つもしくは複数のボタン、トラックパッド、タッチパッド、ポインティングデバイス、マウス、トラックボール、ジョイスティック、カメラ、マイク、入力機能を有するイヤホンもしくはイヤーバッド、ゲーミングコントローラ、または他の接続可能な入力デバイスを含み得るが、それらに限定されるものではない。コンピューティングデバイスがＡＲ／ＶＲ空間に組み込まれる場合にコンピューティングデバイス７５０上に含まれる入力デバイスと対話するユーザは、特定のアクションがＡＲ／ＶＲ空間内で行われるようにすることができる。

【0117】

いくつかの実施形態では、コンピューティングデバイス７５０上に含まれる１つまたは複数の出力デバイスは、ＡＲ／ＶＲ空間内のＡＲ／ＶＲヘッドセット７９０のユーザに出力および／またはフィードバックを提供することができる。当該出力およびフィードバックは、視覚的、触覚的、または音声的なものであってもよい。当該出力および／またはフィードバックは、ＡＲ／ＶＲ空間もしくは仮想環境をレンダリングすること、振動、１つもしくは複数のライトもしくはストロボをオンにしたりオフにしたりすること、もしくは１つもしくは複数のライトもしくはストロボを点滅させるおよび／もしくは光らせること、アラームを鳴らすこと、チャイムを鳴らすこと、歌を再生すること、ならびに音声ファイルを再生することを含み得るが、それらに限定されるものではない。出力デバイスは、バイブレーションモータ、振動コイル、圧電デバイス、静電デバイス、発光ダイオード（ＬＥＤ：Light Emitting Diode）、ストロボ、およびスピーカを含み得るが、それらに限定されるものではない。

【0118】

いくつかの実施形態では、コンピューティングデバイス７５０は、ＡＲ／ＶＲヘッドセット７９０内に設置されてＡＲ／ＶＲシステムを作成することができる。ＡＲ／ＶＲヘッドセット７９０は、ＡＲ／ＶＲヘッドセット７９０内の適切な位置にスマートフォン７８２などのコンピューティングデバイス７５０を設置することを可能にする１つまたは複数の位置決め要素を含み得る。そのような実施形態では、スマートフォン７８２のディスプレイは、ＡＲ／ＶＲ空間または仮想環境を表す立体画像をレンダリングすることができる。

【0119】

いくつかの実施形態では、コンピューティングデバイス７５０は、コンピュータによって生成された３Ｄ環境において別のオブジェクトとして表示されてもよい。ユーザによるコンピューティングデバイス７５０との対話（たとえば、タッチスクリーンを回転させること、タッチスクリーンを振ること、タッチスクリーンに触れること、タッチスクリーンを横切るように指をスワイプすること）は、ＡＲ／ＶＲ空間内でのオブジェクトとの対話として解釈することができる。ほんの一例として、コンピューティングデバイスはレーザポインタであってもよい。そのような例では、コンピューティングデバイス７５０は、コンピュータによって生成された３Ｄ環境において仮想のレーザポインタとして表示される。ユーザがコンピューティングデバイス７５０を操作すると、ユーザは、ＡＲ／ＶＲ空間内でレーザポインタが移動するのを見る。ユーザは、ＡＲ／ＶＲ環境内でのコンピューティングデバイス７５０との対話からのフィードバックをコンピューティングデバイス７５０上またはＡＲ／ＶＲヘッドセット７９０上で受信する。

【0120】

いくつかの実施形態では、コンピューティングデバイス７５０は、タッチスクリーンを含み得る。たとえば、ユーザは、ＡＲ／ＶＲ空間内で起こることを用いて、タッチスクリーン上で起こることを模倣することができる特定の態様で、タッチスクリーンと対話することができる。たとえば、ユーザは、ピンチタイプの動作を使用して、タッチスクリーン上に表示されたコンテンツを拡大／縮小することができる。タッチスクリーン上でのこのピンチタイプの動作は、ＡＲ／ＶＲ空間内に提供された情報を拡大／縮小させることができる。別の例では、コンピューティングデバイスは、コンピュータによって生成された３Ｄ環境において仮想の本としてレンダリングされてもよい。ＡＲ／ＶＲ空間では、当該本のページをＡＲ／ＶＲ空間内に表示することができ、タッチスクリーンを横切るようにユーザの指をスワイプすることは、当該仮想の本のページをめくることとして解釈することができる。各ページがめくられると、ユーザは、ページコンテンツの変化を見るとともに、本のページをめくる音などの音声フィードバックを提供され得る。

【0121】

いくつかの実施形態では、コンピューティングデバイスに加えて、１つまたは複数の入力デバイス（たとえば、マウス、キーボード）が、コンピュータによって生成された３Ｄ環境においてレンダリングされてもよい。レンダリングされた入力デバイス（たとえば、レンダリングされたマウス、レンダリングされたキーボード）は、ＡＲ／ＶＲ空間内でレンダリングされた通りに使用されて、ＡＲ／ＶＲ空間内でオブジェクトを制御することができる。

【0122】

コンピューティングデバイス７００は、ラップトップ、デスクトップ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレーム、および他の適切なコンピュータなどの、さまざまな形態のデジタルコンピュータを表すよう意図されている。コンピューティングデバイス７５０は、パーソナルデジタルアシスタント、携帯電話、スマートフォン、および他の同様のコンピューティングデバイスなどの、さまざまな形態のモバイルデバイスを表すよう意図されている。本明細書に示されている構成要素、それらの接続および関係、ならびにそれらの機能は、例示的であるよう意図されたものにすぎず、開示されている実施形態を限定するよう意図されたものではない。

【0123】

また、図面に示される論理フローは、望ましい結果を達成するために、示されている特定の順序またはシーケンシャルな順序を必要としない。また、記載されているフローから他のステップが提供されてもよく、またはステップが除去されてもよく、記載されているシステムに他の構成要素が追加されてもよく、または記載されているシステムから他の構成要素が除去されてもよい。したがって、他の実施形態は、以下の特許請求の範囲の範囲内である。

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図3D】

【図4】

【図5】

【図6】

【図7】

【手続補正書】

【提出日】2023-10-20

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

少なくとも１つの処理デバイスを有する画像処理システムを利用して動作を実行する、コンピュータによって実行される方法であって、前記動作は、
オブジェクトの複数の深度ビューを受信することを含み、各前記複数の深度ビューは、前記オブジェクトのそれぞれの視点から取り込まれ、各前記複数の深度ビューは、前記それぞれの視点から取り込まれた前記オブジェクトの深度画像に関連付けられたそれぞれの深度データを含み、前記動作はさらに、
前記複数の深度ビューに対して集約動作を実行することを含み、前記集約動作は、
各前記複数の深度ビューに対応する更新された深度ビューを生成することを含み、各々の更新された深度ビューは、前記それぞれの視点に基づいており、前記オブジェクトの前記複数の深度ビューの残部の各々からの前記それぞれの深度データの部分を表し、前記集約動作はさらに、
各前記複数の深度ビューを前記対応する更新された深度ビューと置換することを含み、
前記動作はさらに、
前記更新された深度ビューに基づいてターゲット視点からの前記オブジェクトの画像を生成することを含み、前記ターゲット視点は、各前記複数の深度ビューが取り込まれる各前記それぞれの視点とは異なっている、方法。

【請求項2】

前記集約動作を実行することは、前記オブジェクトの前記受信された複数の深度ビューのうちの少なくとも１つに関連付けられた欠損データを生成するという結果になる、請求項１に記載の方法。

【請求項3】

前記欠損データは、前記オブジェクトの前記受信された複数の深度ビューのうちの少なくとも１つに関連付けられたオクルージョン領域を含む、請求項２に記載の方法。

【請求項4】

前記集約動作を実行することは、前記オブジェクトの前記受信された複数の深度ビューのうちの少なくとも１つに関連付けられたノイズを減少させるという結果になる、請求項１～請求項３のいずれか１項に記載の方法。

【請求項5】

前記集約動作は、前記更新された深度ビューを生成するための前記受信された複数の深度ビューの幾何学的融合であり、前記集約動作は、ネットワークを介して前記複数の深度ビューを送信する要求に応答して、事前プロセスとして実行され、
前記事前プロセスは、各々の更新された深度ビューの映像圧縮をさらに含む、請求項１～請求項４のいずれか１項に記載の方法。

【請求項6】

前記ターゲット視点は、前記オブジェクトの、過去に取り込まれていない画像を合成するように選択される、請求項１～請求項５のいずれか１項に記載の方法。

【請求項7】

前記画像処理システムは、前記更新された深度ビューを使用して複数のターゲット視点からの画像を合成するように構成されたテレプレゼンスシステムである、請求項１～請求項６のいずれか１項に記載の方法。

【請求項8】

前記複数の深度ビューは、前記オブジェクトの取り込まれた画像に対応する複数の深度マップを表し、
前記複数の深度マップを生成して、前記複数の深度マップを前記更新された深度マップと置換することは、前記ターゲット視点からの前記オブジェクトの前記生成された深度画像の時間干渉性を向上させる、請求項１～請求項７のいずれか１項に記載の方法。

【請求項9】

画像処理システムであって、
少なくとも１つの処理デバイスと、
命令を格納するメモリとを備え、前記命令は、実行されると前記システムに動作を実行させ、前記動作は、
オブジェクトの複数の深度ビューを受信することを含み、各前記複数の深度ビューは、前記オブジェクトのそれぞれの視点から取り込まれ、各前記複数の深度ビューは、前記それぞれの視点から取り込まれた前記オブジェクトの深度画像に関連付けられたそれぞれの深度データを含み、前記動作はさらに、
前記複数の深度ビューに対して集約動作を実行することを含み、前記集約動作は、
各前記複数の深度ビューに対応する更新された深度ビューを生成することを含み、各々の更新された深度ビューは、前記それぞれの視点に基づいており、前記オブジェクトの前記複数の深度ビューの残部の各々からの前記それぞれの深度データの部分を表し、前記集約動作はさらに、
各前記複数の深度ビューを前記対応する更新された深度ビューと置換することを含み、
前記動作はさらに、
前記更新された深度ビューに基づいてターゲット視点からの前記オブジェクトの画像を生成することを含み、前記ターゲット視点は、各前記複数の深度ビューが取り込まれる各前記それぞれの視点とは異なっている、システム。

【請求項10】

前記集約動作を実行することは、前記オブジェクトの前記受信された複数の深度ビューのうちの少なくとも１つに関連付けられた欠損データを生成するという結果になる、請求項９に記載のシステム。

【請求項11】

前記集約動作は、前記更新された深度ビューを生成するための前記受信された複数の深度ビューの幾何学的融合であり、前記集約動作は、ネットワークを介して前記複数の深度ビューを送信する要求に応答して、事前プロセスとして実行され、
前記事前プロセスは、各々の更新された深度ビューの映像圧縮をさらに含む、請求項９または請求項１０のいずれか１項に記載のシステム。

【請求項12】

前記ターゲット視点は、前記オブジェクトの、過去に取り込まれていない画像を合成するように選択される、請求項９～請求項１１のいずれか１項に記載のシステム。

【請求項13】

前記画像処理システムは、前記更新された深度ビューを使用して複数のターゲット視点からの画像を合成するように構成されたテレプレゼンスシステムである、請求項９～請求項１２のいずれか１項に記載のシステム。

【請求項14】

前記複数の深度ビューは、前記オブジェクトの取り込まれた画像に対応する複数の深度マップを表し、
前記複数の深度マップを生成して、前記複数の深度マップを前記更新された深度マップと置換することは、前記ターゲット視点からの前記オブジェクトの前記生成された深度画像の時間干渉性を向上させる、請求項９～請求項１３のいずれか１項に記載のシステム。

【請求項15】

命令を有するプログラムであって、前記命令は、コンピューティングデバイスのプロセッサによって実行されると、前記コンピューティングデバイスに、
オブジェクトの複数の深度ビューを受信することを行わせ、各前記複数の深度ビューは、前記オブジェクトのそれぞれの視点から取り込まれ、各前記複数の深度ビューは、前記それぞれの視点から取り込まれた前記オブジェクトの深度画像に関連付けられたそれぞれの深度データを含み、前記命令はさらに、前記プロセッサによって実行されると、前記コンピューティングデバイスに、
前記複数の深度ビューに対して集約動作を実行することを行わせ、前記集約動作は、
各前記複数の深度ビューに対応する更新された深度ビューを生成することを含み、各々の更新された深度ビューは、前記それぞれの視点に基づいており、前記オブジェクトの前記複数の深度ビューの残部の各々からの前記それぞれの深度データの部分を表し、前記集約動作はさらに、
各前記複数の深度ビューを前記対応する更新された深度ビューと置換することを含み、
前記命令はさらに、前記プロセッサによって実行されると、前記コンピューティングデバイスに、
前記更新された深度ビューに基づいてターゲット視点からの前記オブジェクトの画像を生成することを行わせ、前記ターゲット視点は、各前記複数の深度ビューが取り込まれる各前記それぞれの視点とは異なっている、プログラム。

【請求項16】

前記集約動作を実行することは、前記オブジェクトの前記受信された複数の深度ビューのうちの少なくとも１つに関連付けられた欠損データを生成するという結果になる、請求項１５に記載のプログラム。

【請求項17】

前記集約動作を実行することは、前記オブジェクトの前記受信された複数の深度ビューのうちの少なくとも１つに関連付けられたノイズを減少させるという結果になる、請求項１５または請求項１６に記載のプログラム。

【請求項18】

前記集約動作は、前記更新された深度ビューを生成するための前記受信された複数の深度ビューの幾何学的融合であり、前記集約動作は、ネットワークを介して前記複数の深度ビューを送信する要求に応答して、事前プロセスとして実行され、
前記事前プロセスは、各々の更新された深度ビューの映像圧縮をさらに含む、請求項１５～請求項１７のいずれか１項に記載のプログラム。

【請求項19】

前記深度ビューは、前記更新された深度ビューを使用して複数のターゲット視点からの画像を合成するように構成されたテレプレゼンスシステムによって生成される、請求項１５～請求項１８のいずれか１項に記載のプログラム。

【請求項20】

前記複数の深度ビューは、前記オブジェクトの取り込まれた画像に対応する複数の深度マップを表し、
前記複数の深度マップを生成して、前記複数の深度マップを前記更新された深度マップと置換することは、前記ターゲット視点からの前記オブジェクトの前記生成された深度画像の時間干渉性を向上させる、請求項１５～請求項１９のいずれか１項に記載のプログラム。

【国際調査報告】