特許 7524452 環境内にコンテンツを投影するためのシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-19

(45)【発行日】2024-07-29

(54)【発明の名称】環境内にコンテンツを投影するためのシステム及び方法

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240722BHJP

   G06F 3/01 20060101ALI20240722BHJP

   G06F 3/04815 20220101ALI20240722BHJP

【ＦＩ】

G06T19/00 600

G06F3/01 510

G06F3/04815

【請求項の数】 19

(21)【出願番号】P 2023501579

(86)(22)【出願日】2022-04-13

(65)【公表番号】

(43)【公表日】2023-09-25

(86)【国際出願番号】 SG2022050214

(87)【国際公開番号】W WO2022235207

(87)【国際公開日】2022-11-10

【審査請求日】2023-01-11

(31)【優先権主張番号】17/315,257

(32)【優先日】2021-05-07

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】521388058

【氏名又は名称】レモン インコーポレイテッド

【氏名又は名称原語表記】Ｌｅｍｏｎ Ｉｎｃ．

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】ハミルトン，フランク

(72)【発明者】

【氏名】キム，ファンギュ ショーン

(72)【発明者】

【氏名】ルー，ヂーシォン

(72)【発明者】

【氏名】リュ，チンヤン

(72)【発明者】

【氏名】ユー，ウェイシャン

(72)【発明者】

【氏名】マ，ベン

【審査官】中田 剛史

(56)【参考文献】

【文献】国際公開第２０１９／１６５０４４（ＷＯ，Ａ１）

【文献】国際公開第２０２０／０９２１９５（ＷＯ，Ａ１）

【文献】国際公開第２０１５／０１３３４７（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８１５

(57)【特許請求の範囲】

【請求項1】

コンピューティング装置の外部の被撮影環境内にコンテンツを配置するための方法であって、
コンテンツを受けることと、
前記コンピューティング装置の外部の前記被撮影環境に対応する奥行き情報を取得することと、
前記奥行き情報に基づいて前記コンテンツを前記被撮影環境内の位置に関連付ける指示を受けることと、
前記コンピューティング装置の外部の前記被撮影環境に対応する前記奥行き情報に基づいて前記コンテンツの少なくとも一部をワーピングすることと、
前記被撮影環境に対応する前記奥行き情報が閾値より大きい信頼度スコアに関連付けられていると決定することと、
前記被撮影環境内の少なくとも１つの平面とマッチングするように前記コンテンツの少なくとも一部をワーピングすることと、
を含む方法。

【請求項2】

前記コンピューティング装置の外部の前記被撮影環境のビデオまたは画像コンテンツのうちの少なくとも１つを獲得することをさらに含み、前記ビデオまたは画像コンテンツのうちの前記少なくとも１つは、前記コンテンツの前記ワーピングされた一部を含む
請求項１に記載の方法。

【請求項3】

第２のコンテンツを受けることと、
前記コンピューティング装置の外部の前記被撮影環境に対応する第２の奥行き情報を取得することと、
前記第２の奥行き情報に基づいて前記第２のコンテンツを前記被撮影環境内の第２の位置に関連付ける第２の指示を受けることと、
前記コンピューティング装置の外部の前記被撮影環境に対応する前記第２の奥行き情報に基づいて前記第２のコンテンツの少なくとも一部をワーピングすることと
をさらに含み、
前記コンピューティング装置の外部の前記被撮影環境のビデオまたは画像コンテンツのうちの前記少なくとも１つは、前記コンテンツの前記ワーピングされた一部と、前記第２のコンテンツの前記ワーピングされた一部とを含む
請求項２に記載の方法。

【請求項4】

前記コンテンツは、複数のビデオフレームを含むビデオコンテンツを含み、前記複数のビデオフレームは、前記コンピューティング装置の外部の前記被撮影環境のビデオまたは画像コンテンツのうちの前記少なくとも１つにおいて表示される
請求項２に記載の方法。

【請求項5】

前記奥行き情報は、前記コンピューティング装置の画像センサによって獲得された複数の画像から取得される
請求項１に記載の方法。

【請求項6】

前記被撮影環境に対応する前記奥行き情報が閾値未満の信頼度スコアに関連付けられていると決定することと、
前記被撮影環境内の前記位置において前記コンテンツを表示することと、
をさらに含む請求項１に記載の方法。

【請求項7】

入力情報に応じて第２のコンテンツを受けることと、
前記コンピューティング装置の外部の前記被撮影環境に対応する第２の奥行き情報を取得することと、
前記被撮影環境に対応する前記第２の奥行き情報が閾値未満の信頼度スコアに関連付けられていると決定することと、
前記第２の奥行き情報に基づいて前記第２のコンテンツを前記被撮影環境内の第２の位置に関連付ける第２の指示を受けることと、
前記被撮影環境内の前記第２の位置において前記第２のコンテンツを表示することと、
をさらに含む請求項１に記載の方法。

【請求項8】

前記被撮影環境に対応する前記第２の奥行き情報が閾値より大きい信頼度スコアに関連付けられていると決定することと、
前記第２の奥行き情報に基づいて前記第２のコンテンツを前記被撮影環境内の第２の位置に関連付ける前記第２の指示を受けることと、
前記被撮影環境内の少なくとも１つの平面とマッチングするように前記第２のコンテンツの少なくとも一部をワーピングすることと、
をさらに含む請求項７に記載の方法。

【請求項9】

前記コンテンツをワーピングする前に、前記コンテンツ内のエンティティを前記コンテンツの背景から分離することによって、または前記コンテンツの一部の背景色を修正することによって、前記コンテンツを修正することをさらに含む
請求項１に記載の方法。

【請求項10】

前記奥行き情報は奥行きマップ画像を含み、前記方法は、
前記コンテンツを前記被撮影環境内の前記位置に関連付ける指示を受けた場合、前記奥行き情報から前記奥行きマップ画像を保存することをさらに含む
請求項１に記載の方法。

【請求項11】

コンピューティング装置の外部の被撮影環境内にコンテンツを配置するように設定されるシステムであって、
プロセッサと、指令を含むメモリと、を備え
前記指令が前記プロセッサにより実行されるときに、前記プロセッサに、
コンテンツを受けさせ、
前記コンピューティング装置の外部の前記被撮影環境に対応する奥行き情報を取得させ、
前記奥行き情報に基づいて前記コンテンツを前記被撮影環境内の位置に関連付ける指示を受けさせ、
前記コンピューティング装置の外部の前記被撮影環境に対応する前記奥行き情報に基づいて前記コンテンツの少なくとも一部をワーピングさせ、
前記被撮影環境に対応する前記奥行き情報が閾値より大きい信頼度スコアに関連付けられていると決定させ、
前記被撮影環境内の少なくとも１つの平面とマッチングするように前記コンテンツの少なくとも一部をワーピングさせる、
システム。

【請求項12】

前記指令が前記プロセッサにより実行されるときに、前記プロセッサに、
前記コンピューティング装置の外部の前記被撮影環境のビデオまたは画像コンテンツのうちの少なくとも１つを獲得させ、前記ビデオまたは画像コンテンツのうちの前記少なくとも１つは、前記コンテンツの前記ワーピングされた一部を含む
請求項１１に記載のシステム。

【請求項13】

前記指令が前記プロセッサにより実行されるときに、前記プロセッサに、
第２のコンテンツを受けさせ、
前記コンピューティング装置の外部の前記被撮影環境に対応する第２の奥行き情報を取得させ、
前記第２の奥行き情報に基づいて前記第２のコンテンツを前記被撮影環境内の第２の位置に関連付ける第２の指示を受けさせ、
前記コンピューティング装置の外部の前記被撮影環境に対応する前記第２の奥行き情報に基づいて前記第２のコンテンツの少なくとも一部をワーピングさせ、
前記コンピューティング装置の外部の前記被撮影環境のビデオまたは画像コンテンツのうちの前記少なくとも１つは、前記コンテンツの前記ワーピングされた一部と、前記第２のコンテンツの前記ワーピングされた一部とを含む
請求項１２に記載のシステム。

【請求項14】

前記コンテンツは、複数のビデオフレームを含むビデオコンテンツを含み、前記複数のビデオフレームは、前記コンピューティング装置の外部の前記被撮影環境のビデオまたは画像コンテンツのうちの前記少なくとも１つにおいて表示される
請求項１２に記載のシステム。

【請求項15】

前記指令が前記プロセッサにより実行されるときに、前記プロセッサに、前記コンテンツを前記被撮影環境内の前記位置に関連付ける指示を受けた場合、対応する前記奥行き情報を保存させる
請求項１１に記載のシステム。

【請求項16】

プロセッサにより実行されるときに、前記プロセッサに、
コンテンツを受けさせ、
コンピューティング装置の外部の被撮影環境に対応する奥行き情報を取得させ、
前記奥行き情報に基づいて前記コンテンツを前記被撮影環境内の位置に関連付ける指示を受けさせ、
前記コンピューティング装置の外部の前記被撮影環境に対応する前記奥行き情報に基づいて前記コンテンツの少なくとも一部をワーピングさせ、
前記被撮影環境に対応する前記奥行き情報が閾値より大きい信頼度スコアに関連付けられていると決定させ、
前記被撮影環境内の少なくとも１つの平面とマッチングするように前記コンテンツの少なくとも一部をワーピングさせる
指令を含むコンピュータ可読記憶媒体。

【請求項17】

前記指令がプロセッサにより実行されるときに、前記プロセッサに、
前記コンピューティング装置の外部の前記被撮影環境のビデオまたは画像コンテンツのうちの少なくとも１つを獲得させ、前記ビデオまたは画像コンテンツのうちの前記少なくとも１つは、前記コンテンツの前記ワーピングされた一部を含む
請求項１６に記載のコンピュータ可読記憶媒体。

【請求項18】

前記指令が前記プロセッサにより実行されるときに、前記プロセッサに、
第２のコンテンツを受けさせ、
前記コンピューティング装置の外部の前記被撮影環境に対応する第２の奥行き情報を取得させ、
前記第２の奥行き情報に基づいて前記第２のコンテンツを前記被撮影環境内の第２の位置に関連付ける第２の指示を受けさせ、
前記コンピューティング装置の外部の前記被撮影環境に対応する前記第２の奥行き情報に基づいて前記第２のコンテンツの少なくとも一部をワーピングさせ、
前記コンピューティング装置の外部の前記被撮影環境のビデオまたは画像コンテンツのうちの前記少なくとも１つは、前記コンテンツの前記ワーピングされた一部と、前記第２のコンテンツの前記ワーピングされた一部とを含む
請求項１７に記載のコンピュータ可読記憶媒体。

【請求項19】

前記コンテンツは、複数のビデオフレームを含むビデオコンテンツを含み、前記複数のビデオフレームは、前記コンピューティング装置の外部の前記被撮影環境のビデオまたは画像コンテンツのうちの前記少なくとも１つにおいて表示される
請求項１６に記載のコンピュータ可読記憶媒体。

【発明の詳細な説明】

【背景技術】

【0001】

拡張現実は、ユーザー、特にスマートフォン装置のユーザーに、参加型コンテンツや効果を発展させる数多くの機会を提供している。例において、翻訳サービス、デザイン視覚化サービス、および他の情報サービスは、この方法でなければ容易には入手できない、またはユーザーが入手するために多大な努力を要する情報をユーザーに提供することができる。例えば、外国語のメニューを読みたいユーザーは、言語翻訳アプリケーションを容易にダウンロードして使用することで、リアルタイムでメニューを翻訳することができる。また、ユーザーは、椅子を物理的に獲得することなく、椅子の２次元画像を例えば部屋の画像内に配置することで、椅子が自分の部屋でどのように見えるかを視覚化することができる。さらに、エンターテイメントアプリケーションにも、同様に、ユーザー体験及び／又はアプリケーションの全体的な使用状況を向上させる手段として拡張現実が含まれている。

【0002】

これらおよび他の一般的な考慮に関連して実施形態を説明する。比較的具体的な問題を討議していくが、本明細書で説明される例は、上記の背景技術において特定された具体的な問題の解決に限定されるべきではないことを、理解すべきである。

【発明の概要】

【課題を解決するための手段】

【0003】

本開示の例によれば、コンピューティング装置の撮影装置によって撮影されたユーザーの世界内に、ユーザーによって提供されたコンテンツを配置するためのシステムおよび方法を説明する。より具体的には、コンピューティング装置がアクセス可能なコンテンツを受け、当該コンピューティング装置の外部環境に対応する奥行き情報を取得する。選択されたコンテンツを当該奥行き情報に基づいて位置に関連付ける指示をユーザーから受ける。当該位置における奥行き画像に関連付けられた少なくとも１つの平面についての情報を取得し、そして、コンテンツの一部を、当該少なくとも１つの平面とマッチングするようにワーピングする。

【0004】

本開示の例によれば、コンピューティング装置の外部の被撮影環境内にコンテンツを配置するための方法が説明される。この方法は、コンテンツを受けることと、当該コンピューティング装置の外部の当該被撮影環境に対応する奥行き情報を取得することと、当該奥行き情報に基づいて当該コンテンツを当該被撮影環境内の位置に関連付ける指示を受けることと、当該コンピューティング装置の外部の当該被撮影環境に対応する当該奥行き情報に基づいて当該コンテンツの少なくとも一部をワーピングすることとを含むことができる。

【0005】

本開示の例によれば、コンピューティング装置の外部の被撮影環境内にコンテンツを配置するように設定されるシステムが説明される。当該システムは、プロセッサと、指令を含むメモリとを備えることができ、当該指令が当該プロセッサにより実行されるときに、当該プロセッサに、コンテンツを受けさせ、当該コンピューティング装置の外部の当該被撮影環境に対応する奥行き情報を取得させ、当該奥行き情報に基づいて当該コンテンツを当該被撮影環境内の位置に関連付ける指示を受けさせ、当該コンピューティング装置の外部の当該被撮影環境に対応する当該奥行き情報に基づいて当該コンテンツの少なくとも一部をワーピングさせる。

【0006】

本開示の例によれば、コンピュータ可読記憶媒体が説明される。当該コンピュータ可読記憶媒体は指令を含むことができ、当該指令がプロセッサにより実行されるときに、当該プロセッサに、コンテンツを受けさせ、当該コンピューティング装置の外部の当該被撮影環境に対応する奥行き情報を取得させ、当該奥行き情報に基づいて、選択したコンテンツを当該被撮影環境内の位置に関連付ける指示を受けさせ、当該コンピューティング装置の外部の当該被撮影環境に対応する当該奥行き情報に基づいて当該コンテンツの少なくとも一部をワーピングさせる。

【0007】

本概要は、以下の発明を実施するための形態でさらに説明される構想の抜粋を簡略化された形で紹介するために提供されるものである。本概要は、特許請求される主題事項の主要特徴又は基本特徴を識別することを目的とするものでもなければ、特許請求される主題事項の範囲を限定することを目的とするものでもない。

【図面の簡単な説明】

【0008】

以下の図面を参照して、非限定的および非網羅的な例を説明する。

【0009】

【図1】本開示の例にかかる、拡張現実ユーザインターフェースを通して見られるユーザー環境またはユーザー世界内に、コンテンツなどのコンテンツを配置する能力をユーザーに提供する例示的なシステムを示す図である。

【0010】

【図2A】本開示の例にかかる、コンテンツを配置するための例示的なユーザインターフェースを示す図である。

【図2B】本開示の例にかかる、コンテンツを配置するための例示的なユーザインターフェースを示す図である。

【図2C】本開示の例にかかる、コンテンツを配置するための例示的なユーザインターフェースを示す図である。

【図2D】本開示の例にかかる、コンテンツを配置するための例示的なユーザインターフェースを示す図である。

【図2E】本開示の例にかかる、コンテンツを配置するための例示的なユーザインターフェースを示す図である。

【図2F】本開示の例にかかる、コンテンツを配置するための例示的なユーザインターフェースを示す図である。

【図2G】本開示の例にかかる、コンテンツを配置するための例示的なユーザインターフェースを示す図である。

【0011】

【図3A】本開示の例にかかる、奥行き情報の獲得に関する詳細を示す図である。

【図3B】本開示の例にかかる、奥行き情報の獲得に関する詳細を示す図である。

【0012】

【図4】は本開示の例にかかる、コンテンツの配置に関する詳細を示す。

【0013】

【図5A】本開示の例にかかる、データ構造の詳細を示す図である。

【図5B】本開示の例にかかる、データ構造の詳細を示す図である。

【0014】

【図6】は本開示の例にかかる、コンテンツを配置するための追加の詳細を示す。

【0015】

【図7】本開示の例にかかる、例示的なシステムを示す図である。

【0016】

【図8】本開示の例にかかる、ユーザーの世界にコンテンツを配置するための方法の詳細を示す図である。

【0017】

【図9】本開示の例にかかる、ユーザーの世界にコンテンツを配置してビデオを獲得するための方法の詳細を示す図である。

【0018】

【図10】本開示の態様が実施可能なコンピューティング装置の物理的コンポーネント（例えば、ハードウェア）を示すブロック図である。

【0019】

【図11A】本開示の実施形態が実施可能なモバイルコンピューティング装置を示す図である。

【図11B】本開示の実施形態が実施可能なモバイルコンピューティング装置を示す図である。

【0020】

【図12】データを処理するためのシステムのアーキテクチャの一態様を示す図である。

【発明を実施するための形態】

【0021】

以下の詳細な説明では、本明細書の一部を構成し、且つ特定の実施形態又は例を図示により示した添付図面を参照する。本開示から逸脱することなく、これらの態様を組み合わせたり、他の態様を利用したり、構造変更を行ったりすることができる。実施形態は、方法、システム、または装置として実施することができる。したがって、実施形態は、ハードウェア実現、完全なソフトウェア実現、またはソフトウェアおよびハードウェアの態様を組み合わせた実現の形態をとることができる。したがって、以下の詳細な説明は限定的であると理解されるべきではなく、本開示の範囲は、添付の特許請求の範囲およびその均等物によって限定されるものである。

【0022】

図１は本開示の例にかかる、拡張現実ユーザインターフェースを通して見られるユーザー環境またはユーザー世界１０６内に、コンテンツ１１２などのコンテンツ１０４を配置する能力をユーザー１０２に提供する例示的なシステム１００を示す図である。コンテンツ１０４は、テキスト、オーディオ、１つまたは複数の画像、１つまたは複数のアニメーション、および１つまたは複数のビデオを含んでよいが、これらに限らない。拡張現実ユーザインターフェースまたはディスプレイは、コンピューティング装置１０８に常駐する、または少なくとも部分的にコンピューティング装置１０８で実行するアプリケーション１１０によって生成することができる。一例において、ユーザー１０２は、コンピューティング装置１０８によってキャプチャされた自分の世界内にコンテンツ１０４を配置することを望む可能性がある。別の例において、コンテンツ１０４は、アプリケーション１１０によって提供されるコンテンツであってもよく、したがって、ユーザー１０２は、所望のコンテンツ１０４を選択して、例えばコンピューティング装置１０８にインストールされたアプリケーション１１０によって、そのようなコンテンツを事前セットされるものとして自分の世界内に配置することができる。別の実施形態において、コンテンツ１０４は、コンピューティング装置１０８によってリアルタイムでキャプチャされたコンテンツであってもよい。例えば、ユーザー１０２は、コンピューティング装置１０８によってキャプチャされ、視覚化された自分の環境内に、コンテンツ１１２をアップロード、選択、またはキャプチャすることを望む可能性がある。ユーザー１０２は、例示的なユーザインターフェース１２０に示されているように、コンテンツ１１２をアップロード、選択、またはキャプチャし、コンテンツ１１２を配置することができる。

【0023】

第１のコンテンツ１１２Ａは、環境または世界１０６の一部であるように見えるような仕方である位置に配置される。したがって、コンピューティング装置１０８のユーザインターフェースにおいて第１のコンテンツ１１２Ａが見えなくなるようにユーザーがコンピューティング装置１０８を移動する場合、ユーザーが第１のコンテンツ１１２Ａの配置された位置に戻ると、第１のコンテンツ１１２Ａが見えるようになる。さらに、環境または世界１０６内に配置されているように見える第１のコンテンツ１１２Ａは、環境または世界１０６内の異なる角度または位置から見ることができる。例えば、ユーザーがコンピューティング装置１０８を移動する場合、アプリケーション１１０によって獲得される画像またはビデオは、第１のコンテンツ１１２Ａが環境または世界１０６に配置されたときとは異なる角度から第１のコンテンツ１１２Ａを示すことができる。別の例として、ユーザーがコンピューティング装置１０８を移動する場合、アプリケーション１１０によって獲得される画像またはビデオは、第１のコンテンツ１１２Ａが環境または世界１０６に配置されたときのコンピューティング装置１０８の位置とは異なる位置から第１のコンテンツ１１２Ａを示すことができる。

【0024】

さらに、コンテンツ１０４は、環境または世界１０６の表面上に投影されているように見えることができる。例えば、第１のコンテンツ１１２Ａは、ユーザインターフェース１２０に描画された柵表面上に投影されているように見える。いくつかの例において、コンテンツ１０４は、２つ以上の表面または平面上に配置することができる。したがって、図１に示すように、コンテンツ１０４は、二つの表面または平面に配置することができる。より具体的には、図１に示すように、コンテンツ１０４に対応する第２のコンテンツ１１２Ｂは、コーナー上に投影されていると見えるように配置することができる。第２のコンテンツ１１２Ｂは、第１のコンテンツ１１２Ａのコピーであってもよい。第２のコンテンツ１１２Ｂは、第１のコンテンツ１１２Ａとは異なる画像またはビデオであってもよい。言い換えれば、アプリケーション１１０によって提供されるユーザインターフェースにより獲得された画像またはビデオを見ると、第２のコンテンツ１１２Ｂの少なくとも一部は、第２のコンテンツ１１２Ｂの別の異なる部分が配置される表面とは異なる表面に配置されるように見える。一例において、コンテンツ１１２などのコンテンツ１０４が配置されると、ユーザーは、配置されたコンテンツとのインタラクションを記録することができる。

【0025】

ユーザー１０２は、環境または世界１０６に関連付けられる奥行き情報を取得し、コンテンツ１１２を環境または世界内の位置に配置または付けることができ、このような位置は、取得された奥行き情報に基づく。例えば、奥行き情報は、ＬｉＤＡＲ、構造光（ストラクチャードライト）、または他のセンサなど、複数のセンサに基づいて取得することができる。一実施形態において、奥行き情報は、コンピューティング装置１０８の画像センサによって獲得された環境または世界１０６の複数の画像に基づいて取得されてもよい。奥行き情報は、奥行きマップとして存在することができ、ユーザー１０２の環境または世界１０６内に位置し、コンピューティング装置１０８の画像センサによって画像が獲得されたオブジェクト、表面などについての距離情報を提供することができる。ユーザーがコンテンツ１１２を配置する場所を決定すると、ユーザーは、追加のコンテンツ１１２を配置し、且つ／または、配置されたコンテンツ１１２を含むユーザーの環境または世界１０６のビデオまたは画像のキャプチャを開始することができる。ユーザーの環境または世界１０６のキャプチャされたビデオは、その後、配置されたコンテンツ１１２とともに、ネットワーク環境１０５を介してビデオフレーム１２２としてビデオホスティングプラットフォーム１１４に提供されることができる。一例において、別のコンピューティング装置１２４は、ビデオフレーム１２２にアクセスし、視聴することができる。例えば、ネットワーク環境１０５は、ＬＴＥまたは５Ｇのような無線アクセスネットワーク、ローカルエリアネットワーク（ＬＡＮ）、インターネットのような広域ネットワーク（ＷＡＮ）、または無線ＬＡＮ（ＷＬＡＮ）であってもよい。これは限定することを意図しているわけではなく、本開示の範囲は、コンピューティング装置１０８及び／又はコンピューティング装置１２４とビデオホスティングプラットフォーム１１４とを、何らかの他の通信結合を介して動作可能にリンクすることができる実現を含むことを、理解すべきである。コンピューティング装置１０８及び／又はコンピューティング装置１２４は、無線接続または有線接続を介してネットワーク環境１０５と通信するように構成されてもよい。さらに、一例において、コンピューティング装置１０８及び／又はコンピューティング装置１２４は、無線接続または有線接続を介して互いに直接通信するように構成されてもよい。

【0026】

図２Ａ～図２Ｇは本開示の例にかかる、コンテンツを配置するための例示的なユーザインターフェース２０２を示す図である。図２Ａに示すように、コンピューティング装置１０８（図１）などのコンピューティング装置において表示されるユーザインターフェース２０２は、コンピューティング装置１０８の画像センサによって撮影された第１の画像２０４を描画することができる。第１のユーザーコントロール２０６は、ビデオまたは画像などのコンテンツを選択するようにユーザーに促すことができる。一例において、コンピューティング装置がアクセス可能なコンテンツに関連付けられたアイコンをアイコン２０８として表示することができる。一例において、アイコンは、それぞれ表示されたビデオまたは画像の１つまたは複数のシーンを表すことができる。ユーザーは、コンピューティング装置の画像センサから見たユーザーの環境または世界内に含めようとする所望のビデオまたは画像に関連付けられたアイコン２１０を選択することができる。

【0027】

図２Ａは、例示的な例にすぎない。他の例において、コンピューティング装置１０８（図１）などのコンピューティング装置において表示されるユーザインターフェース２０２は、コンピューティング装置１０８の画像センサによって撮影された第１の画像２０４を描画することができる。別のアイコン（図２Ａに図示せず）は、ビデオまたは画像などのコンテンツをキャプチャするようにユーザーに促すことができる。したがって、キャプチャされたビデオまたは画像を、コンピューティング装置の画像センサから見たユーザーの環境または世界内に含めることができる。

【0028】

図２Ｂに示すように、コンピューティング装置１０８（図１）などのコンピューティング装置において表示されるユーザインターフェース２０２は、コンピューティング装置の画像センサによって撮影された第２の画像２１２を描画することができる。第２の画像２１２は、第１の画像２０４と同じシーンであるが、異なる視点からのものであってもよい。ユーザインターフェース２０２は、ユーザインターフェース上にプロンプト２１４を表示することによって、コンピューティング装置をあちこち移動して奥行き情報を獲得するようにユーザーに指示することができる。例えば、プロンプト２１４は、コンピューティング装置のディスプレイにおいて表示されてもよい。プロンプト２１４は、電話を持っている手を描く画像２１６と、奥行き情報集めの状態を示すリング２１８と、ユーザーの動作を提示するテキスト２２０とを含むことができる。プロンプト２１４は、例示的な目的のためのものであり、他のタイプのプロンプトを使用してもよいが、本開示は、いかなる特定のプロンプトにも限定されない。図２Ｃに示すように、コンピューティング装置１０８（図１）などのコンピューティング装置において表示されるユーザインターフェース２０２は、コンピューティング装置の画像センサによって撮影された第３の画像２２２を描画することができる。第３の画像２２２は、第１の画像２０４および第２の画像２１２と同じシーンであるが、異なる視点からのものであってもよい。ユーザインターフェース２０２は、奥行き情報集めの状態を示すリング２１８を完了したように描画することができる。これにより、図２Ｄに描かれたユーザインターフェース２０２を表示することができる。

【0029】

図２Ｄに示すように、コンピューティング装置１０８（図１）などのコンピューティング装置において表示されるユーザインターフェース２０２は、コンピューティング装置の画像センサによって撮影された第４の画像２２６を描画することができる。第４の画像２２６は、第１の画像２０４、第２の画像２１２および第３の画像２２２と同じシーンであるが、異なる視点からのものであってもよい。ユーザインターフェース２０２は、図２Ａにおいて選択された、またはコンピューティング装置によってリアルタイムでキャプチャされたコンテンツを表示することができる。例えば、ビデオまたは画像を示すことができるコンテンツ２３１を表示してもよい。ユーザインターフェース２０２は、コンテンツ２３１を配置することをユーザーに示唆するプロンプト２３０をさらに含むことができる。例において、ユーザーは、柵２２９の第１の側と、柵２３３の第２の側とのコーナーにコンテンツ２３１を配置することを望む可能性がある。したがって、コンテンツ２３１は、第４の画像２２６に描かれた二つ以上の表面または平面上に配置することができる。図２Ｄのユーザインターフェース２０２に描かれるように、コンテンツ２３１は、第４の画像２２６内に描かれた環境または世界内の二つ以上の表面上に投影されているように見える。コンテンツ２３１が二つ以上の表面上に投影されている様子についてユーザーが満足すると、ユーザーはコントロール２３２を選択して、コンテンツ２３１をコンテンツ２３１の描画位置に対応する座標位置に関連付けることができる。例えば、座標位置は、加速度計または他の位置センサと、奥行き情報（例えば、奥行きマップ）によって提供される推定奥行きとに基づいて、Ｘ座標およびＹ座標を特定することができる。奥行きマップはＺ座標を提供することもできる。コンテンツ２３１と、コンテンツ２３１の描画位置に対応する座標位置とを関連付けることに加えて、描画されたコンテンツ２３１によって使用される奥行きマップなどの奥行き情報を保存して当該座標位置及びコンテンツ２３１とに関連付けてもよい。

【0030】

図２Ｅに示すように、コンピューティング装置１０８（図１）などのコンピューティング装置において表示されるユーザインターフェース２０２は、コンピューティング装置の画像センサによって撮影された第５の画像２３４を描画することができる。第５の画像２３４は、第１の画像２０４、第２の画像２１２、第３の画像２２２および第４の画像２２６と同じシーンであるが、異なる視点からのものであってもよい。一例において、異なる視点は、シーンの異なるビュー及び／又は以前のシーンに近接しているかまたは隣接しているシーンを撮影するように、コンピューティング装置が移動または他の方式により調整されることに起因する。ユーザインターフェース２０２は、図２Ａにおいて選択された、またはコンピューティング装置によってキャプチャされたコンテンツ２３６をリアルタイムで表示することができる。すなわち、ユーザーは、図２Ａで選択された、またはコンピューティング装置によってリアルタイムでキャプチャされたコンテンツの別のコピーを環境または世界内に配置することを望む可能性がある。代替として、または追加として、コンテンツ２３６は、以前に配置されたコンテンツ２３１とは異なるコンテンツであってもよい。例えば、コンテンツ２３１は、第１のコンテンツとして時計の画像またはビデオを表示することができる一方、コンテンツ２３６は、第２の異なるコンテンツとして異なる画像またはビデオを表示することができる。コンテンツ２３６は、第５の画像２３４内に表示されてもよいが、コンテンツ２３６はビデオまたは画像を示すことができる。ユーザインターフェース２０２は、コンテンツ２３６を配置することをユーザーに示唆するプロンプト２３０をさらに含むことができる。例において、ユーザーは、柵２３８上にコンテンツ２３６を配置することを望む可能性がある。したがって、コンテンツ２３６を単一の表面または平面上に配置することができる。代替として、または追加として、コンテンツ２３６を第５の画像２３４に描かれた２つ以上の表面または平面上に配置するために、柵２３８をさまざまな奥行きに関連付けることができる。図２Ｅのユーザインターフェース２０２に描かれるように、コンテンツ２３６は、第５の画像２３４内に描かれた環境または世界内の柵上に投影されているように見える。コンテンツ２３６が環境または世界内に投影されている様子についてユーザーが満足すると、ユーザーはコントロール２３２を選択して、コンテンツ２３６をコンテンツ２３６の描画位置に対応する座標位置に関連付けることができる。例えば、座標位置は、加速度計または他の位置センサと、奥行き情報（例えば、奥行きマップ）によって提供される推定奥行きとに基づいて、Ｘ座標およびＹ座標を特定することができる。奥行きマップなどの奥行き情報はＺ座標を提供することもできる。コンテンツ２３６と、コンテンツ２３６の描画位置に対応する座標位置とを関連付けることに加えて、描画されたコンテンツ２３６によって使用される奥行きマップなどの奥行き情報を保存して当該座標位置及びコンテンツ２３６とに関連付けてもよい。

【0031】

コンテンツ２３６がユーザーの世界に配置されると、ユーザインターフェース２０２は続いて図２Ｆに描かれた第６の画像２４０を表示することができるが、第６の画像２４０は、第１の画像２０４、第２の画像２１２、第３の画像２２２、第４の画像２２６および第５の画像２３４と同じシーンであるが、異なる視点からのものであってもよく、第６の画像２４０は関連付けられる座標位置に基づいてコンテンツ２３６を描画することができる。例えば、ユーザーがコンピューティング装置を移動し、コンピューティング装置から獲得された画像がユーザインターフェース２０２内に表示された場合、画像センサによって獲得された画像がコンテンツ２３６に関連付けられた座標位置を含むとき、コンテンツ２３６は、第６の画像２４０のような獲得された画像内に表示されることができる。第６の画像２４０は、配置されたコンテンツ２３１／２３６のうちの１つまたは複数を表示し、プロンプト２４２によってビデオの獲得を開始するようにユーザーに促すことができる。したがって、環境または世界のビデオが獲得されると、コンピューティング装置のディスプレイは、環境または世界内に配置されたコンテンツ２３１／２３６を描く拡張現実表示を出力することができる。例えば、図２Ｇに描かれたように、画像２４４は、コンテンツ２３１およびコンテンツ２３６を配置するためにそれぞれ使用された元の角度または位置とは異なる角度または位置からコンテンツ２３１およびコンテンツ２３６を描くことができる。図２Ｇの画像２４４に描かれているように、ユーザーは位置を変更して、コンピューティング装置に異なる位置を撮影させることができるが、この場合、コンテンツ２３６およびコンテンツ２３１は、異なる位置から見たときに、環境の１つまたは複数の表面上に投影されているように見えることができる。ユーザインターフェース２０２はさらに、アイコン、テキスト、図形、または他の表示とすることができる状態メッセージ２４６を用いて、コンピューティング装置がビデオを獲得していることをユーザーに示すことができる。

【0032】

図３Ａ～図３Ｂは本開示の例にかかる、奥行き情報の獲得に関する詳細を示す。より具体的には、図３Ａにおいて、ユーザー３０２は、コンピューティング装置３０４をわずかに移動することにより、図３Ｂのユーザー３０２より少ない画像を獲得することができる。したがって、図３Ａのコンピューティング装置３０４によって獲得される奥行き情報は、図３Ｂのコンピューティング装置３０４によって取得される奥行き情報より小さくなる。したがって、ユーザー３０２がコンピューティング装置を移動すればするほど、より多くの画像が処理され、環境３０６の追加の奥行き情報を得ることができる。例において、コンピューティング装置によって獲得された画像は、例えばアプリケーションプログラミングインターフェースによってアクセス可能な奥行き情報生成器によって処理することが可能である。奥行き情報生成器は、異なる角度からの複数の装置画像を利用し、それらを比較することで、ユーザーが自身のコンピューティング装置（例えば、電話）を移動させるときに画像内の各画素までの距離の推定値を生成することができる。コンピューティング装置が、例えば飛行時間センサのようなサポートされたハードウェア奥行きセンサを有する場合、当該サポートされたハードウェア奥行きセンサから得られるこのようなデータは、奥行き情報として直接使用されることに加えて、処理された奥行きに含まれることで既存の奥行き情報の精度を高めることができる。いくつかの例において、環境３０６の追加の奥行き情報は、奥行き画像のメッシュ表現から獲得することができ、以前に取得された既存の奥行き情報から獲得することができ、または例えば、ＬｉＤＡＲ、構造光、または他のセンサのような複数のセンサに基づいて獲得することができる。

【0033】

図４は本開示の例にかかる、コンテンツの配置に関する詳細を示す。より具体的には、奥行きマップなどの獲得された奥行き情報に基づいて、環境または世界内の座標位置を得ることができる。一例として、ユーザーがコンテンツを選択またはキャプチャしたとき、またはユーザーがコンテンツの配置を開始したときに確立された原点を有する軸４０４は、コンピューティング装置の加速度計または他の位置センサによって提供されるＸ、Ｙの動きを追跡するために使用される。さらに、軸４０４によって、奥行き情報（例えば、１つまたは複数の奥行きマップ）によって提供される距離Ｚを追跡することができる。一例において、ユーザーが環境または世界内でコンテンツを配置、移動、スケーリングまたは回転するとき、座標位置、コンテンツを一意に識別するオブジェクト識別子、およびコンテンツを配置、移動、スケーリングまたは回転するための奥行き情報（例えば、奥行きマップ）を、データ構造４０８およびデータ構造４１２などのデータ構造内に記録することができる。データ構造に記述されているように、オブジェクトＩＤによって識別されるコンテンツは、環境内の異なる位置に配置される。

【0034】

図５Ａに描かれているように、本開示の例によれば、配置されたコンテンツに対応する位置は、データ構造５０４に格納することができる。データ構造５０４は、ｏｂｊｅｃｔ＿ＩＤフィールドを使用して配置されたコンテンツ、コンテンツがＸ、Ｙ、Ｚ座標を使用して配置された位置、および使用された特定の奥行きマップを一意に識別することができる。図５Ｂにさらに描かれているように、各ｏｂｊｅｃｔ＿ＩＤは、コンテンツまたはコンテンツのバージョンを一意に識別することができる。例において、ユーザーは同じコンテンツをビデオ内に複数回配置することができるが、コンテンツ（例えば、ビデオコンテンツまたは画像コンテンツ）に関連付けられる開始時間および停止時間を異ならせてもよい。したがって、コンテンツの異なるバージョンを一意に識別することができる。例えば、データ構造５０８は、ビデオＶｉｄｅｏ＿１の第１のバージョンに対応するＯｂｊｅｃｔ＿ＩＤ（例えば、Ｃ＿１）と、ビデオＶｉｄｅｏ＿１の第２のバージョンに対応するＯｂｊｅｃｔ＿ＩＤ（例えば、Ｃ＿２）とを含むことができる。さらに、データ構造５０８は、ビデオＶｉｄｅｏ＿１の第２のバージョンに対応するＯｂｊｅｃｔ＿ＩＤ（例えば、Ｃ＿３）を含むことができる。ビデオの第２のバージョンは、ビデオの第１のバージョンと同じであってもよいが、ビデオの第２のバージョンは、いくつかの点で異なってもよい。例として、ビデオの第２のバージョンは、異なる開始点で開始し、異なるフレームレートで表示し、且つ／または異なる停止点で終了することができる。

【0035】

図６は本開示の例にかかる、コンテンツを配置するための追加の詳細を示す。より具体的には、コンテンツ６０８の配置は、奥行き情報と位置追跡情報とを組み合わせることによって実現される。３Ｄ表示である可能性のあるコンテンツの形を維持するのではなく、あたかも弾力性のある布や投影であるかのようにコンテンツをワーピングする。このような投影効果は、コンテンツの中心をカメラ視錐台の中心にそろえて、コンテンツ頂点のＺ成分をカメラの前方ベクトルに沿って移動させることによって達成されるが、カメラは、コンピューティング装置に関連付けられたる画像センサに対応することができる。各頂点の移動量は、コンテンツのＸ座標およびＹ座標に最も近い画素についての現在の奥行き推定値に依存する。さらに、いくつかの例において、奥行き情報に関する信頼度スコアを利用し、コンテンツを投影するか否かの決定を、奥行き情報の信頼度に依存させることができる。一実施形態において、奥行き情報の信頼度が低すぎる場合、例えば、信頼度が閾値より低い場合、コンテンツの投影を停止し、コンテンツを空中に浮いているカメラの前に位置させることができる。奥行き情報の信頼度が閾値より大きい場合、ユーザーが選択した位置に応じてコンテンツ６０８を配置し、それに応じてコンテンツ６０８を投影する。

【0036】

図６に描かれているように、本開示の例によれば、コンピューティング装置６０４は、環境または世界の画像を表示することができる。ユーザーは、コンテンツ６０８を表面６２０の撮影された表面６１６と表面６２８の撮影された表面６２４とのコーナーに配置することを望む可能性がある。したがって、ユーザインターフェース６３６は、表面６２０および表面６２８によって形成されたコーナーに配置されたコンテンツ６０８の例示的な表示を描画することができる。現在の投影の外観に満足できれば、ユーザーは、世界空間にコンテンツを配置することができる。この点において、世界空間でのコンテンツの位置と配置時の奥行き情報を保存することで、当該投影のコピーを作成する。投影が保存されると、コンテンツ６０８を使用して投影にテクスチャを追加する。初期コンテンツとして平面を使用するので、平面のアスペクト比にマッチングするために映像コンテンツまたは画像コンテンツを伸ばすことができる。コンテンツ６０８を平面に適用する場合、高さまで伸ばす方法をコンテンツ６０８に適用することができる。

【0037】

例において、コンテンツ６０８を処理するために、処理しない、ビデオマッティング、およびクロマキーイングの３つのオプションのうちの１つまたは複数を選択することができる。映像及び／又は画像のマッティングは、背景なしで人物又は他のオブジェクトの映像又は画像を投影することができるように、ビデオ又は画像内の人物又は他のオブジェクトを背景から分離する。クロマキーイングは、各画素の色値を利用して、共通のスクリーニング色とマッチングするか否かを決定する。クロマキーイング処理に関しては、まず、ビデオまたは画像の境界を見て、ビデオまたは画像中に共通の背景色が存在するか否かを決定することができる。そして、選択された共通の背景色によって決定された背景色が透明になるようにビデオまたは画像を修正することができる。例示的な色には、赤、緑、青、黒、白が含まれ、これらの色は、透明にすることができる共通の背景色として選択することができる。例えば、ユーザーは、緑色の背景を有するビデオまたは画像において緑色を選択することにより、緑色を有するビデオまたは画像内のすべてのコンテンツを透明にレンダリングすることができる。

【0038】

いくつかの例において、カメラの入力を獲得し、ユーザーの世界に投影し返してもよい。これは、ユーザーがアップロードまたはキャプチャしたコンテンツ（たとえば、ビデオや画像）を現実世界のテクスチャでブレンディングするために使用できる。したがって、ユーザーが現在持っていない可能性のある視点から現実世界の時間的にフリーズしたビューが入力画像によって生成されるように、入力画像を、現実世界上に直接伸ばすことができる。

【0039】

図７は本開示の例にかかる、例示的なシステム７００を示す図である。システム７００は、カメラの撮影装置から撮影可能なユーザー環境または世界にコンテンツを配置するためのシステムに対応することができる。例において、装置７０２は、ユーザー環境の複数の画像７０６を獲得するように設定される画像獲得モジュール７０４を備えることができる。複数の画像７０６は、画像センサ７０８から獲得することができる。画像センサ７０８は、コンピューティング装置１０８（図１）のようなコンピューティング装置内に組み込まれてもよいし、他の方法によりコンピューティング装置内に含まれてもよい。一例において、複数の画像７０６を奥行き情報生成器７１０に提供することができる。奥行き情報生成器７１０は、異なる角度からの複数の装置画像を利用し、それらを比較することで、ユーザーが自身のコンピューティング装置を移動させるときに画像内の各画素までの距離の推定値を生成することができる。コンピューティング装置が、例えば飛行時間センサのようなサポートされたハードウェア奥行きセンサを有する場合、このようなデータは、処理された奥行きに含まれることで既存の奥行きマップの精度を高めることができる。奥行き情報７１２は、位置追跡及び奥行き推定モジュール７１４に提供することができる。一例において、奥行き情報７１２は、奥行き画像内の各画素における距離表現を含む奥行き画像を含む奥行きマップを含むことができる。

【0040】

位置追跡及び奥行き推定モジュール７１４は、コンテンツ７１６を受け、あたかも弾力性のある布や投影であるかのようにコンテンツ７１６をワーピングすることができる。一例において、コンテンツ７１６がユーザーによって選択された場合、コンテンツをコンテンツストレージ７１８から提供することができる。この投影効果は、コンテンツ７１６の中心をカメラ視錐台の中心にそろえて、コンテンツ７１６の頂点のＺ成分をカメラの前方ベクトルまたは画像センサの前方ベクトルに沿って移動させることによって達成することができる。各頂点が移動される量は、コンテンツのＸ座標およびＹ座標に最も近い画素の現在の奥行き推定値に依存し、Ｘ座標およびＹ座標は、位置センサ７０７から提供される位置情報に基づくことができる。例において、位置追跡及び奥行き推定モジュール７１４は、表示された投影が受け入れ可能であることを示すユーザー入力７２０を受けることができ、ユーザー入力７２０は、コンテンツ７１６を配置する指令を送信するものである。したがって、世界空間におけるコンテンツ７１６の位置と配置時の奥行き情報を７２２として保存することにより、投影のコピーを作成する。一例において、コンテンツを投影するか否かの決定を、奥行き情報の信頼度に依存させることができる。一例において、奥行き情報の信頼度が低すぎる場合、例えば、信頼度が閾値より低い場合、コンテンツの投影を停止し、コンテンツを空中に浮いているカメラの前に位置させることができる。奥行き情報の信頼度が閾値より大きい場合、ユーザーが選択した位置に応じてコンテンツ７１６を配置し、それに応じてコンテンツ６０８を投影する。

【0041】

ビデオプロセッシングモジュール７２８は、保存されたユーザー投影をコンテンツ７１６でテクスチャリングすることができる。例えば、投影は、コンテンツ７１６でテクスチャリングされるように、奥行き情報を含むことができる。コンテンツ７１６は、奥行き情報７１２内の距離情報から導出された平面に対応することができる１つまたは複数の平面のアスペクト比にマッチングするように伸ばされる。次いで、ビデオプロセッシングモジュール７２８は、ユーザー環境内に配置された伸ばされたコンテンツを含む拡張現実画像をユーザーインターフェース７２６において表示することができる。例において、ビデオ獲得モジュール７３０は、複数の画像（例えば、ビデオ）または１つの画像を配置されたコンテンツ７１６とともに取得することができる。次いで、ビデオ獲得モジュール７３０は、複数の画像（例えば、ビデオ）または１つの画像を、配置されたコンテンツ７１６とともに、記憶のために、装置７０２において且つ／または装置７０２の外部に存在することができるコンテンツストレージ７１８に提供することができる。

【0042】

図８は本開示の例にかかる、ユーザーの世界にコンテンツを配置するための方法８００の詳細を示す図である。方法８００のステップの一般的な順序が図８に示されている。一般的に、方法８００は８０２で始まり、８３０で終わる。方法８００は、より多くのステップまたはより少ないステップを含むことができ、または、ステップの順序を図８に示されたステップとは異なるように構成することができる。方法８００は、コンピュータシステムによって実行されるコンピュータ実行可能な指令のセットとして実行され、コンピュータ可読媒体上に符号化または記憶されることができる。一例において、方法８００の態様は、例えば、コンピュータのような、１つまたは複数のプロセッシング装置によって実行される。さらに、方法８００は、プロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、システムオンチップ（ＳＯＣ）、ニューラルプロセッシングユニット、または他のハードウェア装置に関連付けられるゲートまたは回路によって実行することができる。以下では、方法８００を、図１～図７に関連して説明されたシステム、コンポーネント、モジュール、ソフトウェア、データ構造、ユーザインターフェース等を参照して説明することとする。

【0043】

本方法は８０２において始まり、フローはプロセス８０４に進むことができる。８０４において、コンテンツを受ける。例えば、ユーザーは、自分のコンピューティング装置のカメラロール内のビデオまたは画像を選択することができる。別の例において、ユーザーはビデオまたは画像をリアルタイムでキャプチャすることができる。別の例において、コンテンツは、アプリケーションを実行するコンピューティング装置上にインストールされた当該アプリケーションによって提供されるオプションから選択されてもよい。方法８００は、８０８に進むことができ、８０８において、ユーザーの世界に関連付けられる奥行き情報を取得することができる。例において、上述したように、複数の画像から奥行き情報を獲得することができる。すなわち、ユーザが自身のコンピューティング装置を移動すると、異なる角度からの複数の装置画像を獲得して比較することで、画像内の各画素までの距離の推定値を生成することができる。別の例において、奥行き情報は、例えば飛行時間センサのようなサポートされたハードウェア奥行きセンサから獲得することができ、奥行き情報はサポートされたハードウェア奥行きセンサから取得することができる。さらに、既存の奥行き情報（例えば、複数の画像から獲得された奥行きマップ）の精度を高めるために、このようなデータを、処理された奥行きに含めることができる。８１０において、奥行きマップ情報の信頼度閾値を取得することができる。例において、奥行きマップ情報の信頼度が閾値より大きくない場合（例えば、コンピューティング装置が奥行き情報が正しいと確信していない場合）、方法は８２２に進むことができる。そうでなければ、方法は、コンテンツをユーザーの世界上に投影する８１２に進む。

【0044】

例えば、８１２において、あたかも弾力性のある布や投影であるかのようにコンテンツをワーピングする。このような投影効果は、コンテンツの中心をカメラまたは画像センサの視錐台の中心にそろえて、コンテンツの頂点のＺ成分をカメラの前方ベクトルに沿って移動させることによって達成される。各頂点が移動される量は、コンテンツのＸ座標およびＹ座標に最も近い画素の現在の奥行き推定値に依存し、Ｘ座標およびＹ座標は、位置センサから提供される位置情報に基づくことができる。８１６において、ユーザが投影された位置に満足していることを示す指示を受けることができる。したがって、８１６において、奥行き情報のコピーおよびコンテンツのコピーを保存する。方法８００は、コンテンツをテクスチャとして１つまたは複数の表面に適用する８１８に進むことができる。例えば、１つまたは複数の表面（または平面）は、奥行き情報から確定することができる。奥行き情報に基づいて、それぞれの平面又は表面に対応するコンテンツの部分をワーピングすることができる。例において、ユーザーは、ビデオまたは画像内の人物または他のオブジェクトを背景から分離するために、または他の方法で背景を透明にするために、ビデオマッティング及び／又はクロマキーイングのうちの１つまたは複数を任意に選択することができる。これにより、人やオブジェクトのみをユーザーの世界上に投影することができる。

【0045】

奥行き情報が信頼区間を満たしていない場合、８２２において、コンテンツをコンピューティング装置のカメラの前に位置させることができる。８２４においてユーザが位置を受け入れた旨の指示を受けると、８２６においてコンテンツの位置を保存することで、８２８において、あたかもコンテンツが単一の平面または表面上に投影されているかのように、８２６において保存された位置情報に従ってコンテンツを表示することができる。方法８００は、８３０において終了することができる。

【0046】

図９は本開示の例にかかる、ユーザーの世界にコンテンツを配置し且つビデオを獲得するための方法９００の詳細を示す。方法９００のステップの一般的な順序が図９に示されている。一般的に、方法９００は９０２で始まり、９２２で終わる。方法９００は、より多くのステップまたはより少ないステップを含むことができ、または、ステップの順序を図９に示されたステップとは異なるように構成することができる。方法９００は、コンピュータシステムによって実行されるコンピュータ実行可能な指令のセットとして実行され、コンピュータ可読媒体上に符号化または記憶されることができる。一例において、方法９００の態様は、例えば、コンピュータのような、１つまたは複数のプロセッシング装置によって実行される。さらに、方法９００は、プロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、システムオンチップ（ＳＯＣ）、ニューラルプロセッシングユニット、または他のハードウェア装置に関連付けられるゲートまたは回路によって実行することができる。以下では、方法９００を、図１～図８に関連して説明されたシステム、コンポーネント、モジュール、ソフトウェア、データ構造、ユーザインターフェース等を参照して説明することとする。

【0047】

本方法は９０２において始まり、フローはプロセス９０４に進むことができる。９０４において、コンテンツを受ける。例えば、ユーザーは、自分のコンピューティング装置のカメラロール内のビデオまたは画像を選択することができる。別の例において、ユーザーはビデオまたは画像をリアルタイムでキャプチャすることができる。別の例において、コンテンツは、アプリケーションを実行するコンピューティング装置上にインストールされた当該アプリケーションによって提供されるオプションから選択されてもよい。方法は、９０６に進むことができ、９０６において、ユーザーの世界に関連付けられる奥行き情報を取得することができる。例において、上述したように、複数の画像から奥行き情報を獲得することができる。すなわち、ユーザが自身のコンピューティング装置を移動すると、異なる角度からの複数の画像を獲得して比較することで、画像内の各画素までの距離の推定値を生成することができる。別の例において、奥行き情報は、例えば飛行時間センサのようなサポートされたハードウェア奥行きセンサから獲得することができ、奥行き情報はサポートされたハードウェア奥行きセンサから取得することができる。さらに、このようなデータを処理された奥行きに含めることにより、既存の奥行き情報の精度を高めることができる。９０８において、コンテンツをユーザーの世界上に投影する。

【0048】

例えば、９０８において、あたかも弾力性のある布や投影であるかのようにコンテンツをワーピングする。この投影効果は、コンテンツの中心をカメラ視錐台の中心にそろえて、コンテンツの頂点のＺ成分をカメラの前方ベクトルに沿って移動させることによって達成することができる。各頂点が移動される量は、コンテンツのＸ座標およびＹ座標に最も近い画素の現在の奥行き推定値に依存し、Ｘ座標およびＹ座標は、位置センサから提供される位置情報に基づくことができる。例において、ユーザーは、ビデオまたは画像内の人物または他のオブジェクトを背景から分離するために、または他の方法で背景を透明にするために、ビデオマッティング及び／又はクロマキーイングのうちの１つまたは複数を任意に選択することができる。これにより、人やオブジェクトのみをユーザーの世界上に投影することができる。

【0049】

９１０において、ユーザが投影された位置に満足していることを示す指示を受けることができる。したがって、９１２において、奥行マップのような奥行き情報のコピーおよびコンテンツのコピーを保存する。方法９００は、コンテンツをテクスチャとして１つまたは複数の表面に適用する９１４に進むことができる。例えば、１つまたは複数の表面（または平面）は、奥行き情報から確定することができる。奥行き情報に基づいて、それぞれの平面又は表面に対応するコンテンツの部分をワーピングすることができる。

【0050】

方法は、ユーザーの世界に投影されたまたは配置されたコンテンツを含むビデオを取得する９１６に進むことができる。例えば、コンピューティング装置は、異なる角度及び／又は位置からコンテンツを描く１つまたは複数の画像／ビデオを取得することができる。例において、その後、９２０において、共有のために、獲得されたビデオをビデオホスティングプラットフォームに提供する。方法９００は、９２２において終了することができる。

【0051】

図１０は本開示の態様を実施するために利用可能なコンピューティング装置１０００の物理的コンポーネント（例えば、ハードウェア）を示すブロック図である。以下に説明されるコンピューティング装置コンポーネントは、上述したコンピューティング装置及び／又はプロセッシング装置に適用することができる。基本的な構成では、コンピューティング装置１０００は、少なくとも１つのプロセッシングユニット１００２とシステムメモリ１００４とを含むことができる。コンピューティング装置の構成およびタイプによっては、システムメモリ１００４は、揮発性ストレージ（例えば、ランダムアクセスメモリ（ＲＡＭ））、不揮発性ストレージ（例えば、リードオンリーメモリ（ＲＯＭ））、フラッシュメモリ、またはこのようなメモリの任意の組み合わせを含むことができるが、それらに限定されない。

【0052】

システムメモリ１００４は、オペレーティングシステム１００５と、本明細書に記載されたシステムによってサポートされる１つまたは複数のコンポーネントのようなソフトウェアアプリケーション１０２０を実行するのに適した１つまたは複数のプログラムモジュール１００６とを含むことができる。例として、システムメモリ１００４は、画像獲得モジュール１０２１、奥行き情報生成器１０２２、位置追跡及び奥行き推定モジュール１０２３、ビデオプロセッシングモジュール１０２４、およびビデオ獲得モジュール１０２５を備えることができる。画像獲得モジュール１０２１は、画像獲得モジュール７０４と同一であってもよく、または似ていてもよい。奥行き情報生成器１０２２は、奥行き情報生成器７１０と同一であってもよく、または似ていてもよい。位置追跡及び奥行き推定モジュール１０２３は、位置追跡及び奥行き推定モジュール７１４と同一であってもよく、または似ていてもよい。ビデオプロセッシングモジュール１０２４は、ビデオプロセッシングモジュール７２８と同一であってもよく、または似ていてもよい。ビデオ獲得モジュール１０２５は、ビデオ獲得モジュール７３０と同一であってもよく、または似ていてもよい。例えば、オペレーティングシステム１００５は、コンピューティング装置１０００の操作を制御するように適合できる。

【0053】

さらに、本開示の実施形態は、グラフィックライブラリ、他のオペレーティングシステム、または任意の他のアプリケーションプログラムに関連して実行することができるが、任意の特定のアプリケーションまたはシステムに限定されない。この基本的な構成は、破線１００８内のそれらの構成要素によって図１０に示されている。コンピューティング装置１０００は、追加の特徴または機能を有することができる。例えば、コンピューティング装置１０００は、磁気ディスク、光ディスク、またはテープなどの追加のデータストレージ装置（取外し可能な装置及び／又は取外し不可能な装置）をさらに備えることができる。このような追加のストレージは、図１０において、取り外し可能なストレージ装置１００９および取り外し不可能なストレージ装置１０１０によって示されている。

【0054】

上述したように、複数のプログラムモジュールおよびデータファイルがシステムメモリ１００４に記憶されていてもよい。プログラムモジュール１００６（例えば、ソフトウェアアプリケーション１０２０）は、プロセッシングユニット１００２上で実行された場合、本明細書で説明された態様を含むがそれらに限定されないプロセスを実行することができる。本開示の態様に従って使用できる他のプログラムモジュールは、電子メール及び連絡先アプリケーション、ワープロアプリケーション、スプレッドシートアプリケーション、データベースアプリケーション、スライドプレゼンテーションアプリケーション、製図プログラム、またはコンピュータ支援プログラムなどを含むことができる。

【0055】

さらに、本開示の実施形態は、電気回路、個別電子部品、論理ゲートを含むパッケージチップまたは集積電子チップ、マイクロプロセッサを利用する回路、または電子部品またはマイクロプロセッサを含む単一のチップ上で実施することができる。例えば、本開示の実施形態は、システムオンチップ（ＳＯＣ）を介して実施することができるが、図１０に示される各コンポーネントまたは複数のコンポーネントは、単一の集積回路上に集積化することが可能である。このようなＳＯＣ装置は、１つ又は複数のプロセッシングユニット、グラフィックスユニット、通信ユニット、システム仮想化ユニット、および様々なアプリケーション機能を含み、これらのすべてが単一の集積回路としてチップ基板上に集積化される（または「書き込み」される）ことができる。ＳＯＣを介して操作する場合、本明細書に記載されたクライアントがプロトコルを切り替える能力に関する機能は、単一の集積回路（チップ）上のコンピューティング装置１０００の他のコンポーネントと集積化された特定用途向けロジックを介して動作することができる。本開示の実施形態はまた、ＡＮＤ、ＯＲ、およびＮＯＴなどの論理演算を実行することができる、機械、光学、流体、および量子技術を含むがそれらに限定されない他の技術を使用して実施することができる。さらに、本開示の実施形態は、汎用コンピュータ内で、または任意の他の回路またはシステム内で実施することができる。

【0056】

コンピューティング装置１０００はまた、キーボード、マウス、ペン、音または声入力装置、タッチまたはスワイプ入力装置などの１つまたは複数の入力装置１０１２を有することができる。当該１つまたは複数の入力装置１０１２は、画像センサを含むことができる。ディスプレイ、スピーカ、プリンタなどの出力装置１０１４も含むことができる。上記の装置は例であり、他の装置を使用することができる。コンピューティング装置１０００は、他のコンピューティング装置／システム１０５０との通信を可能にする１つ又は複数の通信接続１０１６を含むことができる。好適な通信接続１０１６の例は、無線周波数（ＲＦ）送信機、受信機、及び／又はトランシーバ回路、ユニバーサルシリアルバス（ＵＳＢ）、パラレルポート、及び／またはシリアルポートを含むが、これらに限定されない。

【0057】

本明細書で使用されるコンピュータ可読媒体という用語は、コンピュータ記憶媒体を含むことができる。コンピュータ記憶媒体は、コンピュータ可読指令、データ構造、またはプログラムモジュールのような、情報を記憶するための任意の方法または技術で実現される揮発性および不揮発性の取り外し可能な媒体および取り外し不可能な媒体を含むことができる。システムメモリ１００４、取り外し可能なストレージ装置１００９、および取り外し不可能なストレージ装置１０１０は、いずれもコンピュータ記憶媒体の一例（例えば、メモリストレージ）である。コンピュータ記憶媒体は、ＲＡＭ、ＲＯＭ、電気的に消去可能なリードオンリーメモリ（ＥＥＰＲＯＭ）、フラッシュメモリまたは他のメモリ技術、ＣＤ－ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）または他の光学的ストレージ、磁気カセット、磁気テープ、磁気ディスクストレージまたは他の磁気ストレージ装置、または情報を記憶するために使用され、コンピューティング装置１０００によってアクセス可能な任意の他の製品を含むことができる。任意のそのようなコンピュータ記憶媒体は、コンピューティング装置１０００の一部であってもよい。コンピュータ記憶媒体は、搬送波または他の伝搬または変調されたデータ信号を含まない。

【0058】

通信媒体は、コンピュータ可読指令、データ構造、プログラムモジュール、または変調されたデータ信号内の他のデータ、例えば搬送波または他の移送機構によって具現化することができるとともに、任意の情報伝達媒体を含む。「変調されたデータ信号」という用語は、信号内に情報を符号化するように設定または変更された１つまたは複数の特徴を有する信号を表すことができる。限定ではなく、一例として、通信媒体は、有線ネットワークまたは直接有線接続のような有線媒体、および音響、無線周波数（ＲＦ）、赤外、および他の無線媒体のような無線媒体を含むことができる。

【0059】

図１１Ａと図１１Ｂは、本開示の実施形態を実施するために利用可能な携帯電話、スマートフォン、（スマートウォッチのような）ウェアラブルコンピュータ、タブレットコンピュータ、ラップトップコンピュータ、スマートホーム装置などのようなモバイルコンピューティング装置１１００を示している。いくつかの例において、モバイルコンピューティング装置１１００は、コンピューティング装置１０８と同一であってもよく、または似ていてもよい。いくつかの態様において、クライアントは、モバイルコンピューティング装置であってもよい。図１１Ａを参照すると、これらの態様を実現するためのモバイルコンピューティング装置１１００の一態様が示されている。基本的な構成において、モバイルコンピューティング装置１１００は、入力要素および出力要素の両方を有する手持ちコンピュータである。モバイルコンピューティング装置１１００は、典型的に、ディスプレイ１１０５と、ユーザがモバイルコンピューティング装置１１００に情報を入力することを可能にする１つまたは複数の入力ボタン１１１０とを備える。モバイルコンピューティング装置１１００のディスプレイ１１０５は、入力装置（例えば、タッチスクリーンディスプレイ）としても機能することができる。

【0060】

含まれる場合、オプションの副入力要素１１１５によって、別のユーザ入力を可能にする。副入力要素１１１５は、ロータリースイッチ、ボタン、または任意の他のタイプの手動入力要素であってもよい。代替としての態様において、モバイルコンピューティング装置１１００は、より多くの入力要素またはより少ない入力要素を組み込むことができる。例えば、いくつかの実施形態において、ディスプレイ１１０５はタッチスクリーンでなくてもよい。

【0061】

さらに別の代替実施形態において、モバイルコンピューティング装置１１００は、セルラー電話などの携帯電話システムである。モバイルコンピューティング装置１１００はさらに、オプションのキーパッド１１３５を含むことができる。オプションのキーパッド１１３５は、物理キーパッドまたはタッチスクリーンディスプレイ上で生成される「ソフト」キーパッドとすることができる。

【0062】

様々な実施形態において、出力要素は、グラフィカルユーザインターフェース（ＧＵＩ）を表示するためのディスプレイ１１０５と、視覚的インジケータ１１２０（例えば、発光ダイオード）と、及び／又はオーディオトランスデューサ１１２５（例えば、スピーカ）とを含む。いくつかの態様において、モバイルコンピューティング装置１１００は、ユーザに触覚フィードバックを提供するための振動トランスデューサを組み込んでいる。さらに別の態様において、モバイルコンピューティング装置１１００は、オーディオ入力（例えば、マイクロホンジャック）、オーディオ出力（例えば、ヘッドフォンジャック）、およびビデオ出力（例えば、ＨＤＭＩポート）のような入力及び／又は出力ポートを組み込むことで、外部装置との間で信号の送受信を行う。

【0063】

図１１Ｂはモバイルコンピューティング装置の一態様のアーキテクチャを示すブロック図である。すなわち、モバイルコンピューティング装置１１００は、システム（例えば、アーキテクチャ）１１０２を組み込むことで、いくつかの態様を実現することができる。一実施形態において、システム１１０２は、１つまたは複数のアプリケーション（例えば、ブラウザ、電子メール、カレンダー、連絡先マネージャ、メッセージ通信クライアント、ゲーム、およびメディアクライアント／プレーヤ）を実行することができる「スマートフォン」として実現される。いくつかの態様において、システム１１０２は、統合されたパーソナルデジタルアシスタント（ＰＤＡ）、無線電話、ウェアラブル装置、スマートホーム装置などのコンピューティング装置として統合される。

【0064】

１つまたは複数のアプリケーションプログラム１１６６は、メモリ１１６２にロードされ、オペレーティングシステム１１６４上で、またはオペレーティングシステム１１６４に関連して実行することができる。アプリケーションプログラムの例としては、電話ダイヤルプログラム、電子メールプログラム、個人情報管理（ＰＩＭ）プログラム、ワープロプログラム、スプレッドシートプログラム、インターネットブラウザプログラム、メッセージ通信プログラム、地図プログラムなどが含まれる。システム１１０２はまた、メモリ１１６２内の不揮発性記憶領域１１６８を含む。不揮発性記憶領域１１６８は、システム１１０２の電源が切られたときに失われてはならない永続的な情報を記憶するために使用することが可能である。アプリケーション１１６６は、電子メールまたは電子メールアプリケーションによって使用される他のメッセージなど、不揮発性記憶領域１１６８内の情報を使用し、不揮発性記憶領域１１６８に格納することができる。同期アプリケーション（図示せず）もシステム１１０２上に常駐し、ホストコンピュータ上に常駐する対応の同期アプリケーションとやり取りして、不揮発性記憶領域１１６８に格納された情報とホストコンピュータ上に記憶された対応の情報との同期を維持するようにプログラミングされる。他のアプリケーションは、メモリ１１６２にロードされ、本明細書で説明されたモバイルコンピューティング装置１１００上で動作することができることを理解すべきである。

【0065】

システム１１０２は、１つまたは複数のバッテリとして実現することができる電源１１７０を有する。電源１１７０はさらに、ＡＣアダプタまたはバッテリを補充または再充電する電源付き格納台などの外部電源を含むことができる。

【0066】

システム１１０２はさらに、無線周波数通信を送受ける機能を実行する無線インターフェース層１１７２を含むことができる。無線インターフェース層１１７２は、通信キャリアまたはサービスプロバイダを介してシステム１１０２と「外部世界」との間の無線接続を容易にする。無線インターフェース層１１７２との間の送信は、オペレーティングシステム１１６４の制御の下で行われる。言い換えれば、無線インターフェース層１１７２によって受信された通信は、オペレーティングシステム１１６４を介してアプリケーションプログラム１１６６に配布することができ、その逆も同様である。

【0067】

視覚的インジケータ１１２０は、視覚的通知を提供するために使用することが可能で、且つ／またはオーディオインターフェース１１７４は、オーディオトランスデューサ１１２５を介して可聴通知を生成するために使用することが可能である。示された実施形態において、視覚的インジケータ１１２０は発光ダイオード（ＬＥＤ）であり、オーディオトランスデューサ１１２５はスピーカである。これらの装置は、電源１１７０に直接結合されることで、起動されたときに、バッテリ電力を節約するためにプロセッサ１１６０および他の構成要素がオフにされていても、通知機構によって指定された継続時間の間、オンにされた状態を維持することが可能である。ＬＥＤは、ユーザが装置の電源オン状態を示す行動を行うまで、無期限に点灯し続けるようにプログラムされてもよい。オーディオインターフェース１１７４は、ユーザに可聴信号を提供し、ユーザから可聴信号を受けるために使用される。例えば、オーディオインターフェース１１７４は、オーディオトランスデューサ１１２５に結合されることに加えて、マイクロフォンに結合されることで、例えば電話会談を容易にするために、可聴入力を受けることができる。本開示の実施形態によれば、マイクロフォンは、以下で説明するように、通知の制御を容易にするためにオーディオセンサとして機能することもできる。システム１１０２は、オンボードカメラ１１３０のオペレーションにより静止画像、ビデオストリーム等を記録することを可能にするビデオインターフェース１１７６をさらに含むことができる。

【0068】

システム１１０２を実現するモバイルコンピューティング装置１１００は、追加の特徴または機能を有することができる。例えば、モバイルコンピューティング装置１１００は、磁気ディスク、光ディスク、またはテープなどの追加のデータストレージ装置（取外し可能な装置及び／又は取外し不可能な装置）をさらに備えることができる。このような追加のストレージは、図１１Ｂにおいて不揮発性記憶領域１１６８によって示されている。

【0069】

以上で説明されたように、モバイルコンピューティング装置１１００によって生成またはキャプチャされ、システム１１０２を介して記憶されたデータ／情報は、モバイルコンピューティング装置１１００上にローカルに記憶されることができ、あるいは、データは、無線インターフェース層１１７２を介して、またはモバイルコンピューティング装置１１００とモバイルコンピューティング装置１１００に関連付けられている別のコンピューティング装置（例えば、インターネットなどの、分散型コンピューティングネットワーク内のサーバコンピュータ）との間の有線接続を介して装置からアクセス可能な任意の数の記憶媒体に記憶されることができる。このようなデータ／情報は、モバイルコンピューティング装置１１００を介して、無線インターフェース層１１７２を介して、または分散型コンピューティングネットワークを介してアクセスすることができる。同様に、このようなデータ／情報は、電子メールおよび共同データ／情報共有システムを含む公知のデータ／情報送信および記憶手段に従って、記憶および使用のためにコンピューティング装置間で容易に送信することができる。

【0070】

図１２は、上記で説明されたような、パーソナルコンピュータ１２０４、タブレットコンピューティング装置１１０６、またはモバイルコンピューティング装置１２０８のような遠隔ソースからコンピューティングシステムにおいて受信されたデータを処理するための、システムのアーキテクチャの一態様を示している。パーソナルコンピュータ１２０４、タブレットコンピューティング装置１２０６、またはモバイルコンピューティング装置１２０８は、１つまたは複数のアプリケーションを含むことができ、このようなアプリケーションは、画像獲得モジュール１２２１、奥行き情報生成器１２２２、位置追跡及び奥行き推定モジュール１２２３、ビデオプロセッシングモジュール１２２４、およびビデオ獲得モジュール１２２５を含むことができるが、これらに限定されない。画像獲得モジュール１２２１は、画像獲得モジュール７０４と同一であってもよく、または似ていてもよい。奥行き情報生成器１２２２は、奥行き情報生成器７１０と同一であってもよく、または似ていてもよい。位置追跡及び奥行き推定モジュール１２２３は、位置追跡及び奥行き推定モジュール７１４と同一であってもよく、または似ていてもよい。ビデオプロセッシングモジュール１２２４は、ビデオプロセッシングモジュール７２８と同一であってもよく、または似ていてもよい。ビデオ獲得モジュール１０２５は、ビデオ獲得モジュール７３０と同一であってもよく、または似ていてもよい。

【0071】

先に説明されたプログラムモジュール１００６またはソフトウェアアプリケーション１０２０のうちの１つまたは複数は、上述したように、サーバ装置１２０２及び／又はパーソナルコンピュータ１２０４、タブレットコンピューティング装置１２０６、またはモバイルコンピューティング装置１２０８によって使用されることができる。

【0072】

サーバ装置１２０２は、ネットワーク１２１５を介して、パーソナルコンピュータ１２０４、タブレットコンピューティング装置１２０６、及び／又はモバイルコンピューティング装置１２０８（例えば、スマートフォン）などのクライアントコンピューティング装置にデータを提供し、クライアントコンピューティング装置からデータを提供されることができる。一例として、上述したコンピュータシステムは、パーソナルコンピュータ１２０４、タブレットコンピューティング装置１２０６、及び／又はモバイルコンピューティング装置１２０８（例えば、スマートフォン）内で実現することができる。

【0073】

さらに、本明細書に記載された態様および機能は、分散型システム（例えば、クラウドベースのコンピューティングシステム）上で動作することができるが、ここでは、アプリケーション機能、メモリ、データ記憶およびデータ検索、ならびに様々な処理機能は、分散型コンピューティングネットワーク（例えば、インターネットまたはイントラネット）上で互いに遠隔的に動作することができる。様々なタイプのユーザインターフェースおよび情報は、オンボードコンピューティング装置ディスプレイを介して、または１つまたは複数のコンピューティング装置に関連付けられている遠隔ディスプレイユニットを介して表示することができる。例えば、様々なタイプのユーザインターフェースと情報を投影した壁面にこれらの様々なタイプのユーザインターフェースと情報を表示してインタラクションすることができる。本発明の実施形態を実施するために利用できる複数のコンピューティングシステムとのインタラクションは、キーストローク入力、タッチスクリーン入力、声または他のオーディオ入力、ジェスチャ入力などを含み、ジェスチャ入力の場合、関連付けられているコンピューティング装置は、コンピューティング装置の機能を制御するためにユーザのジェスチャをキャプチャおよび解釈するための検出（例えば、カメラ）機能を備える。

【0074】

例えば、本開示の態様は、本開示の態様にかかる方法、システム、およびコンピュータプログラム製品のブロック図及び／又はオペレーション説明を参照して以上に説明されている。ブロック内に記された機能／動作は、任意のフローチャートに示された順序とは異なる順序で発生することができる。例えば、関連する機能／動作によっては、連続して示される２つのブロックは実際には実質的に同時に実行されてもよく、またはこれらのブロックは時には逆の順序で実行されてもよい。

【0075】

本開示は、少なくとも以下のセクションで提供される例に従って、コンピューティング装置の外部の被撮影環境内にコンテンツを配置するためのシステムおよび方法に関する。

【0076】

（Ａ１）一態様において、いくつかの例は、コンピューティング装置の外部の被撮影環境内にコンテンツを配置するための方法を含む。本方法は、コンテンツを受けることと、当該コンピューティング装置の外部の当該被撮影環境に対応する奥行き情報を取得することと、当該奥行き情報に基づいて当該コンテンツを当該被撮影環境内の位置に関連付ける指示を受けることと、当該コンピューティング装置の外部の当該被撮影環境に対応する当該奥行き情報に基づいて当該コンテンツの少なくとも一部をワーピングすることとを含む。

【0077】

（Ａ２）Ａ１のいくつかの例において、本方法は、コンピューティング装置の外部の被撮影環境のビデオまたは画像コンテンツのうちの少なくとも１つを獲得することを含み、ビデオまたは画像コンテンツのうちの当該少なくとも１つは、コンテンツのワーピングされた一部を含む。

【0078】

（Ａ３）Ａ１～Ａ２のいくつかの例において、本方法は、第２のコンテンツを受けることと、当該コンピューティング装置の外部の当該被撮影環境に対応する第２の奥行き情報を取得することと、当該第２の奥行き情報に基づいて当該第２のコンテンツを当該被撮影環境内の第２の位置に関連付ける第２の指示を受けることと、当該コンピューティング装置の外部の当該被撮影環境に対応する当該第２の奥行き情報に基づいて当該第２のコンテンツの少なくとも一部をワーピングすることとを含み、当該コンピューティング装置の外部の被撮影環境のビデオまたは画像コンテンツのうちの当該少なくとも１つは、コンテンツのワーピングされた一部と、第２のコンテンツのワーピングされた一部とを含む。

【0079】

（Ａ４）Ａ１～Ａ３のいくつかの例において、コンテンツは、複数のビデオフレームを備えるビデオコンテンツを含み、当該複数のビデオフレームは、コンピューティング装置の外部の被撮影環境のビデオまたは画像コンテンツのうちの少なくとも１つにおいて表示される。

【0080】

（Ａ５）Ａ１～Ａ４のいくつかの例において、奥行き情報は、コンピューティング装置の画像センサによって獲得された複数の画像から取得されるものである。

【0081】

（Ａ６）Ａ１～Ａ５のいくつかの例において、本方法は、被撮影環境に対応する奥行き情報が閾値より大きい信頼度スコアに関連付けられていると決定することと、当該被撮影環境内の少なくとも１つの平面とマッチングするようにコンテンツの少なくとも一部をワーピングすることと、を含む。

【0082】

（Ａ７）Ａ１～Ａ７のいくつかの例において、本方法は、被撮影環境に対応する奥行き情報が閾値未満の信頼度スコアに関連付けられていると決定することと、当該被撮影環境内の位置においてコンテンツを表示することと、を含む。

【0083】

（Ａ８）Ａ１～Ａ７のいくつかの例において、本方法は、入力情報に応じて第２のコンテンツを受けることと、コンピューティング装置の外部の被撮影環境に対応する第２の奥行き情報を取得することと、被撮影環境に対応する第２の奥行き情報が閾値未満の信頼度スコアに関連付けられていると決定することと、第２の奥行き情報に基づいて第２のコンテンツを被撮影環境内の第２の位置に関連付ける第２の指示を受けることと、被撮影環境内の第２の位置において第２のコンテンツを表示することと、を含む。

【0084】

（Ａ９）Ａ１～Ａ８のいくつかの例において、本方法は、被撮影環境に対応する第２の奥行き情報が閾値より大きい信頼度スコアに関連付けられていることを決定することと、第２の奥行き情報に基づいて第２のコンテンツを被撮影環境内の第２の位置に関連付ける当該第２の指示を受けることと、当該被撮影環境内の少なくとも１つの平面とマッチングするように第２のコンテンツの少なくとも一部をワーピングすることと、を含む。

【0085】

（Ａ１０）Ａ１～Ａ９のいくつかの例において、ワーピングする前に、コンテンツの一部の背景色を修正する。

【0086】

（Ａ１１）Ａ１～Ａ１０のいくつかの例において、本方法は、当該コンテンツをワーピングする前に、コンテンツ内のエンティティをコンテンツの背景から分離することによって、またはコンテンツの一部の背景色を修正することによって、コンテンツを修正することを含む。

【0087】

（Ａ１２）Ａ１～Ａ１１のいくつかの例において、奥行き情報は奥行きマップ画像を含み、本方法はさらに、コンテンツを被撮影環境内の位置に関連付ける指示を受けた場合、奥行き情報から奥行きマップ画像を保存することを含む。

【0088】

また別の態様において、いくつかの例はコンピューティングシステムを含み、当該コンピューティングシステムは１つまたは複数のプロセッサと、当該１つまたは複数のプロセッサに結合されたメモリとを備え、当該メモリは、当該１つまたは複数のプロセッサにより実行されるときに、当該１つまたは複数のプロセッサに、本明細書に説明された方法のうちのいずれかの方法（例えば、上記Ａ１～Ａ１２）を実行させる１つまたは複数の指令を記憶している。

【0089】

さらに別の態様において、いくつかの例は、ストレージ装置の１つまたは複数のプロセッサによって実行されるための１つまたは複数のプログラムを記憶している非一時的なコンピュータ可読記憶媒体を含み、当該１つまたは複数のプログラムは本明細書で説明された方法（例えば、上記Ａ１～Ａ１２）のうちのいずれかの方法を実行するための指令を含む。

【0090】

本願で提供された１つまたは複数の態様の説明および例示は、特許請求される本開示の範囲をいかなる態様で制限または限定することも意図していない。本明細書で説明された態様、例及び詳細は、所有権を伝えるのに十分であり、かつ、他の者が特許請求される本開示の最善の形態を形成及び使用することを可能にするのに十分であるとみなされる。特許請求される本開示は、本明細書で説明された態様、例、または詳細に限定されるものと解釈すべきではない。様々な特徴（構造的特徴および方法的特徴）は、組み合わせて図示又は説明されるかまたは個別に図示又は説明されるかにかかわらず、特定の特徴セットを有する実施形態を形成するためには、選択的に含むまたは省略することが意図されている。本願の説明及び例示を提供することにより、当業者は、特許請求される開示のより広い範囲から逸脱しない、本願で実現された一般的な発明構想のより広い態様の要旨に含まれる変更、修正及び代替態様を想定することができる。

【図1】

【図2A】

【図2B】

【図2C】

【図2D】

【図2E】

【図2F】

【図2G】

【図3A】

【図3B】

【図4】

【図5A】

【図5B】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11A】

【図11B】

【図12】