特許 7090410 拡張現実のシーンを再生する際の自動ズームのための方法、装置及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-06-16

(45)【発行日】2022-06-24

(54)【発明の名称】拡張現実のシーンを再生する際の自動ズームのための方法、装置及びシステム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20220617BHJP

   H04N 5/232 20060101ALI20220617BHJP

【ＦＩ】

G06T19/00 600

H04N5/232 960

【請求項の数】 15

【外国語出願】

(21)【出願番号】P 2017169155

(22)【出願日】2017-09-04

(65)【公開番号】P2018067301

(43)【公開日】2018-04-26

【審査請求日】2020-07-28

(31)【優先権主張番号】16306115.3

(32)【優先日】2016-09-06

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】518341334

【氏名又は名称】インターディジタル・シーイー・パテント・ホールディングス・ソシエテ・パ・アクシオンス・シンプリフィエ

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100108213

【弁理士】

【氏名又は名称】阿部 豊隆

(72)【発明者】

【氏名】ローラン，アンソニー

(72)【発明者】

【氏名】ジユエ，ピエリツク

(72)【発明者】

【氏名】ベイラード，カロリーヌ

【審査官】片岡 利延

(56)【参考文献】

【文献】特開２０１２－０１８５７３（ＪＰ，Ａ）

【文献】特表２０１６－５１４２９８（ＪＰ，Ａ）

【文献】特開２０１５－２２８２５６（ＪＰ，Ａ）

【文献】特開２０１２－１５５６５５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

カメラの視点からの拡張現実のシーンを再生する際に画像を表示装置に描画する方法であって、
第１の決定手段により、前記拡張現実のシーンの境界を求めることであって、前記境界は、前記拡張現実のシーンの全ての要素を包含する、ことと、
第２の決定手段により、前記カメラのポーズの推定と前記シーンの前記境界とに従ってズーム係数を特定することと、
描画手段により、前記ズーム係数に従って前記カメラからの画像を前記表示装置に描画することと、
を含む前記方法。

【請求項2】

視覚効果、音声効果及び触覚効果を含むグループから選択された効果を用いて、指示手段により、ユーザに前記カメラのポジションを示すことを含み、前記カメラのポジションは、前記カメラの位置及び粗い方向を含む、請求項１に記載の方法。

【請求項3】

前記ポジションが、前記拡張現実のシーンの少なくとも１つの要素に関連付けられた方向と重みとに従って特定される、請求項２に記載の方法。

【請求項4】

前記拡張現実のシーンが、前記カメラによって撮られた現実のシーンのオブジェクトに対応する非描画要素を含み、該要素が、前記拡張現実のシーンの前記境界を求める際に考慮に入れられる、請求項１又は３に記載の方法。

【請求項5】

前記カメラの狙い方向を、狙い制御手段により、前記拡張現実のシーンの前記境界と前記ズーム係数とに従って制御することを含む、請求項１から４のいずれか１項に記載の方法。

【請求項6】

前記カメラが光学ズーム機能を備えており、前記方法は、該光学ズーム機能を、光学ズーム制御手段により、前記ズーム係数に従って制御することを含む、請求項１から５のいずれか１項に記載の方法。

【請求項7】

前記画像上のデジタル・ズームを、操作手段により、前記ズーム係数に従って操作することを含む、請求項１から６のいずれか１項に記載の方法。

【請求項8】

カメラの視点からの拡張現実のシーンを再生する際に画像を描画するように構成されたディスプレイを有する装置であって、
前記拡張現実のシーンの境界を求める手段であって、前記境界は、前記拡張現実のシーンの全ての要素を包含する、手段と、
前記カメラのポーズの推定と前記シーンの前記境界とに従ってズーム係数を特定する手段と、
前記ズーム係数に従って前記カメラからの画像を描画する手段と、
を備える、前記装置。

【請求項9】

視覚効果、音声効果及び触覚効果を含むグループから選択された効果を用いて、ユーザに前記カメラのポジションのインディケーションを送信する手段を更に有し、前記カメラのポジションは、前記カメラの位置及び粗い方向を含む、請求項８に記載の装置。

【請求項10】

前記ポジションが、前記拡張現実のシーンの少なくとも１つの要素に関連付けられた方向と重みとに従って特定される、請求項９に記載の装置。

【請求項11】

前記拡張現実のシーンが、前記カメラによって撮られた現実のシーンのオブジェクトに対応する非描画要素を含み、該要素が、前記拡張現実のシーンの前記境界を求める際に考慮に入れられる、請求項８又は１０に記載の装置。

【請求項12】

前記装置は、前記カメラの狙い方向を前記拡張現実のシーンの前記境界と前記ズーム係数とに従って制御するための手段を更に備える、請求項８から１０のいずれか１項に記載の装置。

【請求項13】

前記カメラが光学ズーム機能を備えており、前記装置は、該光学ズーム機能を前記ズーム係数に従って制御する手段を更に備える、請求項８から１０のいずれか１項に記載の装置。

【請求項14】

前記装置は、前記画像上のデジタル・ズームを前記ズーム係数に従って制御する手段を更に備える、請求項８から１０のいずれか１項に記載の装置。

【請求項15】

プロセッサによって実行される際に、請求項１から３のいずれか１項に記載の、拡張現実のシーンを再生する際にカメラからの画像を表示装置に描画する方法のステップを実施するプログラム・コード命令を含む、通信ネットワークからダウンロード可能であり、及び／又は、コンピュータによって読み取り可能な媒体に記録されており、及び／又は、プロセッサによって実行可能である、コンピュータ・プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、概ね、オーグメンティッド・リアリティ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：拡張現実）の分野に関し、更に詳しくは、ビデオ・パススルー（ｖｉｄｅｏ ｐａｓｓ－ｔｈｒｏｕｇｈ）装置上で動作する拡張現実アプリケーションに関する。

【背景技術】

【0002】

拡張現実（ＡＲ）アプリケーションは、３次元の人工のオブジェクト（例えば、ＣＧＩとも呼ばれるコンピュータ生成画像）を現実世界の上に重ね合わせる。リアリズム（現実感）とリアルタイムの処理は、ＡＲアプリケーションを評価するための重要な基準である。ＡＲ装置には、２つのタイプ、即ち、例えばスマート・グラスのような「オプティカル・シースルー（ｏｐｔｉｃａｌ ｓｅｅ－ｔｈｒｏｕｇｈ）」装置と、例えばスマートフォン又はタブレットのような「ビデオ・パススルー（ｖｉｄｅｏ ｐａｓｓ－ｔｈｒｏｕｇｈ）」装置とがある。本開示は、この２番目のタイプのＡＲ装置に関する。

【0003】

ビデオ・パススルー装置は、表示スクリーンと、カメラと、ユーザがそのカメラのポーズ（位置（ｌｏｃａｔｉｏｎ）及び狙い方向（ａｉｍｉｎｇ ｄｉｒｅｃｔｉｏｎ））をリアルタイムで制御する手段とを備えた装置である。例えば、前面のスクリーンと後方に向いたカメラとを用いてＡＲアプリケーションを実施するときのスマートフォンとタブレットは、ＡＲ装置である。この場合、ユーザは、装置を手で動かすことによって、カメラのポーズを制御する。カメラが撮ったビデオは、その場でスクリーン上に描画される。ＡＲアプリケーションは、このビデオの画像の上にＡＲシーンの仮想オブジェクトを重畳する。

【0004】

ある特定の最適なカメラ・アングルにおいて、ユーザは、全体のＡＲシーンを見る（観察する）ことができる。しかしながら、カメラがＡＲシーンの場所に近すぎる場合、或いは、カメラの狙い方向が最適な方向でない場合、一部のＡＲオブジェクトがカメラの視野から外れる。また、カメラがＡＲシーンの場所から遠すぎる場合、ＡＲオブジェクトは、スクリーン上で小さくなり、細部が分からないことがある。この問題を解決するために、ユーザは、最適なポーズを自力で探す必要がある。このような解決策は、満足のいくものではなく、その理由は、ユーザは、自分がオブジェクト又は細部を逃していることを常に気づく訳ではなく、また、最適なポーズを探すことは、ＡＲアプリケーションの楽しい使用を妨げる面倒な作業だからである。

【発明の概要】

【0005】

本開示は、拡張現実アプリケーションを実施する際にビデオ・パススルー装置のカメラのズームと狙い方向とを自動的に調整する方法に関する。ビデオ・パススルー装置のカメラのポーズ推定とＡＲシーンの境界の算定とに従って、カメラの光学ズーム又はデジタル・ズームを調整することによって、ユーザの動きなしにＡＲの観察を最適化する。最適なポジションをユーザに示して、ユーザが動くように誘導してもよい。

【0006】

本開示は、カメラの視点からの拡張現実のシーンを再生する際に画像を表示装置に描画する方法であって、
拡張現実のシーンの境界を求めることと、
カメラのポーズの推定とシーンの境界とに従ってズーム係数を特定することと、
ズーム係数に従ってカメラからの画像を表示装置に描画することと、
を含む方法に関する。

【0007】

特定の一特徴によれば、この方法は、視覚効果、音声効果及び触覚効果を含むグループから選択された効果を用いて、ユーザにカメラのポジションを示すことを更に含んでいる。

【0008】

具体的な一態様によれば、このポジションは、拡張現実のシーンの少なくとも１つの要素に関連付けられた方向と重みとに従って特定される。

【0009】

具体的な一態様によれば、この拡張現実のシーンは、カメラによって撮られた現実のシーンのオブジェクトに対応する非描画要素を含み、この要素は、拡張現実のシーンの境界を求める際に考慮に入れられる。

【0010】

特定の一特徴によれば、このカメラはモータ駆動型であり、この方法は、カメラの狙い方向を、拡張現実のシーンの境界と算出されたズーム係数とに従って制御することを更に含んでいる。

【0011】

具体的な一態様によれば、このカメラは光学ズーム機能を備えており、この方法はこの光学ズーム機能を、特定されたズーム係数に従って制御することを更に含んでいる。別の一態様において、画像上のデジタル・ズームがズーム係数に従って操作される。

【0012】

本開示は、カメラの視点からの拡張現実のシーンを再生する際に画像を描画するように構成されたディスプレイを有する装置であって、少なくとも１つのプロセッサに関連付けられたメモリを備えており、この少なくとも１つのプロセッサが、
拡張現実のシーンの境界を求め、
カメラのポーズの推定とシーンの境界とに従ってズーム係数を特定し、
前方に面したカメラからの画像をズーム係数に従って描画する、
ように構成されている、装置にも関する。

【0013】

本開示は、拡張現実のシーンを再生する際にカメラからの画像を描画するように構成されたディスプレイを有する装置であって、
拡張現実のシーンの境界を求める手段と、
カメラのポーズの推定とシーンの境界とに従ってズーム係数を特定する手段と、
前方に面したカメラからの画像をズーム係数に従って描画する手段と、
を備えた装置にも関する。

【0014】

本開示は、プロセッサによって実行される際に、拡張現実のシーンを再生する時にカメラからの画像を表示装置に描画する上述の方法のステップを実施するプログラム・コード命令を含む、通信ネットワークからダウンロード可能であり、及び／又は、コンピュータによって読み取り可能な媒体に記録されており、及び／又は、プロセッサによって実行可能である、コンピュータ・プログラム製品にも関する。

【図面の簡単な説明】

【0015】

下記の添付図面を参照する以下の説明を読むと、本開示がより良く理解され、その他の具体的な特徴及び利点が明確になるであろう。

【図1】本原理の具体的な一実施形態による、ビデオ・パススルー装置として使用されるタブレットの一例を例示する図である。

【図2】本原理の具体的な一実施形態による、図１のタブレットのようにＡＲアプリケーションを実施するビデオ・パススルー装置として使用される非透過型（ｏｃｃｕｌｔｉｎｇ）ヘッド・マウント・ディスプレイ（ＨＭＤ）装置の例を例示する図である。

【図3】本原理の具体的な一実施形態による、図１及び２のようにＡＲアプリケーションを実施し、且つ、カメラがモータ駆動型であって制御用表示装置から離間されているビデオ・パススルー装置の一実施形態例を例示する図である。

【図4】本原理の具体的な一実施形態による、図１、２及び３のカメラの視錐台と図２及び３の拡張現実のシーンの境界とに基づく算定方法を例示する図である。

【図5a】本原理の具体的な一実施形態による、図４の境界に従うズーム・アウト係数の算定方法の例を例示する図である。

【図5b】本原理の具体的な一実施形態による、図４の境界に従うズーム・イン係数の算定方法の例を例示する図である。

【図6】本原理の具体的な一実施形態による、図１、２及び３のカメラについての最適なポジション６４の算定方法の例を例示する図である。

【図7】本原理の具体的な一実施形態による、拡張現実のシーンを再生する際に、図１、２及び３のカメラからの画像を描画するように構成された装置のハードウェアの一実施形態を示す図である。

【図8】非限定的な有利な一実施形態による、図７の装置のような処理装置において実施される方法の一実施形態を図表形式で示す図である。

【発明を実施するための形態】

【0016】

次に、図面を参照して本要旨を説明するが、これらの図面においては、全体を通して、同じ参照番号を用いて同じ要素を示している。以下の記載において、本要旨が完全に理解されるように、多数の具体的な詳細事項を説明の目的のために述べる。尚、本要旨の実施形態はこれらの具体的な詳細事項なしでも実施できる。

【0017】

本開示の非限定的な実施形態による、拡張現実（ＡＲ）アプリケーションを実施する際のビデオ・パススルー装置のカメラのズームと狙い方向とを自動的に調整する方法と装置を開示する。

【0018】

ＡＲアプリケーションを実施しているビデオ・パススルー装置のカメラの最適なポーズを探すことは、カメラのポーズを修正することにその本質がある。このポーズは、カメラの３次元空間における位置と狙い方向との組み合わせである。カメラの位置を自動的に制御するには、カメラを移動させるためのモータ駆動メカニズムが必要である。ビデオ・パススルー装置は、通常、そのようなメカニズムを備えていない。

【0019】

図１は、ビデオ・パススルー装置として使用されるタブレット１０ａの一例を例示している。装置１０ａは、スクリーン１０２とカメラ１０１とを有するリグ（ｒｉｇ）を構成している。カメラ１０１は、図１における、例えばテレビである、現実のオブジェクト１１を含む現世界の一シーンを撮影している。このシーンは、カメラ１０１の視錐台（ｆｒｕｓｔｕｍ）１２に含まれる現世界の一部分である。この撮られたシーンは、タブレット１０ａのスクリーン１０２上にリアルタイムで表示される。この機能によって、タブレット１０ａはビデオ・パススルー装置となる。ユーザは、タブレット１０ａを動かすことによって、カメラ１０１のポーズを制御する。実際、カメラ１０１の位置と狙い方向とは、装置１０ａの位置と方位とに直接関係がある。特定の一実施形態において、タブレット１０ａのカメラ１０１がモータ駆動されて、カメラ１０１の狙い方向がＡＲアプリケーションによって部分的に制御されることがある。ＡＲアプリケーションは、カメラのポーズを特定する手段を必要とする。図１では、基準マーカ１３が、ポーズ推定手段の一例として、現実のオブジェクト１１のスクリーン上に表示されている。この例において、ＡＲアプリケーションは、カメラ１０１によって撮られた画像を処理して、基準マーカ１３を識別して、マーカの形状とサイズに従って、カメラ１０１の（従って、装置１０ａの）ポーズ（即ち、マーカに関連する基準座標系（ｆｒａｍｅ ｏｆ ｒｅｆｅｒｅｎｃｅ）内における位置と狙い方向）を推定する。一変形例において、ＡＲアプリケーションは、画像内のオブジェクト、例えば、特定の位置に在ることが分かっている特定の家具、の認識に従って、カメラのポーズを推定する。別の一実施形態において、ポーズ推定手段は、室内に設置されており、且つ、タブレット１０ａの背面に点在する赤外線マーカを追跡する赤外線カメラのシステムである。別の一実施形態において、このアプリケーションは、タブレットの慣性測定装置（例えば、加速度計とジャイロスコープ）からの情報を用いて装置１０ａのポーズを推定する。本開示は、これらのポーズ推定システムの例に限定されない。

【0020】

図２は、ＡＲアプリケーションを実施するビデオ・パススルー装置として使用される非透過型（ｏｃｃｕｌｔｉｎｇ）ヘッド・マウント・ディスプレイ（ＨＭＤ）装置１０ｂの例を例示している。ＨＭＤ１０ｂは、ユーザの両眼の前に在る１つ又は２つのスクリーンと、ユーザの前に在るシーンを撮る少なくとも１つのカメラ１０１とを有するリグを構成している。カメラ１０１によって撮られたビデオは、ＨＭＤのスクリーン上にリアルタイムで描画され、これによって、ＨＭＤ１０ｂは、ビデオ・パススルー装置となる。ポーズ推定システムが、このアプリケーションによって用いられて、カメラの位置と狙い方向を特定する。ユーザは、カメラ１０１が撮影しているものを見ているので、カメラ１０１のポーズは、ユーザの凝視のポーズに対応している。図２において、マーカ１３は、カメラによって見られる現実のオブジェクト１１のスクリーン上に表示されている。図１のタブレット１０ａについては、その他の任意の種類のポーズ推定システムが採用されてもよい。カメラのポーズが特定されると、ＡＲアプリケーションは、３次元のシーンにおいて人工のオブジェクトを加える。カメラ１０１の視錐台１２に含まれるこれらの人工のオブジェクトの部分の画像が、カメラによって撮られたシーンの画像上に重畳されて、この合成物が、ビデオ・パススルー装置１０ｂのスクリーン上に描画される。オブジェクト（現実のオブジェクトと人工のオブジェクト）相互間の掩蔽（ｏｃｃｕｌｔａｔｉｏｎ）は、ＡＲアプリケーションによって処理される。例えば、図２において、ＡＲアプリケーションは、マーカによって定められる基準座標系内に、従って、現実のテレビ１１の周りに、人工のエッフェル塔２１と人工の１対のさいころ２２とを加える。ユーザには、視錐台１２内に含まれているものが見える。従って、テレビ１１を見ているユーザは、エッフェル塔２１の一部分（一部分のみ）が見えており、１対のさいころ２２は、カメラ１０１の視野から外れているので、全く見えていない。

【0021】

図２に例示された実施形態において、ユーザは、自分の頭部を動かすことによってカメラのポーズを制御する。別の一実施形態においては、カメラ１０１がモータ駆動されて、ＡＲアプリケーションが、カメラ１０１の狙い方向を部分的に制御してもよい。ポーズ推定システムは、ＨＭＤの基準座標系におけるカメラ１０１の方位を考慮して、ポーズを推定する。

【0022】

図３は、ＡＲアプリケーションを実施するビデオ・パススルー装置の一実施形態の例を例示している。スマートフォン１０ｃが、リンク３１を介してモータ駆動型のカメラ１０３を制御する。リンク３１は、有線インタフェース（例えば、バス・インタフェース、ワイド・エリア・ネットワーク・インタフェース、ローカル・エリア・ネットワーク・インタフェース）、或いは、無線インタフェース（例えば、ＩＥＥＥ８０２．１１インタフェース又はブルートゥース（登録商標）（Ｂｌｕｅｔｏｏｔｈ（登録商標））インタフェース）であってよい。例えば、スマートフォンは、慣性測定装置（ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ）（ＩＭＵ）を備えており、ＡＲアプリケーションが、スマートフォンの動きを追跡して、その検出された動きに従ってカメラの回転を制御する。別の一実施形態では、ユーザがカメラの回転を制御することを可能にするユーザ・インタフェースが、スマートフォン上で稼働している。カメラは、その前に在る、現実のオブジェクト１１を含むシーン（即ち、その視錐台内に含まれる現実の世界の部分）を撮る。カメラによって撮られた画像が、スマートフォンに転送されて、スマートフォン１０ｃのスクリーン上にリアルタイムで描画される。このようなシステムによって、ビデオ・パススルー装置が構成される。カメラのポーズは、そのモータに従って常に分かる。一変形例において、例えば、カメラが、移動装置（例えば、車輪又は無限軌道）を備えている場合、例えば基準マーカに基づく外部のポーズ推定システムが更に使用される。

【0023】

ＡＲアプリケーションを実行する際、装置１０ｃは、カメラ１０３によって撮られた画像上に人工のオブジェクト２１を完全に又は部分的に重ね合せる。ＡＲシーンの一部の人工のオブジェクトは、例えば図３の例における１対のさいころ２２のようにカメラの視野から外れることがある。本発明の特定の一実施形態によれば、拡張現実シーンの境界３２が算定される。このＡＲシーンは、ＡＲアプリケーションのＡＲコンテンツを構成するあらゆる人工のオブジェクト２１と２２を包含する。これが、ユーザに見られるべきものである。一変形例において、このシーンには、目に見えない人工のオブジェクトも含まれている。目に見えないオブジェクトは、ＡＲシーンの、描画されない要素である（即ち、この要素については、人工の画像は、カメラによって撮られた画像上には重畳されない）。このような目に見えないオブジェクトは、例えば、図１，２及び３のテレビ１１のような現実のオブジェクトの輪郭を覆い隠すことがある。従って、現実のオブジェクトが、カメラによって撮られた画像の修正なしに、シーンの境界内に含まれ得る。目に見えないオブジェクトは、ＡＲアプリケーションのクリエータ（ｃｒｅａｔｏｒ：創作者）がＡＲシーンの境界内に含めたい現実の世界の立体感（ｖｏｌｕｍｅ）に対応する。境界は、ＡＲコンテンツの要素を、これらに可能な限り接近して、包含する。境界３２は、人工のオブジェクト及び現実のオブジェクトであってもよいＡＲコンテンツのあらゆる要素を、望ましくは、これらの要素に可能な限り接近して、包含するように特定される。図３において、ＡＲシーンの境界は、ＡＲコンテンツの１組の要素についての３次元の境界ボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）である。変形例において、境界は、境界エリップス（ｂｏｕｎｄｉｎｇ ｅｌｌｉｐｓｅ）又はＡＲシーンのコンベックス・ハル（ｃｏｎｖｅｘ ｈｕｌｌ）であってもよい。特定の一実施形態において、ＡＲシーンの要素は、時間の経過と共に移動するか、或いは、形状が変化することがある。一変形例において、シーンの要素の数は、時間の経過と共に変動することがある。このような実施形態において、境界は、シーンにおける変化が検出される度に算定される。一変形例において、境界は、一定の頻度で、例えば１０分の１秒毎に又は０．５秒毎に、算定される。

【0024】

図４は、カメラの視錐台と境界とに基づいた算定方法を例示している。カメラ１０１のポーズ推定に従って特定された仮想世界におけるカメラの位置と狙い方向とに従って、且つ、境界の算定に基づいて、２つの重要な矩形が、仮想基準座標系内において算定される。尚、カメラは、ポーズ推定に従ってＡＲアプリケーションの仮想世界内に配置されている。カメラは、仮想シーン内において、現実のカメラの焦点に対応する点にまで縮小可能である。カメラ１０１のポーズを推定する際に、システムは、先ず、仮想シーンの基準座標系内におけるカメラの焦点の位置を推定し、次に、同じ基準座標系内におけるカメラの狙い方向４１（即ち、方位）を推定する。図１、２及び４に示された視錐台１２は、このポーズ推定に基づいている。カメラの焦点上に頂点を有し、且つ、境界３２の全体を包含する角錐４２が特定される。図４の例では、境界３２は境界ボックスとして成形されており、角錐４２は四角錐（ｆｏｕｒ－ｓｉｄｅｄ ｐｙｒａｍｉｄ）である。境界の変形例において、角錐４２は、円錐、或いは、先端が尖った任意の形状の立体（ｖｏｌｕｍｅ）であってもよい。境界３２と角錐４２とに基づいて、境界の近面矩形４３と呼称される矩形４３が算定される。近面４３は、次の５つの条件の同時成立（ｃｏｎｊｕｎｃｔｉｏｎ）よって定義される矩形である。
・矩形４３は、狙い方向４１に対して垂直であり、
・矩形４３は、角錐４２の境界矩形であり、
・矩形４３は、境界の全体を包含しており、
・矩形４３の辺は、視錐台矩形４４の辺と平行であり、
・矩形４３は、先行する条件を満たす矩形のうち、カメラ１０１に最も近い。

【0025】

視錐台矩形４４は、近面矩形４３の平面内に在るカメラ視錐台１２によって定義される矩形である。

【0026】

図５ａは、ズーム・アウト係数の算定方法の例を例示している。カメラ１０１の所与のポーズについて、近面矩形４３が視錐台矩形４４内に含まれており、且つ、近面矩形４３の少なくとも１辺が視錐台矩形４４の１辺上に重ね合されている場合、ＡＲシーンは、最大限のサイズで描画される。図５ａの例では、矩形４３の一部分５１が視錐台矩形４４の内側に在り、残りの部分５２が外側に在る。カメラ１０１を動かさずに（即ち、視錐台矩形４４の中心を動かさずに）ＡＲシーンの描画を最大化するために、視錐台矩形をその対角線に沿って拡大して、その辺の１つを近面矩形４３の外側の１辺上に重ね合わせて、新たな視錐台矩形５４を得る。この操作は、カメラ１０１についてのズーム・アウトに相当する。ズーム係数は、例えば、新たな視錐台矩形５４の対角線の長さを実際の視錐台矩形４４の対角線の長さで除算することによって特定される。この例では、ズーム係数は、１より大きいので、ズーム・アウトに相当する。

【0027】

図５ｂは、ズーム・イン係数の算定方法の例を例示している。近面矩形４３が視錐台矩形４４内に完全に含まれている場合、そのＡＲシーンの描画は、そのＡＲシーンが拡大するように描画され得るので、最適ではない。視錐台矩形４４をその対角線５３に沿って縮小して、その辺の少なくとも１つを近面矩形４３の辺の少なくとも１つの上に重ね合わせる。この例では、ズーム係数は、１より低いので、ズーム・インに相当する。ズーム係数は、近面矩形４３と視錐台矩形４４とに従って特定される。

【0028】

図６は、カメラ１０１についての最適なポジション６４（以下、最適ポジション６４ともいう）の算定方法の例を例示している。カメラ１０１は、そのレンズ系の焦点をＡＲアプリケーションからの制御命令に従って修正する、光学ズーム装置を備えている。カメラの焦点は、そのカメラの視野に、直接、関連付けられている。カメラ１０１は、物理的な制約のために、それを超えては動作できない最大限の視野を有する。逆に、撮影条件がもはや十分でなくなる最小限の視野が定められ得る。ＡＲアプリケーションが近面矩形４３と視錐台矩形４４とに従って算定されたズーム係数をカメラ１０１に適用すると、カメラ１０１の視野は、その最大値の１つに至るまでの範囲内で修正される。最小限の視野に到達した場合、それは、カメラ１０１が、近面矩形からあまりにも遠すぎて、ユーザにとって満足な寸法でシーンを撮ることができないことを意味する。逆に、最大限の視野に到達した場合、カメラ１０１は、近面矩形にあまりにも近くて、図６に例示されているように、シーンの全体を撮ることができない。上方から見た図６において、矩形４３，４４及び５４は、理解し易いように移動されている。尚、これらの３つの矩形は同一平面に属している。この例において、角度６１が、カメラ１０１の視野の最大限の開度に対応している。本原理の特定の一実施形態によれば、ＡＲアプリケーションは、近面矩形４３の幅を考慮して、カメラ１０１に対して最大ズーム・アウトを命令する。しかしながら、カメラ１０１は、あまりにも近面矩形に近すぎて、全体の仮想シーンを撮ることができない。ＡＲアプリケーションは、カメラ１０１を移動しない。しかしながら、ＡＲアプリケーションは、仮想シーンの最適な描画が得られる最適なポジションがどこであるかをユーザに示してもよい。例えば、ＡＲアプリケーションは、ユーザに対してどの方向に移動すべきかを示す矢印を装置１０ａ，１０ｂ又は１０ｃのスクリーン上に表示してもよい。一変形例において、システムは、音声メッセージ又は触覚効果（例えば、振動）を用いてユーザに最適なポジションを示す。先ず、最適な描画のために、カメラ１０１の狙い方向は、近面矩形４３の中心を通る必要がある。図６の例では、ユーザは、左に移動する必要がある。次に、αと呼称する最大角度６１は、後方への最小限の移動を可能にするものである。近面矩形４３と最適ポジション６４との間のｚ_２と呼称する距離６３が、カメラ１０１と３つの矩形の平面との間のｚ_１と呼称する距離６２と、新たな視錐台矩形５４のｗ_１と呼称する幅と、近面４３のｗ_２と呼称する幅とに従って、且つ、次式（数１）に従って、算出される。

【0029】

【数1】

【0030】

図７の例において、ユーザは、ｚ_２－ｚ_１の距離だけ後方に移動するように誘導される。同じ原理が、カメラ１０１の最小限の視野について用いられる。

【0031】

別の一実施形態において、カメラ１０１は、光学ズーム装置を備えていない。このような実施形態において、ＡＲアプリケーションは、デジタル・ズーム機能を用いて描画画像の視野を制御する。最大限の視野は、カメラ１０１の視野に対応する。デジタル・ズーム・インは画像の品質を低減するので、最小限の品質を維持するために、最小限の視野が定められる。同じ原理が、この実施形態において適用される。一変形例において、ＡＲコンテンツは、体験時における境界の最大限のサイズの推定に付随する。ユーザは、例えば、体験の開始時に１度だけ最適なポジションに向かって移動するように要求されることがある。一変形例において、仮想シーンの要素の少なくとも１つが、主要方向に関連付けられる。例えば、図１、２及び３の例において、テレビ１１が、たとえそれが仮想シーンの非描画要素を構成する場合であっても、主要方向（例えば、そのスクリーンに対する垂線）に関連付けられることがある。最適なポジションは、これらの主要方向に従って算出され、従って、ユーザは、主要な要素の前で移動するように誘導される。主要方向を有する仮想シーンの要素は、カメラ１０１の最適なポジションの算出のために、重み（例えば、０と１００との間の整数、或いは、０と１との間の実数）に関連付けられることがある。重み付けられた主要方向相互間における最適なトレードオフを見つけるために、最適化アルゴリズムが用いられる。

【0032】

一部の実施形態において、カメラ１０１は、モータ駆動されて回転可能である。最適な方位は、カメラ１０１の最小限の視野と最大限の視野とに従って算出される。最適な方位は、カメラの実際の狙い方向について算定された近面矩形４３に従って算出されてもよい。一変形例において、近面矩形は、カメラの狙い方向に依存するので、可能な方位について算定される。最適な方位を算出するために、最適化アルゴリズムが用いられる。

【0033】

図７には、拡張現実のシーンを再生する際に、カメラ１０１からの画像を表示装置７９に描画するように構成された装置７０のハードウェアの一実施形態が示されている。図７は、図１から３で説明されたシステムのハードウェアの一実施形態例である。この例において、装置７０は、アドレス及びデータ用の、クロック信号も給送するバス７３によって互いに接続された次の構成要素、即ち、
－マイクロプロセッサ７１（即ち、ＣＰＵ）と、
－グラフィックス・カード（ＧＰＵ）７６と、
－ＲＯＭ（リード・オンリ・メモリ）タイプの不揮発性メモリ７４と、
－ランダム・アクセス・メモリ、即ち、ＲＡＭ７５と（グラフィックス・カード７６にランダム・アクセス・メモリのレジスタを埋設してもよい）、
－オプションの内部ポーズ推定システム７２０と（例えば、ジャイロスコープ、加速度計及び／又はコンパスを備えた慣性測定装置（ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ：ＩＭＵ）の形態を有する）、
－オプションの１組のＩ／Ｏ（入出力）装置７２１（例えば、マウス、ジョイスティック、ウェブカム等）と、
－電源７７と、
を備えている。

【0034】

装置７０は、アドレス用バス７３を介してＣＰＵ７１にデータを送信する外部のポーズ推定システム７２２に接続されていてもよい。

【0035】

装置７０は、カメラ１０１に接続されている。一部の実施形態において、カメラ１０１は、モータ駆動される。特定の実施形態において、カメラ１０１は、バス７３を介して受信した制御命令に従って自己のレンズ系の焦点を修正する光学ズーム装置を備えている。

【0036】

利点として、装置７０は、表示スクリーン・タイプの１つ又は複数の表示装置７９に接続されており、この１つ又は複数の表示装置７９は、グラフィックス・カード７６に直接接続されており、グラフィックス・カードで算出された画像を表示する。一変形例において、この１つ又は複数の表示装置７９は、バス７３を介してグラフィックス・カード７６に接続されている。特定の一実施形態において、ポーズ推定システム７２２、及び／又は、この１つ又は複数の表示装置７９は、図１から３で説明されたヘッド・マウント・デバイス、タブレット又はスマートフォンの場合のように、装置７０に組み込まれている。

【0037】

尚、メモリ７４，７５及び７６の説明で用いられる用語の「レジスタ」は、前述のメモリの各々において、低容量（若干のバイナリ・データ）のメモリ領域と、（プログラム全体、或いは、算出されたデータを表すデータ又は表示されるべきデータの全部又は一部の記憶を可能にする）大容量のメモリ領域とを意味する。

【0038】

スイッチが入ると、マイクロプロセッサ７１は、ＲＯＭ７４のレジスタ内のプログラムに従って、ＲＡＭ７５のレジスタ内のプログラムの命令をロードして実行する。

【0039】

特定の一実施形態によれば、利点として、本開示に固有である後述の方法のステップを実施するアルゴリズムが、これらのステップを実施する装置７０に関連付けられたグラフィックス・カード７６のメモリＧＲＡＭ内に記憶されている。

【0040】

一変形例によれば、電源７７は、装置７０の外側に在る。

【0041】

図８には、非限定的な有利な一実施形態による、装置７０のような処理装置において実施される方法８０の一実施形態が、図表形式で示されている。

【0042】

初期設定ステップ８０１において、この装置は、ＡＲアプリケーションを実施するのに必要なデータを取得する。関連プログラムとＡＲシーンが、ＲＡＭ７５にロードされるが、一変形例では、少なくともその一部が、グラフィック・ボード７６のＧＲＡＭにロードされる。カメラ１０１の初期ポーズが推定される。

【0043】

ステップ８０２において、ＡＲシーンの基準座標系内のカメラ１０１のポーズが推定される。一変形例において、このステップは、他のステップと並行して実行され、且つ、定期的に、例えば２０ヘルツ又は７０ヘルツで、反復される。ポーズの推定は、少なくとも１つの供給源からの情報に従って算出される。例えば、カメラ１０１は、ＩＭＵを備えた装置７０内に組み込まれている。ＡＲアプリケーションは、装置の差動ポーズ、従って、カメラの差動ポーズを追跡する。一変形例において、このシステムは、カメラ１０１上の赤外線プロット（ｉｎｆｒａ－ｒｅｄ ｐｌｏｔ）を撮影する１組の赤外線カメラを備えている。赤外線カメラの内部パラメータ及び外部パラメータに従ってカメラのポーズを推定する画像処理が、例えば装置７０のＣＰＵ７１によって行われる必要がある。別の一変形例では、カメラ１０１が（図１の例におけるような）少なくとも１つの基準マーカを撮影しており、且つ、ＡＲアプリケーションが、例えば装置７０のＣＰＵ７１上で、識別された基準マーカの既知のポーズに従って、画像処理を実行することによって、カメラ１０１のポーズを推定する。

【0044】

ステップ８０３において、ＡＲシーンの境界が、図３で説明されたように算定される。近面矩形４３と視錐台矩形４４が、図４で説明されたように、カメラ１０１の推定されたポーズ（即ち、その位置とその狙い方向）、その視野、及び、境界に従って、算出される。図８上の二重線８２０は、方法８０の次のステップがシステムの実施形態によって決まることを示している。本方法は、ステップ８０４において、カメラ１０１の実際のポジションが最適であるか（或いは、最適なポジションから離れすぎていないか）を検査することから成り立っていてもよい。尚、「ポジション」という用語は、「ポーズ」という用語と同じく、カメラの位置と狙い方向とを意味している。例えば、この検査は、ズーム係数が最小限である（即ち、カメラの視野が最大限である）ときに、近面矩形がカメラの視野内に含まれ得るか否かを推定することに本質があってもよい。否の場合、実際のポジションは最適ではなく、その理由は、ズーム係数の如何に関わらず、カメラが、ＡＲシーンに近すぎて、それを自己の視錐台内に全く包含できないからである。また、カメラがシーンから遠すぎる（即ち、近面矩形が最小限の視錐台矩形の小さい部分を占める）場合も同じ原理が適用可能である。一変形例において、この検査は、カメラ１０１が、実際、主要方向に関連付けられたシーンの要素の前に在るか否かを算定することに本質があってもよい。これらの方向に関連付けられた重みが、この検査の算出のために考慮に入れられる。カメラ１０１が最適なポジションでない場合、ステップ８０５が実行される。カメラ１０１が最適なポジションの検査８０４をパスした場合、ステップ８０７が実行される。別の一実施形態において、ステップ８０５は、ステップ８０７と並行して、定期的に実行される。更に別の一実施形態において、ステップ８０５は、ステップ８０３の後に規則的に実行される。このような実施形態において、検査８０４は、決して行われない。

【0045】

ステップ８０５において、カメラ１０１について、最適なポジションが算定される。この算出された最適なポジションは、ＡＲシーンの観察（ｖｉｅｗｉｎｇ）が最適化される視点である。この計算法は、図６で説明されたように、境界とカメラのパラメータとを考慮に入れる。一変形例において、この計算法は、ＡＲシーンの少なくとも１つの要素に関連付けられた重み付けられた主要方向も考慮に入れて、最適なポジションを特定する。ステップ８０６において、算出された最適なポジションが、視覚効果を介して、例えばＡＲアプリケーションによって描画された画像上に矢印を重ね合わせることによって、ユーザに示される。一変形例において、最適なポジションは、触覚効果を介して、例えば、装置７０に組み込まれたバイブレータ、或いは、例えば、触覚ブレスレット又は触覚ベストとしてユーザが身に着けたバイブレータを作動させることによって、ユーザに示される。別の一変形例において、最適なポジションは、音声メッセージによって、例えば、立体音響の発振音又は言語の発話によって、示される。

【0046】

ステップ８０７において、ズーム係数が、近面矩形４３と、カメラ１０１のポーズと、図５ａ及び５ｂで説明されたような最大限及び最小限の視野を含むカメラ１０１のパラメータとに従って算出される。図８上の二重線８２１は、次のステップがシステムの実施形態によって決まることを示している。カメラ１０１が光学ズーム装置を備えている場合、ステップ８０８が実行され得る。装置７０のＣＰＵ７１が、ステップ８０７において算定されたズーム係数を用いてカメラ１０１の光学ズーム装置に命令を送信する。カメラ１０１が光学ズーム装置を備えていない場合、ステップ８０８の代わりにステップ８０９が実行される。このステップにおいて、デジタル・ズームが、算出されたズーム係数に従って操作される。カメラ１０１によって撮られた画像に対して、画像の品質がもはや十分であるとは推定されなくなる最小限の視野に対応するサイズに至るまでの範囲内で、クロップ（ｃｒｏｐ）が行われる。ズーム係数が最大限の視野に対応する場合、クロップは行われない。一変形例において、ステップ８０９は、ステップ８０８の前に、又は後に、又はこれと並行して、行われてもよい。カメラ１０１がモータ駆動型である場合、ステップ８１０が実行される。ＡＲシーンの観察条件を最適化するために、ＡＲアプリケーションは、カメラ１０１についての最適な狙い方向を算出して、カメラ１０１に命令を送信して、カメラ１０１を回転させる。一変形例において、ステップ８１０は、システムの実施形態に従って、ステップ８０８及び／又は８０９の前に、或いは、ステップ８０８及び／又は８０９の後に、或いは、ステップ８０８及び／又は８０９と並行して、行われる。

【0047】

カメラ１０１のズームと狙い方向とが調整されると、ステップ８１１が実行される。このステップは、ＡＲアプリケーションの標準的な処理、即ち、カメラ１０１の調整済み視点から観察されるＡＲシーンの部分をカメラ１０１によって撮られた画像上に重畳することに本質がある。方法８０は、ステップ８０２から反復的に実行されて、カメラのポーズの変化及び／又はＡＲシーンの変化を考慮して、描画画像を更新する。

【0048】

当然、本開示は、これまでに説明された実施形態には限定されない。

【0049】

詳しくは、本開示は、拡張現実のシーンを再生する際にカメラからの画像を表示装置に描画する方法には限定されず、カメラを制御するモータに命令を送信する任意の方法にも適用され、或いは、ユーザに最適なポジションを示すための視覚効果、音声効果又は触覚効果を伝える任意の方法にも適用される。また、ズーム係数の算出に用いられる境界と矩形を生成するために必要な計算の実施は、シェーダ・タイプ（ｓｈａｄｅｒ ｔｙｐｅ）のマイクロプログラムでの実施には限定されず、任意のプログラム・タイプでの実施、例えば、ＣＰＵタイプのマイクロプロセッサによって実行可能なプログラムでの実施にも適用される。

【0050】

本明細書において説明された実施形態は、例えば、方法、プロセス、装置、ソフトウェア・プログラム、データ・ストリーム、或いは、信号において、実施されてもよい。説明された特徴の実施は、それがたとえ単一の形の実施形態のコンテキスト（文脈）のみで説明されたとしても（例えば、方法又は装置としてのみ説明されたとしても）、その他の形（例えば、プログラム）でも実施されてもよい。ある装置は、例えば、適切なハードウェア、ソフトウェア及びファームウェアにおいて実施され得る。方法は、例えば、装置において、例えば、コンピュータ、マイクロプロセッサ、集積回路、或いは、プログラマブル・ロジック・デバイスを含む処理機器を一般的に意味する例えばプロセッサのような装置において、実施され得る。プロセッサには、例えば、スマートフォン、タブレット、コンピュータ、モバイル・フォン、ポータブル／パーソナル・ディジタル・アシスタント（ＰＤＡ）のような通信機器、及び、エンドユーザ相互間の情報の通信を容易にするその他の機器も含まれる。

【0051】

本明細書に説明された種々のプロセス及び特徴の実施は、様々な相異なる装置又はアプリケーションにおいて、特に、例えば、画像及び関連テクスチャ情報及び／又は深度情報のデータ符号化、データ復号、ビュー生成、テクスチャ処理、及び、その他の処理に関連付けられた装置又はアプリケーションにおいて、具現化されてもよい。そのような装置の例には、符号化器、復号器、復号器からの出力を処理するポストプロセッサ、符号化器に入力を供給するプレプロセッサ、ビデオ・コーダ、ビデオ・デコーダ、ビデオ・コーデック、ウェブ・サーバ、セットトップ・ボックス、ラップトップ、パーソナル・コンピュータ、セル・フォン、ＰＤＡ、及び、その他の通信機器が含まれる。明らかなことであるが、これらの装置は、移動性を有してもよく、移動車両に搭載することさえも可能である。

【0052】

更に、方法は、プロセッサによって行われる命令によって実施されてもよく、そのような命令（及び／又は、実施形態によって生成されるデータ値）は、プロセッサ可読媒体に記憶されてもよく、そのようなプロセッサ可読媒体は、例えば、集積回路、ソフトウェア搬送又はその他の記憶機器、例えば、ハード・ディスク、コンパクト・ディスケット（ＣＤ）、光ディスク（例えば、しばしばデジタル多用途ディスク又はデジタル・ビデオ・ディスクと呼ばれるＤＶＤ）、ランダム・アクセス・メモリ（ＲＡＭ）、或いは、リード・オンリ・メモリ（ＲＯＭ）である。命令は、プロセッサ可読媒体に明確に組み入れられたアプリケーション・プログラムを構成してもよい。命令は、例えば、ハードウェア、ファームウェア、ソフトウェア、或いは、それらの組み合わせの中に入れられてもよい。命令は、例えば、オペレーティング・システム、個別のアプリケーション、或いは、両者の組み合わせの中に存在してもよい。従って、プロセッサは、例えば、プロセスを実行するように構成されたデバイスと、プロセスを実行するための命令を有する（記憶装置のような）プロセッサ可読媒体を備えたデバイスとの両方を兼ねたものとして見なされてもよい。更に、プロセッサ可読媒体は、実施形態によって生成されたデータ値を、命令に加えて又は命令の代わりに、記憶してもよい。

【0053】

当業者には明らかであろうが、実施形態は、例えば、記憶又は送信し得る情報を搬送するようにフォーマット化された種々の信号を生成し得る。この情報には、例えば、方法を実施するための命令、或いは、説明された実施形態の１つによって生成されたデータが含まれ得る。例えば、信号は、説明された実施形態のシンタックスを書く又は読むための規則をデータとして搬送するように、或いは、説明された実施形態によって書かれた実際のシンタックス値をデータとして搬送するようにフォーマット化されてもよい。そのような信号は、例えば、（例えば、スペクトルの無線周波数部分を用いて）電磁波として、或いは、ベースバンド信号としてフォーマット化され得る。このフォーマット化には、例えば、データ・ストリームを符号化すること、及び、搬送波を符号化データ・ストリームで変調することが含まれ得る。信号が搬送する情報は、例えば、アナログ情報又はデジタル情報であり得る。この信号は、周知のように、種々の相異なる有線又は無線リンクを介して送信され得る。この信号は、プロセッサ可読媒体に記憶され得る。

【0054】

以上、多数の実施形態を説明した。それでもやはり、種々の修正が可能であることは理解されるであろう。例えば、種々の実施形態の要素を組み合わせて、又は補って、又は修正して、又は取り除いて、別の実施形態を作成してもよい。更に、当業者であれば、ここに開示された構成及び処理の代わりに別のものを代用して、その結果として得られる実施形態が、ここに開示された実施形態と少なくとも実質的に同じやり方で、少なくとも実質的に同じ機能を果たして、少なくとも実質的に同じ効果を実現できることが分かるであろう。これに従って、本願は、これらの実施形態及びその他の実施形態を熟慮している。
なお、上述の実施形態の一部又は全部は、以下の付記のように記載され得るが、以下には限定されない。
（付記１）
カメラの視点からの拡張現実のシーンを再生する際に画像を表示装置に描画する方法であって、
前記拡張現実のシーンの境界を求めることと、
前記カメラのポーズの推定と前記シーンの前記境界とに従ってズーム係数を特定することと、
前記ズーム係数に従って前記カメラからの画像を前記表示装置に描画することと、
を含む前記方法。
（付記２）
視覚効果、音声効果及び触覚効果を含むグループから選択された効果を用いて、ユーザに前記カメラのポジションを示すことを含む、付記１に記載の方法。
（付記３）
前記ポジションが、前記拡張現実のシーンの少なくとも１つの要素に関連付けられた方向と重みとに従って特定される、付記２に記載の方法。
（付記４）
前記拡張現実のシーンが、前記カメラによって撮られた現実のシーンのオブジェクトに対応する非描画要素を含み、該要素が、前記拡張現実のシーンの前記境界を求める際に考慮に入れられる、付記１又は３に記載の方法。
（付記５）
前記カメラの狙い方向を、前記拡張現実のシーンの前記境界と前記ズーム係数とに従って制御することを含む、付記１から４のいずれか１項に記載の方法。
（付記６）
前記カメラが光学ズーム機能を備えており、前記方法は該光学ズーム機能を前記ズーム係数に従って制御することを含む、付記１から５のいずれか１項に記載の方法。
（付記７）
前記画像上のデジタル・ズームを前記ズーム係数に従って操作することを含む、付記１から６のいずれか１項に記載の方法。
（付記８）
前記境界が、前記拡張現実のシーンの全ての要素を包含するように定められる、付記１から７のいずれか１項に記載の方法。
（付記９）
カメラの視点からの拡張現実のシーンを再生する際に画像を描画するように構成されたディスプレイを有する装置であって、該装置が、少なくとも１つのプロセッサに関連付けられたメモリを備えており、前記少なくとも１つのプロセッサが、
前記拡張現実のシーンの境界を求め、
前記カメラのポーズの推定と前記シーンの前記境界とに従ってズーム係数を特定し、
前記ズーム係数に従って前記カメラからの画像を描画する、
ように構成されている、前記装置。
（付記１０）
視覚効果、音声効果及び触覚効果を含むグループから選択された効果を用いて、ユーザに前記カメラのポジションのインディケーションを送信するように構成された送信器を更に有する、付記９に記載の装置。
（付記１１）
前記ポジションが、前記拡張現実のシーンの少なくとも１つの要素に関連付けられた方向と重みとに従って特定される、付記１０に記載の装置。
（付記１２）
前記拡張現実のシーンが、前記カメラによって撮られた現実のシーンのオブジェクトに対応する非描画要素を含み、該要素が、前記拡張現実のシーンの前記境界を求める際に考慮に入れられる、付記９又は１１に記載の装置。
（付記１３）
前記プロセッサが、前記カメラの狙い方向を前記拡張現実のシーンの前記境界と前記ズーム係数とに従って制御するように更に構成されている、付記９から１２のいずれか１つに記載の装置。
（付記１４）
前記カメラが光学ズーム機能を備えており、前記プロセッサが、該光学ズーム機能を前記ズーム係数に従って制御するように更に構成されている、付記９から１３のいずれか１つに記載の装置。
（付記１５）
前記プロセッサが、前記画像上のデジタル・ズームを前記ズーム係数に従って操作するように更に構成されている、付記９から１４のいずれか１つに記載の装置。
（付記１６）
前記境界が、前記拡張現実のシーンの全ての要素を包含するように定められる、付記９から１５のいずれか１つに記載の装置。
（付記１７）
プロセッサによって実行される際に、付記１から８のいずれか１つに記載の、拡張現実のシーンを再生する際にカメラからの画像を表示装置に描画する方法のステップを実施するプログラム・コード命令を含む、通信ネットワークからダウンロード可能であり、及び／又は、コンピュータによって読み取り可能な媒体に記録されており、及び／又は、プロセッサによって実行可能である、コンピュータ・プログラム製品。

【図1】

【図2】

【図3】

【図4】

【図5a】

【図5b】

【図6】

【図7】

【図8】