▶ シュネーデル、エレクトリック、インダストリーズ、エスアーエスの特許一覧
特許7544484オフスクリーン関心地点（Ｐｏｉｎｔｓ ｏｆ Ｉｎｔｅｒｅｓｔ）を示すためのグラフィカル・ユーザ・インターフェース
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-26
(45)【発行日】2024-09-03
(54)【発明の名称】オフスクリーン関心地点（Ｐｏｉｎｔｓ ｏｆ Ｉｎｔｅｒｅｓｔ）を示すためのグラフィカル・ユーザ・インターフェース
(51)【国際特許分類】
G06T 19/00 20110101AFI20240827BHJP
G06F 3/01 20060101ALI20240827BHJP
G06F 3/0481 20220101ALN20240827BHJP
【ＦＩ】
G06T19/00 600
G06F3/01 510
G06F3/0481
【請求項の数】
9
【外国語出願】
(21)【出願番号】P 2020012463
(22)【出願日】2020-01-29
(65)【公開番号】P2020129370
(43)【公開日】2020-08-27
【審査請求日】2022-11-10
(31)【優先権主張番号】19305112.5
(32)【優先日】2019-01-30
(33)【優先権主張国・地域又は機関】EP
(73)【特許権者】
【識別番号】594083128
【氏名又は名称】シュネーデル、エレクトリック、インダストリーズ、エスアーエス
【氏名又は名称原語表記】ＳＣＨＮＥＩＤＥＲ ＥＬＥＣＴＲＩＣ ＩＮＤＵＳＴＲＩＥＳ ＳＡＳ
(74)【代理人】
【識別番号】100091487
【弁理士】
【氏名又は名称】中村 行孝
(74)【代理人】
【識別番号】100105153
【弁理士】
【氏名又は名称】朝倉 悟
(74)【代理人】
【識別番号】100107582
【弁理士】
【氏名又は名称】関根 毅
(74)【代理人】
【識別番号】100124372
【弁理士】
【氏名又は名称】山ノ井 傑
(74)【代理人】
【識別番号】100096921
【弁理士】
【氏名又は名称】吉元 弘
(72)【発明者】
【氏名】ドニ、モーラン
(72)【発明者】
【氏名】パトリック、ペレア
【審査官】橋爪 正樹
(56)【参考文献】
【文献】国際公開第２０１４／１６２８２５（ＷＯ，Ａ１）
【文献】特開２００５－１７４０２１（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １９／００
Ｇ０６Ｆ ３／０１
Ｇ０６Ｆ ３／０４８－ ３／０４８９５
(57)【特許請求の範囲】
【請求項1】
デバイス（２２０）上に拡張現実、ＡＲ、グラフィカル・ユーザ・インターフェース、ＧＵＩを表示する方法であって、前記デバイスが、関心地点、ＰｏＩの位置に関する情報にアクセスする処理を行い、下記のステップを含む動作、前記デバイスのカメラによって視覚データを獲得するステップ（４０１）、
前記カメラによって獲得された前記視覚データおよびＰｏＩの位置に関する前記情報に基づいて、オフスクリーンに配置されたＰｏＩを検出するステップ（４０２）、
検出された各オフスクリーンＰｏＩについて、前記ＰｏＩを中心とする所定の形状のゾーンを決定するステップ（４０３）であって、前記ゾーンは少なくとも部分的にオンスクリーンに配置される、決定するステップ（４０３）、
前記ゾーンのそれぞれの縁部の交差部分に対応するオンスクリーン頂点を決定するステップ（４０４）、
前記オンスクリーン頂点に基づいて連続曲線を決定するステップ（４０５、４０６、４０７）、
前記視覚データおよび前記連続曲線を重畳させることによってＧＵＩを表示するステップ（４０８）を有する動作を前記視覚データの獲得の間にリアルタイムで実行することにより、前記デバイス上に拡張現実、ＡＲ、グラフィカル・ユーザ・インターフェース、ＧＵＩを表示する方法。
【請求項2】
インデックスｉは連続的に頂点に起因するものであり、ｉは１からｎの間で変動し、ｎは頂点の数であり、インデックスｉの各頂点は、合併に基づいて決定される所与の位置および傾斜に関連付けられ、
ｉ＝１から始まる各インデックスｉについて、方法は、
インデックスｉ、ｉ＋１、およびｉ＋２の前記頂点の前記位置に基づいて、また、インデックスｉおよびｉ＋２の前記頂点の前記傾斜に基づいて、二次曲線を決定するステップ（４０６）、
曲線の一部を取得するために、前記二次曲線に基づいてインデックスｉおよびｉ＋１の前記頂点を接合するステップ、
前記連続曲線を取得するために、前記曲線の部分を集約するステップ（４０７）、
を、さらに備える、請求項１に記載の方法。
【請求項3】
前記方法は、前記デバイスの前記カメラによって新しい視覚データを獲得するステップ、
新しい視覚データに基づいて前記連続曲線を更新するステップ、および、
前記更新された連続曲線および前記新しい視覚データを重畳させることによって、前記ＧＵＩを更新するステップ、
を、さらに備える、請求項１又は２に記載の方法。
【請求項4】
前記オンスクリーン頂点は、前記オンスクリーンと前記ゾーンの合併との交差部分をさらに備える、請求項１乃至３のいずれか一項に記載の方法。
【請求項5】
各ゾーンのサイズは、前記ＰｏＩと前記オンスクリーンとの間、または前記ＰｏＩと前記デバイスとの間の距離に依存する、請求項１乃至４のいずれか一項に記載の方法。
【請求項6】
所与のＰｏＩと前記オンスクリーンとの間の前記距離は、前記所与のＰｏＩと前記スクリーン内側の矩形の最も近い縁部との間の距離であり、前記ゾーンは円形とし、前記円の半径は前記距離に等しい、請求項５に記載の方法。
【請求項7】
前記ＧＵＩは、前記連続曲線に対応するオフスクリーンＰｏＩの数を表す数値情報をさらに備える、請求項１乃至６のいずれか一項に記載の方法。
【請求項8】
コンピュータ・プログラムが記憶された非一時的コンピュータ可読記憶媒体であって、前記コンピュータ・プログラムは、プロセッサ（３０３）によって実行されたとき、請求項１から７のうちの一項に記載の方法の前記ステップを実施するための命令を備える、非一時的コンピュータ可読記憶媒体。
【請求項9】
拡張現実、ＡＲ、グラフィカル・ユーザ・インターフェース、ＧＵＩを表示するために構成されたスクリーン（２１０）を備えるデバイス（２２０）であって、前記デバイスは、関心地点、ＰｏＩの位置に関する情報にアクセスするために構成され、前記デバイスは、視覚データを獲得するために構成されたカメラ（３０１）と、
前記カメラによって獲得された前記視覚データおよび前記ＰｏＩの位置に関する前記情報に基づいて、オフスクリーンに配置されたＰｏＩを検出する処理のため、
検出された各オフスクリーンＰｏＩについて、前記ＰｏＩを中心とする所定の形状のゾーンを決定するためであって、前記ゾーンは少なくとも部分的にオンスクリーンに配置される、前記ゾーンを決定する処理のため、
前記ゾーンのそれぞれの縁部の交差部分に対応するオンスクリーン頂点を決定する処理のため、
前記オンスクリーン頂点に基づいて連続曲線を決定する処理のため、
前記視覚データおよび前記連続曲線を重畳させることによって前記スクリーン上にＧＵＩを表示する処理のために、
構成された、プロセッサ（３０３）と、
をさらに備え、前記プロセッサは、前記視覚データの獲得の間に前記処理を含む動作をリアルタイムで実行する、デバイス（２２０）。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、人間と機械の対話の向上に関し、特に、限定ではないが、関心地点、ＰｏＩの検出との関連において拡張現実を提供するハンドヘルド・デバイスを使用することに関する。
【背景技術】
【0002】
拡張現実、ＡＲは、実世界に存在する関心地点、ＰｏＩなどのオブジェクトが、時には、視覚、聴覚、触覚、体性感覚、および嗅覚を含む、複数の感覚様相全体にわたって、コンピュータ生成知覚情報によって増補される、実世界環境の対話型体験に存在する。下記では、視覚情報を使用する拡張現実の状況が考察される。
【0003】
例えば保守のために、拡張現実デバイスを伴う産業用機械に従事するオペレータの産業状況において、ユーザは、機械の周囲を歩き回り、様々な距離および様々な角度で立ち、ＰｏＩ上の手掛かりを探す。これは、ユーザがＰｏＩを容易に検出すること、および、ＰｏＩに向かって動的に誘導されることが、可能であることを必要とする。
【0004】
これは、ＰｏＩの位置情報をどのように示すかのみならず、ユーザによって取り扱われるデバイスおよびＰｏＩが表示されるべき機械の対話に起因した変化を反映させるためにデバイスのグラフィカル・ユーザ・インターフェース、ＧＵＩをどのように適合させるかの問題を生じる。
【0005】
ハンドヘルド・デバイスは限定サイズのスクリーンを有し、ユーザの読み取りが可能な相対的に大きなスケール（例えば、ズーム・イン）で情報を表示することが好ましい。しかしながら、スクリーンの表示エリアは関心のすべてのゾーンを表示するには小さすぎる場合があり、いくつかの関心地点は表示エリアの外側に配置されることがある。
【0006】
図１ａに示されるように、従来技術に従った第１のソリューションは、それぞれオフスクリーンＰｏＩを中心とする円のオンスクリーン部分を表示することを提案している。
【0007】
いくつかのＰｏＩ １００．１から１００．４はオフスクリーンに配置される。これは、ＰｏＩがデバイス１０１のカメラの視野の外側にあることを意味する。
【0008】
デバイスは、第１のＧＵＩ １０３が表示されるスクリーン１０２をさらに備える。図１ａに示されるように、ＧＵＩ １０３は、それぞれにＰｏＩ １００．１～１００．４のそれぞれを中心とする円のオンスクリーン部分を使用して、オフスクリーンＰｏＩ １００．１～１００．４を表す。しかしながら、高密度のＰｏＩの場合、円の一部は重なり合っているため、オフスクリーンＰｏＩに関する情報がユーザにとってかなり理解しにくいことになる。そこでユーザは、ＰｏＩがどこに配置されているかを想定する必要があるため、検出は長く面倒で煩雑な体験になる。
【0009】
図１ｂに示される従来技術に従った第２のソリューションは、第１のソリューションと同様であるが、代わりに円の三角部分を備えるＧＵＩ １０４を表示している。これは重なりを減少させるが、完全に解消しない。特に、ＰｏＩの密度が高い状況では、重なりは依然として生じる可能性があり、したがって第１のソリューションと同じ欠点はあらゆる状況で解消されない。
【0010】
従来技術に従った第３のソリューションが図１ｃに示されている。オフスクリーン・エリアを表すゾーンを備えるＧＵＩ １０５が、スクリーンの縁部に表示されている。オフスクリーンＰｏＩは、ゾーン内にそれぞれの地点１０６．１～１０６．４として表されている。しかしながら、高密度の場合、ゾーンは地点によってオーバーロードとなる可能性があるため、オフスクリーン情報がユーザによってかなり理解しにくいものとなる。したがって、最初の２つのソリューションの欠点は克服されない。
【0011】
したがって、これら最初の３つの従来技術ソリューションは、ＰｏＩの集約のないオフスクリーン視覚化システムに依拠する。
【0012】
さらなるソリューションは、オフスクリーンＰｏＩを集約させることを提案する。
【0013】
例えば、従来技術に従った第４のソリューションは、ＰｏＩの集約を伴うデバイス・スクリーン上でのオフスクリーン視覚化を提案する。第４のソリューションは、図１ｄを参照しながら例示される。
【0014】
この第４のソリューションによれば、オフスクリーンにある実際の空間はセルに分割され、同じセル内に配置されたＰｏＩは集約される。
【0015】
例えば、第１のセル１１１．１はオフスクリーンＰｏＩ １１０．１～１１０．４を備え、第２のセル１１１．２はオフスクリーンＰｏＩ １１０．５および１１０．６を備え、第３のセル１１１．３はＰｏＩ １１０．７、１１０．８、および１１０．９を備える。
【0016】
次いで、各セルに対応する円の一部としての円弧が、セルが備えるＰｏＩの数の指示を伴うＧＵＩ １１６として表示される。しかしながら、これは、ＰｏＩが所与のセル内のどこに配置されているかに関する指示は提供しない。また、セル１１１は固定されているため、２つのＰｏＩは互いに非常に近くに配置されているが、異なるセル内に配置されていることがあり、その場合、この第４のソリューションは状況の歪んだビューを与える。したがって、第４のソリューションは正確さに欠け、ＰｏＩを備える機械の周囲を歩くユーザによる正確な操作を妨げる。
【0017】
従来技術の第５のソリューションが、図１ｅを参照しながら示される。デバイス１２２のスクリーン１２１の外側に配置されたＰｏＩ １２０．１～１２０．４のクラスタの重心１２４が決定され、その中心としての重心を有する円のオンスクリーン部分を備えるＧＵＩ １２３が表示される。これは、高密度のＰｏＩの場合の重なりの問題を解決する。しかしながら、第４のソリューションの場合と同じく、クラスタ内のＰｏＩの位置について欠けている情報が存在する。これは、位置情報が、集約マーカーである円弧の下／内側に埋もれていることを意味する。
【発明の概要】
【発明が解決しようとする課題】
【0018】
従来技術のソリューションは、ＰｏＩの離間距離に関する情報を保持しながら、集約された様式でオフスクリーンＰｏＩの位置を示唆するＧＵＩの表示を可能にすることによって、依然として改良されることができる。特に、表示するＰｏＩの数およびそれらそれぞれの位置に応じて、ＰｏＩのより変動する表現を可能にする集約マーカーに対するニーズがある。セルまたは重心のいずれかの円を用いる従来技術は、円形アーチの湾曲を増加または減少させること、あるいは重なり合った円を作成することのみが可能である。
【課題を解決するための手段】
【0019】
本発明の第１の態様は、デバイス上に拡張現実、ＡＲ、グラフィカル・ユーザ・インターフェース、ＧＵＩを表示する方法に関し、関心地点、ＰｏＩの位置に関する情報にアクセスするデバイスは、下記の動作、
－当該デバイスのカメラによって視覚データを獲得すること、
－カメラによって獲得された視覚データおよびＰｏＩの位置に関する情報に基づいて、オフスクリーンに配置されたＰｏＩを検出すること、
－検出された各オフスクリーンＰｏＩについて、ＰｏＩを中心とする所定の形状のゾーンを決定することであって、当該ゾーンは少なくとも部分的にオンスクリーンに配置される、決定すること、
－それぞれのゾーンの縁部の交差部分に対応するオンスクリーン頂点を決定すること、
－オンスクリーン頂点に基づいて連続曲線を決定すること、
－視覚データおよび連続曲線を重畳させることによってＧＵＩを表示すること、
を備え、動作は、視覚データの獲得の間にリアルタイムで実行される。
－当該デバイスのカメラによって視覚データを獲得すること、
－カメラによって獲得された視覚データおよびＰｏＩの位置に関する情報に基づいて、オフスクリーンに配置されたＰｏＩを検出すること、
－検出された各オフスクリーンＰｏＩについて、ＰｏＩを中心とする所定の形状のゾーンを決定することであって、当該ゾーンは少なくとも部分的にオンスクリーンに配置される、決定すること、
－それぞれのゾーンの縁部の交差部分に対応するオンスクリーン頂点を決定すること、
－オンスクリーン頂点に基づいて連続曲線を決定すること、
－視覚データおよび連続曲線を重畳させることによってＧＵＩを表示すること、
を備え、動作は、視覚データの獲得の間にリアルタイムで実行される。
【0020】
連続曲線は、オフスクリーンＰｏＩの数およびそれらそれぞれの位置の両方を表するものであるため、これは、表示するＰｏＩの数およびそれらそれぞれの位置に応じて、ＰｏＩのより変動する表現を可能にする。
【0021】
いくつかの実施形態によれば、インデックスｉは連続的に頂点に起因するものとすることが可能であり、ｉは１からｎの間で変動し、ｎは頂点の数であり、インデックスｉの各頂点は、合併に基づいて決定される所与の位置および傾斜に関連付けられ、
ｉ＝１から始まる各インデックスｉについて、方法は、
インデックスｉ、ｉ＋１、およびｉ＋２の頂点の位置に基づいて、また、インデックスｉおよびｉ＋２の頂点の傾斜に基づいて、二次曲線を決定すること、
曲線の一部を取得するために、二次曲線に基づいてインデックスｉおよびｉ＋１の頂点を接合すること、
連続曲線を取得するために、曲線の部分を集約すること、
を、さらに備えることができる。
ｉ＝１から始まる各インデックスｉについて、方法は、
インデックスｉ、ｉ＋１、およびｉ＋２の頂点の位置に基づいて、また、インデックスｉおよびｉ＋２の頂点の傾斜に基づいて、二次曲線を決定すること、
曲線の一部を取得するために、二次曲線に基づいてインデックスｉおよびｉ＋１の頂点を接合すること、
連続曲線を取得するために、曲線の部分を集約すること、
を、さらに備えることができる。
【0022】
二次曲線を集約することによって取得される連続曲線は、ＰｏＩ間の離間距離に関する示唆を与える。実際に、所与の頂点における２つの連続する二次曲線の間の遷移が平滑な場合、曲線に対応する２つのＰｏＩが他のＰｏＩから遠く離れていることを意味する一方で、遷移が急激な場合、ＰｏＩが近いことを意味する。
【0023】
いくつかの実施形態によれば、方法は、
－デバイスのカメラによって新しい視覚データを獲得すること、
－新しい視覚データに基づいて連続曲線を更新すること、および、
－更新された連続曲線および新しい視覚データを重畳させることによって、ＧＵＩを更新すること、
を、さらに備えることができる。
－デバイスのカメラによって新しい視覚データを獲得すること、
－新しい視覚データに基づいて連続曲線を更新すること、および、
－更新された連続曲線および新しい視覚データを重畳させることによって、ＧＵＩを更新すること、
を、さらに備えることができる。
【0024】
連続曲線は、オペレータによるＡＲデバイスの動的取り扱いに従って、平滑に適合する。特に、ディスプレイ上の複数のオフスクリーンＰｏＩに向かうかまたは離れるようにナビゲートしながら、オフスクリーンＰｏＩまでの距離を反映するためにマーカー（連続曲線）が表示される手法を動的に適合させる様式が、強化されることができる。これに関連して、「平滑に」という用語は、表示されるマーカーを適合させる様式において、急激な遷移を減少させることを言い表し、「動的に」という用語は、マーカーの提示においてより多くの多様性を可能にすることを言い表す。
【0025】
いくつかの実施形態によれば、オンスクリーン頂点は、スクリーンとゾーンの合併との交差部分をさらに備えることができる。
【0026】
いくつかの実施形態によれば、各ゾーンのサイズは、ＰｏＩとスクリーンとの間、またはＰｏＩとデバイスとの間の距離に依存することができる。
【0027】
これは、ゾーンとスクリーンとの交差部分がゼロではないこと、および、したがって、表示されるＧＵＩが、スクリーンからさらに遠く離れている場合であってもすべてのＰｏＩに依存することを、保証することを可能にする。
【0028】
補足として、所与のＰｏＩとスクリーンとの間の距離は、所与のＰｏＩとスクリーン内側の矩形の最も近い縁部との間の距離であり、ゾーンは円形とすることができ、円の半径は距離に等しいものとすることができる。
【0029】
これは、スクリーン内の連続曲線は決して矩形を貫通しないため、侵入を制限することを可能にする。
【0030】
いくつかの実施形態によれば、ＧＵＩは、連続曲線に対応するオフスクリーンＰｏＩの数を表す数値情報をさらに備えることができる。
【0031】
これは、ユーザによるＡＲデバイスの操作を容易にすることを可能にする。ＧＵＩが異なる方向にいくつかの連続曲線を備える場合、ＧＵＩは各連続曲線について１つの数値情報を備えることができる。
【0032】
本発明の第２の態様は、コンピュータ・プログラムが記憶された非一時的コンピュータ可読記憶媒体に関し、コンピュータ・プログラムは、プロセッサによって実行されたとき、本発明の第１の態様に従った方法のステップを実施するための命令を備える。
【0033】
本発明の第３の態様は、拡張現実、ＡＲ、グラフィカル・ユーザ・インターフェース、ＧＵＩを表示するために構成されたスクリーンを備えるデバイスに関し、デバイスは、関心地点、ＰｏＩの位置に関する情報にアクセスするために構成され、デバイスは、
視覚データを獲得するために構成されたカメラと、
－カメラによって獲得された視覚データおよびＰｏＩの位置に関する情報に基づいて、オフスクリーンに配置されたＰｏＩを検出するため、
－検出された各オフスクリーンＰｏＩについて、ＰｏＩを中心とする所定の形状のゾーンを決定するためであって、当該ゾーンは少なくとも部分的にオンスクリーンに配置される、前記ゾーンを決定するため、
－それぞれのゾーンの縁部の交差部分に対応するオンスクリーン頂点を決定するため、
－オンスクリーン頂点に基づいて連続曲線を決定するため、
－視覚データおよび連続曲線を重畳させることによってスクリーン上にＧＵＩを表示するためであって、視覚データの獲得の間に動作がリアルタイムで実行される、前記ＧＵＩを表示するために、
構成されたプロセッサと、
をさらに備える。
視覚データを獲得するために構成されたカメラと、
－カメラによって獲得された視覚データおよびＰｏＩの位置に関する情報に基づいて、オフスクリーンに配置されたＰｏＩを検出するため、
－検出された各オフスクリーンＰｏＩについて、ＰｏＩを中心とする所定の形状のゾーンを決定するためであって、当該ゾーンは少なくとも部分的にオンスクリーンに配置される、前記ゾーンを決定するため、
－それぞれのゾーンの縁部の交差部分に対応するオンスクリーン頂点を決定するため、
－オンスクリーン頂点に基づいて連続曲線を決定するため、
－視覚データおよび連続曲線を重畳させることによってスクリーン上にＧＵＩを表示するためであって、視覚データの獲得の間に動作がリアルタイムで実行される、前記ＧＵＩを表示するために、
構成されたプロセッサと、
をさらに備える。
【0034】
さらに、本発明の目的、態様、効果、および詳細は、いくつかの例示的実施形態の下記の詳細な説明において、図面を参照しながら説明される。
【0035】
添付の図面を参照しながら、単なる例として、本開示の実施形態が説明される。
【図面の簡単な説明】
【0036】
【図1a】従来技術に従ったＧＵＩを表す図である。
【図1b】従来技術に従ったＧＵＩを表す図である。
【図1c】従来技術に従ったＧＵＩを表す図である。
【図1d】従来技術に従ったＧＵＩを表す図である。
【図1e】従来技術に従ったＧＵＩを表す図である。
【図2a】本発明のいくつかの実施形態に従ったＧＵＩを示す図である。
【図2b】本発明のいくつかの実施形態に従ったＧＵＩを示す図である。
【図2c】本発明のいくつかの実施形態に従ったＧＵＩを示す図である。
【図2d】本発明のいくつかの実施形態に従ったＧＵＩを示す図である。
【図2e】本発明のいくつかの実施形態に従ったＧＵＩを示す図である。
【図2f】本発明のいくつかの実施形態に従ったＧＵＩを示す図である。
【図2g】本発明のいくつかの実施形態に従ったＧＵＩを示す図である。
【図3】本発明のいくつかの実施形態に従ったデバイスの構造を示す図である。
【図4】本発明のいくつかの実施形態に従った方法のステップを示す図である。
【発明を実施するための形態】
【0037】
【0038】
図２ａに示されるように、４つのＰｏＩ ２００．１、２００．２、２００．３、および２００．４は、デバイス２２０に対して、特にデバイス２２０のスクリーン２１０に対して識別および配置される。
【0039】
ＰｏＩ ２００．１がオンスクリーンに配置されるのに対して、ＰｏＩ ２００．２、２００．３、および２００．４はオフスクリーンに配置される。説明されたように、本発明は、ＰｏＩの離間距離に関する情報を保持しながら、および、ＰｏＩの数、それらそれぞれの距離に依存しながら、集約された様式でオフスクリーンＰｏＩの位置を示唆するために表示されるＧＵＩを改良し、それによって、ユーザによるデバイスの操作を正確にすることを可能にすることを目標とする。
【0040】
次に図２ｂを参照すると、オフスクリーンＰｏＩ ２００．２、２００．３、および２００．４に最も近いスクリーン２１０の縁部は２０２と呼ばれる。
【0041】
本発明によれば、所定の形状でありＰｏＩを中心とするゾーンが計算され、当該ゾーンは少なくとも部分的にオンスクリーンに配置される。例えば、図２ｂに示されるように、所定の形状は円とすることができる。ゾーンは、それぞれＰｏＩ ２００．２、２００．３、および２００．４に対応して、２０１．２、２０１．３、および２０１．４と呼ばれる。
【0042】
各ゾーンのサイズは、ゾーンの少なくとも一部がオンスクリーンに配置されるようなサイズである。円形ゾーンの場合、これは、ゾーンの半径が、オフスクリーンＰｏＩとスクリーン２１０の縁部２０２との間の距離よりも大きいことを意味する。例えば、ゾーンの半径は、ゾーンに対応するＰｏＩと線２０３との間の距離に等しいとすることができる。線２０３は、スクリーン２１０の内側に配置された（図２ｇで２０９と呼ばれる）矩形の４辺のうちの（ＰｏＩ ２００．２から２００．４から最も近い）１辺とすることができ、矩形の外側にあるスクリーンのゾーンは、オフスクリーンＰｏＩに関する情報の表示専用とされることができる。下記の説明においてより良く理解されるように、ゾーンが入っていないスクリーン内側の矩形を事前に定義することが、スクリーン内への曲線の侵入を制限することを可能にする。
【0043】
円形ゾーン２０１．１は、オンスクリーンＰｏＩ ２００．１の周囲にも表される。本発明に従った円形ゾーン２０１．１のサイズには、何の制約も加えられない。
【0044】
図２ｂに示されるように、いくつかのＰｏＩが互いの近くに配置されるとき、それらのゾーンは互いに重なり合うことができる。
【0045】
図２ｃを参照すると、４つのゾーン２０１．１から２０１．４の縁部の間、および、４つのゾーンの縁部とスクリーンとの間の、交差部分は２０４と呼ばれる。
【0046】
図２ｄを参照すると、スクリーン上にあり、また、スクリーンと４つのゾーンの合併との間の交差部分の頂点である交差部分が選択され、インデックスｉに関連付けられることができ、ｉは１からＮの間で変動し、Ｎはオンスクリーン頂点の数である。したがって、交差部分２０５．１（インデックス１）、２０５．２、２０５．３、２０５．４、２０５．５、および２０５．６を取得し、Ｎは６に等しい。図２ａから図２ｇは例示の目的で与えられ、本発明の範囲を制限せず、本発明の範囲はＰｏＩの任意の分布およびゾーン２０１の任意の形状に適用されることができることが理解される。
【0047】
図２ｅを参照すると、ゾーン２０１の合併のオンスクリーン縁部が提示され、２０６と呼ばれる。本発明のいくつかの実施形態によれば、合併のオンスクリーン縁部は、デバイスのカメラによって獲得された視覚データと重畳されることができる連続曲線を形成する。
【0048】
ゾーンの合併の縁部がオフスクリーンＰｏＩの数およびそれぞれの位置に関する情報を与えるため、結果として生じるＧＵＩ上に表示される連続曲線は、ＰｏＩの離間距離に関する情報を保持しながら、集約された様式でオフスクリーンＰｏＩの位置を示唆する。縁部（円の一部）の数は、オフスクリーンＰｏＩの数に関する情報を提供し、縁部の湾曲は、オフスクリーンＰｏＩからのそれぞれの距離に関する情報を提供する。
【0049】
これが、ユーザによって取り扱われるとき、ＧＵＩをデバイスの位置／配向の修正に応答させる。
【0050】
したがって、ＧＵＩは、簡潔な様式でＰｏＩの位置を示唆し、ユーザによる動的な取り扱いに従って平滑に適合する。
【0051】
特に、ディスプレイ上の複数のオフスクリーンＰｏＩに向かうかまたは離れるようにナビゲートしながら、オフスクリーンＰｏＩまでの距離を反映するためにＧＵＩが表示される手法を動的に適合させる様式が、本発明に従って強化されることができる。
【0052】
これに関連して、「平滑に」という用語は、表示されるＧＵＩを適合させる様式において、急激な遷移を減少させることを言い表し、「動的に」という用語は、マーカー（すなわち、結果として生じる曲線を形成する、縁部の湾曲、サイズ、および数）の提示においてより多くの多様性を可能にすることを言い表す。
【0053】
本発明の上記の利点を強化する補足的な実施形態によれば、連続曲線は、カメラによって獲得された視覚データと共に表示される前に修正されることができる。
【0054】
このため、ｉ＝１で始まる各インデックスｉについて、本発明のいくつかの実施形態に従った方法は、
インデックスｉ、ｉ＋１、およびｉ＋２の頂点の位置に基づいて、また、インデックスｉおよびｉ＋２の頂点の傾斜に基づいて、二次曲線を計算すること、
結果として生じる連続曲線を修正するために、二次曲線に基づいてインデックスｉおよびｉ＋１の頂点を接合すること、
を、さらに備えることができる。
インデックスｉ、ｉ＋１、およびｉ＋２の頂点の位置に基づいて、また、インデックスｉおよびｉ＋２の頂点の傾斜に基づいて、二次曲線を計算すること、
結果として生じる連続曲線を修正するために、二次曲線に基づいてインデックスｉおよびｉ＋１の頂点を接合すること、
を、さらに備えることができる。
【0055】
これが、修正された連続曲線が、（元の結果として生じる連続曲線に比べて）連続傾斜を有することを可能にする。
【0056】
図２ｆを参照すると、頂点ＡおよびＣは、連続インデックスを有する２つの頂点２０５であると想定することができる。頂点ＡおよびＣは、事前に計算された合併に基づいて決定されることができる、それぞれの位置（例えば、スクリーンの座標系における座標）およびそれぞれの傾斜ｔ１およびｔ３を有する。
【0057】
それぞれの位置およびそれぞれの傾斜に基づいて、位置および傾斜ｔ２を有する各地点Ｂが二次曲線に属するように、頂点ＡおよびＣを接合する二次曲線が一意に決定されることが可能である。頂点ＡとＣとの間の合併のオンスクリーン縁部は、連続曲線を修正するために、二次曲線によって置き換えられることができる。
【0058】
すべてのインデックスについてこれらの計算が実行されると、連続曲線は図２ｇに示されるように修正される。修正された連続曲線は２０７と呼ばれる。
【0059】
以前に説明されたように、ゾーンの半径は、修正された曲線２０７（または曲線２０６）がスクリーン内に配置される事前に定義された矩形２０９を貫通しないような半径である。これにより、スクリーン内側の曲線２０６または２０７の侵入を制限できるようにする。
【0060】
修正された連続曲線は、ＰｏＩ間の離間距離に関する示唆を与える。実際に、所与の頂点での２つの連続する二次曲線間の遷移が平滑である場合は、曲線に対応する２つのＰｏＩが他のＰｏＩから遠く離れていることを意味するが、遷移が急激である場合は、ＰｏＩが近いことを意味する。
【0061】
連続曲線（修正されたかまたはされていない）は、オフスクリーンＰｏＩの数を表す数値情報２０８も備えることができる。例えば、数値情報２０８は、
－オンスクリーンおよびオフスクリーンのＰｏＩを含む、連続曲線に対応する（すなわち、連続曲線が決定されるときに基づくものにされる）ＰｏＩの総数、および／または、
－オンスクリーンおよびオフスクリーンのＰｏＩを含む、連続に対応するオフスクリーンＰｏＩの総数、
であるとすることができる。
－オンスクリーンおよびオフスクリーンのＰｏＩを含む、連続曲線に対応する（すなわち、連続曲線が決定されるときに基づくものにされる）ＰｏＩの総数、および／または、
－オンスクリーンおよびオフスクリーンのＰｏＩを含む、連続に対応するオフスクリーンＰｏＩの総数、
であるとすることができる。
【0062】
図３は、本発明のいくつかの実施形態に従ったデバイス２２０を示す。
【0063】
デバイス２２０は、限定ではないが、好ましくは、スマートフォン、タッチパッド、または、例えば眼鏡などのウェアラブルデバイスなどの、ハンドヘルド・デバイスである。代替として、デバイス２２０は、コンピュータの他の要素とは独立にユーザによって操作されることが可能な、ポータブル・カメラを備えるラップトップまたはデスクトップ・コンピュータであるとすることができる。
【0064】
デバイス２２０は、タッチ・スクリーンとすることも可能であり、したがって、ユーザ・インターフェースとしても動作する、スクリーン２１０を備える。代替として、スクリーン２１０がタッチ・スクリーンではない場合、デバイス２２０は、英数字データなどの、またはカーソルを移動させるためのコマンドなどの、ユーザ入力を受信するように構成された、別のユーザ・インターフェースを備えることができる。
【0065】
デバイス２２０は、図３を参照しながら説明されるように、および図１に示されるように、本発明に従った方法の動作を実施するように構成されたプロセッサ３０３を、さらに備える。プロセッサ３０３は、１つまたはいくつかの通信バスを介して、一方向または二方向にメモリ３０２と通信することができる。メモリ３０２は、ランダム・アクセス・メモリ、ＲＡＭ、読み取り専用メモリ、ＲＯＭ、または、フラッシュ、ＥＥＰＲＯＭなどの任意の他のタイプメモリであるとすることができる。メモリ３０２は、本発明に従った方法の実装によって使用および／または生成されるデータの少なくとも一部を、永続的または一時的に記憶するために構成される。特に、メモリは、ＰｏＩの位置に関する情報、および特にＰｏＩの（３次元座標などの）位置座標を記憶することができる。代替として、位置情報はリモート・サーバに記憶されることができ、デバイス２２０は通信ネットワークを介してリモート・サーバにアクセスすることができる。
【0066】
代替として、プロセッサ３０３およびメモリ３０２は、本発明に従った方法の動作の実行専用である電子回路によって置き換えられることができる。
【0067】
デバイス２２０は、視覚データをリアルタイムで獲得するために構成されたカメラ３０１をさらに備える。視覚データは、ＧＵＩを形成するために結果として生じる曲線と重畳されることができる。カメラ３０１は、好ましくはデバイス２２０のメイン・カメラ（すなわち、スクリーンの反対側に配置されたカメラ）である。
【0068】
デバイス２２０は、デバイス２２０を配置するため、またはデバイス２２０の角度を取得するためのセンサなどの、センサ３０５をさらに備えることができる。このため、センサ３０５は、加速度計および／またはジャイロスコープであるとすることができる。
【0069】
図４は、本発明のいくつかの実施形態に従った方法のステップを示すフローチャートである。
【0070】
ステップ４０１において、視覚データはデバイス２２０のカメラ３０１によって獲得される。ステップ４０１は、ＧＵＩが視覚データをリアルタイムで表示できるように、連続して実行されることができる。このため、視覚データはビデオ・レートで獲得されることができる。「リアルタイム」で、とは、視覚データが獲得されるとすぐに（もちろん、処理時間に起因する遅延を考慮して）ＧＵＩ上に表示されることを意味する。代替として、視覚データは、好ましくはＧＵＩがデバイスの操作に応答するように高い、所与の周波数（例えば、少なくとも毎秒１フレーム）で獲得された静的フレームを備えることができる。
【0071】
ステップ４０２において、ＰｏＩは、デバイス２２０に対して識別および配置される。ＰｏＩを配置するために使用される方法には何の制約も加えられず、また特に、周知の方法が適用されることができる。ＰｏＩの位置は、デバイス２２０のメモリ３０２に記憶された３次元モデルを、デバイスの現行の位置／配向と比較することに依拠することができる。デバイス２２０は、センサ３０５から発行されたセンサ・データの、および／または、カメラ３０１によってまたはＧＰＳデータを介して獲得された視覚データの、使用により、３次元モデル内に配置されることができる。
【0072】
例えば、いくつかの既知のＡＲ技術は、同時位置決め地図作成（ＳＬＡＭ）と呼ばれ、測定ユニット（加速度計、ジャイロスコープ、磁力計）およびカメラから発行されるセンサ・データに依拠する。これは、奥行き知覚、運動追跡、およびエリア学習などの、３つの機能の組み合わせを含むことができる。デバイスの位置および配向は、ＩＭＵ（慣性計測ユニット）を使用して追跡される。他のＡＲ技術は、単一のカメラおよびセンサ追跡、またはＧＰＳベース追跡に依拠することができる。
【0073】
ステップ４０３において、方法は、検出された各オフスクリーンＰｏＩについて、ＰｏＩを中心とする所定の形状のゾーンを決定することを備え、ゾーンは、例えば図２ｂに示されるように、少なくとも部分的にオンスクリーンに配置される。所定の形状は、円、またはより一般的には、例えば楕円とすることができる。「中心とする」とは、ゾーンの縁部がＰｏＩの位置に関して示唆するように、ＰｏＩがゾーンの内側に配置されることを意味する。
【0074】
ステップ４０４において、方法は、それぞれのゾーンの縁部の交差部分に対応するオンスクリーン頂点を決定することを備える。頂点は、図２ｅの頂点２０６に対応することができる。オンスクリーン頂点２０６を決定することは、オフスクリーンＰｏＩに対応するゾーンの、また任意選択として、オンスクリーンＰｏＩに対応するゾーンの、合併を決定することを備えることができる。
【0075】
ステップ４０５において、連続曲線はオンスクリーン頂点に基づいて決定される。曲線は、決定された合併の縁部を備えることができるか、または、図２ｆおよび図２ｇを参照しながら説明されたように、修正された連続曲線とすることができる。修正された連続曲線を使用する実施形態において、方法は、ステップ４０６および４０７をさらに備える。ステップ４０６は、事前に１からＮまでのインデックスが付けられた、頂点の結合のための二次曲線を決定することを備え、Ｎはオンスクリーン頂点の数である。次いで、各インデックスｉについて、インデックスｉとｉ＋１の頂点の間の修正された連続曲線の一部は、２次曲線に基づいて取得される。
【0076】
ステップ４０７において、修正された連続曲線を取得するために、曲線の部分が集約される。上記で説明されたように、ステップ４０６および４０７は任意選択である。
【0077】
ステップ４０８において、ＧＵＩは、ステップ４０４において決定されたオンスクリーン頂点およびステップ４０１において獲得された視覚データに基づいて表示される。例えば、視覚データは、
－ステップ４０５において計算された合併のオンスクリーン縁部、または、
－ステップ４０７において決定された連続曲線、
と、重畳されることができる。
－ステップ４０５において計算された合併のオンスクリーン縁部、または、
－ステップ４０７において決定された連続曲線、
と、重畳されることができる。
【0078】
ＧＵＩは、上記で説明されたように、数値情報２０８をさらに備えることができる。
【0079】
次いでステップは反復され、次の反復において、ＧＵＩは、新しい視覚データ、および、デバイス２２０の新しい位置に基づいて決定された新しい連続曲線に基づいて更新される。
【0080】
これらのステップまたは動作は、ＡＲ ＧＵＩを提供するためのカメラによる視覚データの獲得の間にリアルタイムで実行される。
【0081】
上記では、本発明は特定の実施形態を参照しながら説明されたが、本明細書に記載された特定の形に限定されることは意図されていない。むしろ、本発明は添付の特許請求によってのみ限定され、特定の上記以外の他の実施形態は、これらの添付の特許請求の範囲の範囲内で等しく可能である。
【0082】
さらに、例示の実施形態は、構成要素および／または機能のいくつかの例示の組み合わせにおいて説明されたが、本開示の範囲から逸脱することなく、代替の実施形態が、部材および／または機能の異なる組み合わせによって提供されることができることを理解されたい。加えて、個別にまたは実施形態の一部として説明された特定の特徴は、他の個別に説明された特徴、または他の実施形態の一部と組み合わせられることが可能であることが、特に企図される。
【符号の説明】
【0083】
４０１ 視覚データを獲得する
４０２ ＰｏＩを識別する
４０３ ゾーンを決定する
４０４ 頂点を決定する
４０５ 曲線を取得する
４０６ 二次曲線
４０７ 修正された曲線
４０８ ＧＵＩを表示する
４０２ ＰｏＩを識別する
４０３ ゾーンを決定する
４０４ 頂点を決定する
４０５ 曲線を取得する
４０６ 二次曲線
４０７ 修正された曲線
４０８ ＧＵＩを表示する
【図1a】
【図1b】
【図1c】
【図1d】
【図1e】
【図2a】
【図2b】
【図2c】
【図2d】
【図2e】
【図2f】
【図2g】
【図3】
【図4】
