特許 6013583 有効インターフェース要素の強調のための方式

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6013583

(24)【登録日】2016年9月30日

(45)【発行日】2016年10月25日

(54)【発明の名称】有効インターフェース要素の強調のための方式

(51)【国際特許分類】

   G06F 3/0481 20130101AFI20161011BHJP

   G09G 5/00 20060101ALI20161011BHJP

   G09G 5/38 20060101ALI20161011BHJP

【ＦＩ】

   G06F3/0481 150

   G09G5/00 530H

   G09G5/00 510H

   G09G5/00 550C

   G09G5/38 Z

【請求項の数】13

【全頁数】24

(21)【出願番号】特願2015-500562(P2015-500562)

(86)(22)【出願日】2013年3月13日

(65)【公表番号】特表2015-516624(P2015-516624A)

(43)【公表日】2015年6月11日

(86)【国際出願番号】US2013030965

(87)【国際公開番号】WO2013138489

(87)【国際公開日】20130919

【審査請求日】2014年11月11日

(31)【優先権主張番号】13/418,523

(32)【優先日】2012年3月13日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】506223509

【氏名又は名称】アマゾン・テクノロジーズ、インコーポレイテッド

(74)【代理人】

【識別番号】100108855

【弁理士】

【氏名又は名称】蔵田 昌俊

(74)【代理人】

【識別番号】100109830

【弁理士】

【氏名又は名称】福原 淑弘

(74)【代理人】

【識別番号】100103034

【弁理士】

【氏名又は名称】野河 信久

(74)【代理人】

【識別番号】100075672

【弁理士】

【氏名又は名称】峰 隆司

(74)【代理人】

【識別番号】100140176

【弁理士】

【氏名又は名称】砂川 克

(72)【発明者】

【氏名】グレイ、ティモシー・ティー．

(72)【発明者】

【氏名】プリベット、マーク・アール．

【審査官】 円子 英紀

(56)【参考文献】

【文献】 特開２０１０−０９２４３０（ＪＰ，Ａ）

【文献】 特開２０１１−２０９８５４（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１２／００３６４３３（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１０／０２９５９５８（ＵＳ，Ａ１）

【文献】 特開２００４−３１８３２５（ＪＰ，Ａ）

【文献】 特開２００４−１９２２９４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０４８−３／０４８９

Ｇ０９Ｇ ５／００

Ｇ０９Ｇ ５／３８

(57)【特許請求の範囲】

【請求項1】

コンピュータ実装方法であって、実行可能命令を備えて構成された１つ以上のコンピューティングシステムの制御の下で、
コンピューティングデバイスの表示スクリーン上に表示されるグラフィカルインターフェースを決定することであって、前記グラフィカルインターフェースは有効層および少なくとも１つの他の層を有し、前記有効層は前記グラフィカルインターフェース内の前記少なくとも１つの他の層の上に位置付けされるように見えるようにレンダリングされる、決定することと、
前記グラフィカルインターフェースの一部として前記表示スクリーン上に複数のフィールドを表示することであって、前記複数のフィールドが前記少なくとも１つの他の層に関連付けられる、表示することと、
選択されたフィールドが有効になるように、前記コンピューティングデバイスのユーザから前記選択されたフィールドを受けることと、
前記選択されたフィールドを前記有効層と関連付けて、前記選択されたフィールドの外観を前記有効層に対応し、前記選択されたフィールドを、前記表示スクリーンの表面に対して、前記複数のフィールドの選択されないフィールドよりも前記ユーザにより近い距離であるかのように見えさせるように調整することであって、前記選択されたフィールドは、前記有効層と関連付けられたときにユーザからテキスト入力を受け取ることのできる、調整することと、を含む、コンピュータ実装方法。

【請求項2】

前記フィールドのうちの１つの選択に応答して、前記有効層と以前に関連付けられていた以前に有効であったフィールドを、前記少なくとも１つの他の層と関連付けられるようにして、前記以前に有効であったフィールドの外観を前記少なくとも１つの他の層に対応するように調整することをさらに含む、請求項１に記載のコンピュータ実装方法。

【請求項3】

前記以前に有効であったインターフェース要素の前記外観を調整することは、前記フィールドの大きさ、形状、色、陰影、またはぼかしのうちの少なくとも１つを調整することを含む、請求項２に記載のコンピュータ実装方法。

【請求項4】

前記コンピューティングデバイスのユーザの相対位置を判定することと、
前記ユーザの前記判定された相対位置に少なくとも部分的に基づく外観を用いて、前記グラフィカルインターフェースの前記有効層および前記少なくとも１つの他の層に関連付けられたフィールドをレンダリングすることと、をさらに含む、請求項１に記載のコンピュータ実装方法。

【請求項5】

前記ユーザの前記相対位置を判定することは、前記コンピューティングデバイスの少なくとも１つのカメラを使用して画像情報を捕獲し、前記捕獲された画像情報を分析して前記ユーザの前記相対位置を判定することを含む、請求項４に記載のコンピュータ実装方法。

【請求項6】

前記グラフィカルインターフェースの表示中に、追加の画像情報を捕獲することと、
前記追加の画像情報を分析し、前記ユーザの前記相対位置の変化を判定することと、
前記有効層または前記少なくとも１つの他の層のうちの少なくとも１つの前記レンダリングを、前記有効層に関連付けられた前記選択されたフィールドが、前記ユーザの現在の相対位置から、前記少なくとも１つの他の層に関連付けられた前記選択されないフィールドの上方に距離を置いたままに見えるように調整することと、をさらに含む、請求項５に記載のコンピュータ実装方法。

【請求項7】

前記コンピューティングデバイスの少なくとも１つのセンサを使用して、前記コンピューティングデバイスの向きまたは位置のうちの少なくとも１つにおける変化を検出することと、
前記検出された変化に少なくとも部分的に基づき、前記ユーザの現在の相対位置を判定することと、
前記有効層または前記少なくとも１つの他の層のうちの少なくとも１つの前記レンダリングを、前記有効層に関連付けられた前記選択されたフィールドが、前記ユーザの前記現在の相対位置から、前記少なくとも１つの他の層に関連付けられた前記選択されないフィールドの上方に距離を置いたままに見えるように調整することと、をさらに含む、請求項５に記載のコンピュータ実装方法。

【請求項8】

ユーザの前記相対位置を判定することは、前記ユーザの少なくとも１つの顔特徴の相対位置を判定することを含む、請求項４に記載のコンピュータ実装方法。

【請求項9】

コンピューティングデバイスであって、
プロセッサと、
表示画面と、
命令を含むメモリと、を備え、前記命令は、前記プロセッサによって実行されるとき、前記コンピューティングデバイスに、
グラフィカルインターフェースを前記表示画面上での表示のためにレンダリングすることであって、前記グラフィカルインターフェースは複数のフィールドを含み、前記複数のフィールドの各々は、それが有効になったとき、前記コンピューティングデバイスのユーザからテキスト入力を受けることができる、レンダリングすることと、
選択されたフィールドが有効になるように、前記コンピューティングデバイスのユーザから前記選択されたフィールドを受け取ることと、
前記コンピューティングデバイスに対する前記ユーザの現在の相対位置を判定することと、
前記ユーザの前記現在の相対位置に少なくとも一部は基づき、前記選択されたフィールドが、少なくとも１つの他の選択されないフィールドよりも前記ユーザにより近い距離であるかのように見えるように前記選択されたフィールドのレンダリングを調整することと、
前記選択されたフィールドのために、ユーザからテキスト入力を受けることと、
を行わせる、コンピューティングデバイス。

【請求項10】

前記ユーザの少なくとも一部分の画像を捕獲するように位置付けされたカメラであって、前記現在の相対位置は、前記コンピューティングデバイスの前記プロセッサを使用して、少なくとも部分的に前記捕獲された画像を分析することによって判定される、カメラ、をさらに備える、請求項９に記載のコンピューティングデバイス。

【請求項11】

前記コンピューティングデバイスの向きまたは位置のうちの少なくとも１つにおける変化を検出するように構成されたセンサであって、前記現在の相対位置は、前記コンピューティングデバイスの前記プロセッサを使用して、少なくとも部分的に、前記検出された変化を分析することによって判定される、センサ、をさらに備える、請求項９に記載のコンピューティングデバイス。

【請求項12】

前記テキスト入力のために、前記ユーザからの音声入力を受諾するように構成されたマイクロホンであって、前記選択されたフィールドは、前記選択されたフィールドのためにオーディオ入力が提供されることができることを表示するグラフィカル要素を含むことができる、マイクロホン、をさらに備える、請求項９に記載のコンピューティングデバイス。

【請求項13】

前記表示画面は接触感知型であり、前記選択されたフィールドを受けることは、前記表示画面との接触を通して受け取られることができる、請求項９に記載のコンピューティングデバイス。

【発明の詳細な説明】

【背景技術】

【0001】

人々は様々な目的のために可搬型コンピューティングデバイスをますます利用している。これらのデバイスの小型携帯という要因およびレンダリングされる情報の量等の要因により、ユーザにとってどのインターフェースが有効で、入力を受け取ることができるかを判定することはしばしば困難となる可能性がある。ユーザにとって、ユーザが適切な要素を選択したことを確実にすることも困難となる可能性があり、それは、ユーザの指のレンダリングされる要素に対する相対的大きさが、望まれる要素を正確に選択するのを困難にする可能性があるからである。これらの問題は、軸のずれた視角において悪化され得、それは例えば、デバイスがテーブルの上に平らに置かれた場合や、そうでなければユーザが他にデバイスの真正面以外の位置に位置付けされた場合である。

【0002】

本開示に従って種々の実施形態が、図面を参照して記述される。

【図面の簡単な説明】

【0003】

【図1】ユーザが様々な実施形態に従って内容を閲覧し、コンピューティングデバイスと対話可能な状況例を図解する。

【図2】様々な実施形態に従って提供できるインターフェース表示例を図解する。

【図3(a)】図３（ａ）は、様々な実施形態に従ってレンダリングされることができるインターフェースの様々な状態を図解する。

【図3(b)】図３（ｂ）は、様々な実施形態に従ってレンダリングされることができるインターフェースの様々な状態を図解する。

【図4(a)】図４（ａ）は、様々な実施形態に従って利用され得る、ユーザの相対位置を判定するための方式例を図解する。

【図4(b)】図４（ｂ）は、様々な実施形態に従って利用され得る、ユーザの相対位置を判定するための方式例を図解する。

【図5(a)】図５（ａ）は、様々な実施形態に従って利用され得るデバイスの動きを判定するための方式例を図解する。

【図5(b)】図５（ｂ）は、様々な実施形態に従って利用され得るデバイスの動きを判定するための方式例を図解する。

【図6】様々な実施形態に従って使用され得るジェスチャ入力を可能にするためのプロセス例を図解する。

【図7】様々な実施形態の態様を実現するために使用され得るデバイス例を図解する。

【図8】図７に図解されるようなデバイスで使用され得る構成部品例を図解する。

【図9】様々な実施形態が実現され得る環境例を図解する。

【発明を実施するための形態】

【0004】

本開示の様々な実施形態に従うシステムおよび方法は、ユーザが電子デバイスと対話するのを可能にするための従来の方式で体験される１つ以上の前述のおよび他の欠点を克服し得る。特に、様々な方式は、ユーザの現在相対位置と一貫する視点を使用してインターフェースがレンダリングされることを可能にする。さらに、様々な実施形態は有効インターフェース要素をそれらのインターフェースのレンダリングにおいて、例えば、有効要素を、三次元表示または二次元表示要素上の疑似三次元レンダリングの表示画面の前面に向かって「前方に」もってくることによって、強調することを可能とする。ユーザの相対位置は、コンピューティングデバイスの少なくとも１つのカメラを使用して、画像情報を捕獲することにより、そしてその画像情報を分析してユーザの頭または目のデバイスに対する相対位置を判定することによって、判定することができる。コンピューティングデバイスの向きおよび／または位置の変化は、デバイスの少なくとも１つの動きセンサを使用しても監視することでき、その目的は、カメラによって捕獲された画像情報を使用して他の形で可能となるよりもより高いサンプリング周波数を提供すること、そうでなければ、相対位置の判定の改善を試みることである。ユーザは、本明細書中で考察され、提案される様々な方式を使用して、インターフェースの有効要素を閲覧し、対話することができ、様々なインターフェース要素の間を移動して操作することができる。

【0005】

様々な他の適用、プロセス、および使用が様々な実施形態に関して以下に提示される。

【0006】

図１は、ユーザ１０２がコンピューティングデバイス１０４と対話している状況例１００を図解する。可搬型コンピューティングデバイス（例えば、スマートフォン、電子書籍リーダ、またはタブレットコンピュータ）が示されるが、入力の判定および処理をすることのできる様々な他のタイプの電子デバイスを、本明細書中で考察される様々な実施形態に従って使用することができることが理解されるべきである。それらのデバイスには、例えば、ノートコンピュータ、携帯用情報端末、テレビゲームコンソールまたはコントローラ、および可搬型メディアプレーヤ、その他を含むことができる。この例では、コンピューティングデバイス１０４は、画像および／または映像捕獲等の機能を実施するように動作可能なカメラ１０６を有する。デバイスは、追加の画像捕獲要素も含むことができ、すなわち、少なくとも１つの他のカメラ、電荷結合デバイス（ＣＣＤ）、動き検出センサ、または他の赤外線センサ、その他を含み得る。この例では、ユーザ１０２はデバイスに対して相対的な位置に位置決めされ、それにより、ユーザの視点は、ユーザの頭または眼とデバイスとの間の判定可能軌道１１０を追う。本明細書中に後ほど考察されるように、デバイスはカメラ１０６の解像度および視野１０８等の情報、ならびに、捕獲された画像内のユーザの頭または眼の位置等の情報を使用して、ユーザの現在視点を判定することができる。視点は、ユーザの現在視点と一貫する遠近法により、表示画面またはコンピューティングデバイスの他のそのような要素上にインターフェースをレンダリングするために使用することができる。レンダリングは、ユーザおよび／またはコンピューティングデバイスの移動の結果として、判定された視点の変化につれて更新することができる。レンダリングは、層深さまたはｚレベルのセット等の三次元写像情報を利用して、様々なインターフェース要素をどのようにして互いに関連付けるか、ならびに、現在のユーザ視点からどのようにしてそれらの要素をレンダリングするかを判定できる。

【0007】

例えば、図２は、コンピューティングデバイスの表示画面２０２上のインターフェース表示例を図解する。この例では、ユーザは電子メールアプリケーションにアクセスしており、別のユーザに送られる電子メールメッセージを作成するために、書式フィールドに記入を行っている。しかしながら、様々な実施形態の態様を、様々な種類のインターフェースで使用でき、このことは、ユーザが対話を行うことのできる様々な異なるインターフェース要素を含むことができることを理解されるべきである。この例では、ユーザは、インターフェース要素と関連付けられた表示画面２０２のある領域をタッチすることによってインターフェース要素を選択することができる。指２０８または他のそのような物体を使用して、ユーザが接触感知式表示画面と対話できるようにする方式は、当業界においてよく知られており、したがって、本明細書中には詳細に論じない。様々な他の選択方式も使用することができ、それらは、カーソルの移動、ジェスチャの実行、または音声コマンドを発話すること、等である。この例では、ユーザは、「宛先：」フィールド２０４を、テキストをそのフィールドに入力するために選択する。少なくともいくつかの実施形態では、インターフェース要素を選択することは、その要素が「有効」となるようにするか、別様に、ユーザが何らかの方法でそのフィールドと対話できるようにする。述べたように、この例におけるユーザは、テキストを有効フィールド２０４に入力することができる。ユーザは仮想キーパッド２１２または他のそのような機構を利用してテキストをフィールドに入力することができる。論じたたように、ユーザはいくつかの実施形態においては、有効フィールド内に入力されるテキストとして解釈されることができるジェスチャを実行することもできる。音声入力が有効である場合は、ユーザは、デバイスによって解釈され、有効フィールド２０４内へ入力され得る（そうでなければ、有効フィールドに対する入力として受諾される）単語、文字、または他の入力を発声することができる。この例では、マイクロホンアイコン２１０または他のそのような図形要素が、有効フィールド内に、またはそれと関連して表示され得、それにより、ユーザは入力を受け取る有効フィールド、ならびに、音声またはオーディオ入力を受諾するデバイスの能力を判定することができる。スピーチ入力を解釈し、対応するテキスト入力を提供するために使用できる、様々な音声およびスピーチ認識アルゴリズムが当業界において知られており、したがって、それらのアルゴリズムは本明細書中では詳細に論じない。

【0008】

述べたように、デバイス２００は、インターフェース要素が有効となるときにその要素のレンダリングを変更することもできる。この例では、インターフェースは２つの異なる「レベル」またはｚ−深さを有するものとしてレンダリングされ得、有効要素２０４は、上部レベル（表示画面の外側表面近く）および無効要素２０６またはインターフェースのより低いレベルと関連付けられた他のインターフェース構成部品（表示画面の外側表面から距離をおいて分離された）へマッピングされ、さもなくばそれと関連付けられる。この例では、ユーザは、本明細書中の他所で論じられているように、デバイスの真「正面」にあると判定され、したがって、インターフェースは「通常」の遠近法でレンダリングされる。「上部」、「正面」および「通常」等の用語は説明の目的のために使用され、本明細書中に別様に述べられていない限り、特定の向きまたは関係を必要とすることは意図されていないことを理解されるべきである。この例では、「宛先：」フィールド２０４が有効フィールドとして選択されており、したがって、上部レベルに見えるようにレンダリングされる。そのようなレンダリングは多くの形態をとることができ、例えば、要素を少し大きくする、要素についてレンダリングされた陰影を作成または調整する、要素のシャープさまたは焦点レベルを強化する、要素の色または陰影を調整する等である。ユーザがテキストを入力するために使用することができる仮想キーパッド２１２などの様々な他の要素を、上部レベルに位置決めされたように見えるようにレンダリングすることができる。

【0009】

この例で図解されるように、「無効」要素またはインターフェースの他の要素は、インターフェースのより低いレベルにおいて位置付けされて見えるようにレンダリングさ得る。例えば、選択されず、有効ではない書式フィールド２０６は、有効フィールドよりも僅かに小さくレンダリングされ得、陰影、ぼかし、または低い色彩強度を有して要素がより後ろに見えるようにすることができる等である。様々な実施形態において、インターフェースは少なくとも幾分か動画化され得、有効として選択されたフィールドは外観がゆっくりと調節されてフィールドが「前方に」動くように見えることが可能であり、そして以前に有効であった要素は外観がゆっくりと調節されて要素がインターフェース内で「後方へ」動くように見えることができる。本明細書に含まれる教示および提案に照らして明白であるように、様々な他の方式も使用され得る。

【0010】

これらの要素のレンダリングは、デバイスに対するユーザの頭の相対位置が変化するにつれて、これらの要素のレンダリングも変化することもでき、それによって、ユーザはデバイスに対して異なる視点を有するようになる。例えば、図３（ａ）はコンピューティングデバイスの状態例３００を図解し、そこでは、デバイスはユーザに対してある角度にある（この例では、ページの正面にいる読者の位置と想定される）。この例では、インターフェースは上部層の要素に関連付けられた陰影３１２のレンダリングを調整でき、それらの層がインターフェース内でより高く見えるようにでき、また、各陰影が、視点が変化するにつれて関連付けられた要素に対して位置を変え、例えば、実際の陰影がより上部レベルの要素によって投射されている印象を与える、三次元外観を与えることができる。さらに、インターフェースは、側壁３１０またはユーザの視点から仮想インターフェースの深さを提供するように見える他の要素をレンダリングでき、それらの要素の広がりおよび形状も視点の変化につれて調節できる。例えば、図２の正面図では側壁３１０は見られなかったが、表示される側壁の量は、視角が増えるにつれて増加することができる。様々な他の挙動も使用して三次元挙動を模倣することができる。この例では、より低いレベルの要素３０６、３０８は陰影なしでレンダリングされ、そして側壁３１０の底部縁と関連付けられ、インターフェースのより低いレベルの一部として見える。述べたように、陰影、灰色化、わずかなぼかし、より低い色の深さ、または他のそのような方式を使用して、無効要素に対してより低いｚ深さであるという外観を与えることができる。少なくともいくつかのインターフェースにおいては、３つ以上のレベルがあり得、そして陰影の量、色調整、および他のそのような様相は、要素が関連付けられたレベルに少なくとも部分的に依存し得る。少なくともいくつかの実施形態では、しかしながら、要素は、インターフェース内の見掛けレベルにかかわらず、ユーザによって読み取られることができるべきであり、ユーザは有効となる意図された要素を選択可能となる。

【0011】

前に論じたように、インターフェース要素のレンダリングは、異なる要素が有効となる結果、変わることができ、レンダリングの変化も少なくとも部分的にユーザの視点に依存する。例えば、図３（ｂ）のデバイス状態３２０において、異なるフィールド３０６が現在有効であり、そのフィールドがインターフェースのより高いレベルに位置付けられて見えるようにレンダリングされる。ユーザはいまや、フィールドは入力を受け取る準備ができたと判定することができる。また、以前は有効であったフィールド３０４は、より低いレベルと関連付けられて見えるようにレンダリングが変化され、したがって、そのフィールドが再び選択されない限り（または別のそのような動作が発生しない限り）ユーザはそのフィールドはもはや入力を受諾できないことを知る。変化はここでも動画化可能であり、ユーザにとって有効フィールドが変化したことをさらに明確にすることができる。

【0012】

図解されるように、インターフェースのレンダリングは、有効フィールドまたはユーザ選択ばかりでなく、ユーザの現在視点にも依存し得る。ユーザがデバイスを回転させるか、またはデバイスに対して移動すると、デバイスはインターフェースのレンダリングを更新し、インターフェースの三次元外観を視点の変化と一貫させることができる。そのような一貫性を提供するために、デバイスは、デバイスに対するユーザの少なくとも１つの特徴の相対位置を追跡、さもなくば判定する機能を含むことができる。

【0013】

少なくともいくつかの実施形態では、コンピューティングデバイスは１つ以上のカメラ、またはユーザの相対的方向を判定する他のセンサを利用することができる。例えば、図４（ａ）は、状況例４００を図解し、そこでは、コンピューティングデバイス４０２は視点の判定の目的で、ユーザの頭または眼等の、ユーザの特徴を位置決めすることを試みるための少なくとも１つのカメラ要素４０６を利用するように構成される。この例では、ユーザの眼４０４が、コンピューティングデバイス４０２のカメラの視野４０８内に位置決めされる。本明細書中の別の場所で論じられるように、しかしながら、ユーザの視点は、ユーザの眼、瞳、頭、または少なくとも汎用視点を示すことが可能な他のそのような特徴の位置を使用して判定することができる。いくつかの実施形態では、デバイスは、レンダリングのために汎用視点を判定するため、ユーザによって保持されたさもなくば関連付けられた物体を、デバイスが探し得る。さらに、いくつかの実施形態では、デバイスは十分な距離をもってデバイス上に位置付けされた少なくとも２つの異なるカメラを利用し得、それにより、デバイスは、三次元でデバイスに関する１つ以上の特徴の相対位置を判定するために立体撮像（または別のそのような方式）を利用することができる。様々な実施形態の範囲内で、デバイス上の様々な他の位置においても同一または異なるタイプの追加撮像要素があり得ることが理解されるべきである。

【0014】

コンピューティングデバイス上で実行する（さもなくばコンピューティングデバイスと通信する）ソフトウェアは、カメラの視野角、情報が現在捕獲されているズームレベル、およびカメラに関する少なくとも１つのユーザの眼の近似方向４１０をソフトウェアに判定させることが可能な、任意の他のそのような関連情報等の情報を取得することができる。多くの実施形態では、方向情報は不足のない視点依存レンダリングを提供するために十分である。少なくともいくつかの実施形態では、しかしながら、より一貫性があり、正確なレンダリングを提供するために、ユーザまでの距離を判定することも望ましい。いくつかの実施形態では、超音波検出、特徴サイズ分析、能動照明を通した輝度分析、または他のそのような距離測定方式等の方法を使用し、位置判定を支援することができる。他の実施形態では、第２のカメラを使用して、立体撮像を通して距離判定を可能とすることができる。いったん、少なくとも２つの画像捕獲要素からの方向ベクトルが所与の特徴に関して決定されると、それらのベクトルの交差ポイントを決定することができ、これは視差マッピングおよび他のそのようなプロセスとして知られる、それぞれの特徴の三次元の近似相対位置に対応する。

【0015】

さらにそのように方式例を図解すると、図４（ｂ）は、図４（ａ）のカメラ４０６を使用して、ユーザの頭および眼を捕獲され得る画像例４２０を図解する。１つ以上の画像分析アルゴリズムを使用して画像を分析し、パターン認識、形状認識、またはユーザの眼等の注目される特徴を識別するための別のそのようなプロセスを実行することができる。特徴検出、顔特徴抽出、特徴認識、立体視感知、文字認識、属性見積もり、または動径ベース関数（ＲＢＦ）分析方式等の画像内の特徴を識別するための方式は当業界においてよく知られており、本明細書中では詳細に論じない。この例で図解されるように、ユーザの両方の眼が、捕獲された画像情報内に位置決めされ得る。少なくともいくつかのアルゴリズムは、各眼に関する近似位置または領域４２２、４２４、または、ユーザの頭の少なくとも近似位置４２８を判定することができ、それらの位置または領域の少なくとも１つが視点判定のために使用される。望ましい感度レベルおよびユーザとデバイスとの間の距離等の要因に依存して、しかしながら、そのような情報は視点判定の正確性に影響を与える可能性がある。様々な実施形態に従う方式は、人間の脳は両方の眼からの情報を組み合わせ、処理して「単一」視点を提供するという事実を利用することができる。このように、ソフトウェアは、ユーザの視点について使用するために、ユーザの眼の間の中間点４２６を判定しようと試みることができる。本明細書中の他の場所で論じられるような様々な他の方式も使用することができる。いったん相対位置が画像情報内で判定されると、デバイスは、カメラの視野、デバイスに関するカメラの位置、カメラのズームレベル、および他のユーザの相対的方向を判定するための情報等の情報を使用することができ、その相対的方向はインターフェースをレンダリングする際に使用する視点のために使用される。

【0016】

位置を追跡するためにカメラを使用するとき、しかしながら、正確さは少なくとも部分的にカメラのフレームレートによって限定される。さらに、画像は処理にいくらかの時間を要するため、判定においていくらかの遅れがあり得る。デバイスの向きの変化は比較的素早く発生し得るので、少なくともいくつかの実施形態では、視点の正確性の判定を強化することが望ましい。いくつかの実施形態では、センサまたはコンピューティングデバイスの他のそのような要素を使用して、コンピューティングデバイスの動きを判定可能であり、これは視点判定の調整を支援することができる。センサはデバイスの回転および／または平行移動に関する情報を提供することのできる任意の適切なセンサであることができ、加速度計、慣性センサ、電子ジャイロスコープ、電子コンパス、等を含み得る。

【0017】

例えば、図５（ａ）はコンピューティングデバイスのカメラ５１０の視野角５０８内の物体５０４（例えば、ユーザの頭）の画像を捕獲するように動作可能なコンピューティングデバイス５０２の「平面図」５００を図解する。この例では、コンピューティングデバイス５０２は、電子コンパスまたは電子ジャイロスコープ等の、デバイスの第１の向きに関して二または三次元における座標系５０６を判定することのできる少なくとも１つの向きまたは回転判定要素を含む。少なくともいくつかの実施形態では、電子コンパスを使用して、北方角に対応する等の、座標系５０６の軸を判定し得る。他の実施形態では、電子ジャイロスコープ等の構成部品は、コンパス等の構成部品で定期的に較正し得るが、しかし、時間の経過につれて回転の三軸に沿う向きの変化を代わりに判定し得る。回転の１、２、または３軸に沿った向きの変化を判定するための様々な他の方式も、様々な実施形態の範囲内で使用することができる。

【0018】

第１の座標系５０６または向きは、コンピューティングデバイス５０２のカメラ５１０によって、第１の画像の捕獲時またはその近くにおいて判定することができる。いくつかの実施形態では、判定は、画像を捕獲するための入力を受け取ることにより、または別のそのような動作によって起動することができるが、しかし他の実施形態では、座標系および／または向き情報を、電子ジャイロスコープのタイプおよび／または構成に基づき、１秒間に数回など、定期的に更新することができる。ジャイロスコープは、様々な消費者デバイスにおいて使用される従来型ＭＥＭＳジャイロスコープ等の任意の適切な電子ジャイロスコープ構成部品もすることができる。そのようなジャイロスコープからの向きの変化の実施および取得のための方式は、当業界においてよく知られており、したがって、本明細書中では詳細に論じない。

【0019】

図５（ｂ）は、コンピューティングデバイス５０２の向きの変化後の第２の平面図５１０を図解する。電子ジャイロスコープ（または他のそのような構成部品または埋め込みセンサ）は、向きの変化を検出でき、この例では、図の面における座標系に対しての角度５１２の変化に対応する。ジャイロスコープは１、２、または３次（例えば、△ｘ、△ｙ、△ｚ）に関する変化の角度またはラジアン、および、ピッチ、ロール、およびヨー等の百分率変化等の任意の適切な形式における向きの変化に関する情報を提示することができる。この例では、向きの変化は単一軸周りの所与の回転角度量５１２で判定される。図解されるように、このことは物体５０４を、カメラ５１０の視野５０８の右縁に移動させる。少なくともいくつかの実施形態では、ジャイロスコープは回転の厳格な量を提供するために十分に正確でないかもしれないが、しかし、探索空間を狭め、画像内の対応する物体の位置決めを容易にするために使用され得る回転量の見積もりを提供することができる。さらに、この情報は、少なくともいくつかの実施形態においてカメラから提供されるよりも、相対位置のより速い調整または予測を提供することができる。類似の方式を平行移動のために使用することができるが、捕獲された画像内の物体の平行移動の効果は、角度変化と比べてずっと意義が薄い可能性があり、したがって、画像情報が、少なくともいくつかの実施形態においては、平行移動変化を考慮するために十分であり得る。

【0020】

図６は、様々な実施形態に従って使用され得る視点に依存するインターフェースレンダリングを提供するためのプロセス例を図解する。本明細書中で論じられる任意のプロセスに関し、異なる説明がない限り、様々な実施形態の範囲内において、類似のまたは代替的順番で、または平行に実施される追加の、より少ない、または代替のステップがあり得ることが理解されるべきである。この例では、視点判定モードがコンピューティングデバイス上で有効化６０２され、この例では、少なくとも１つのカメラを使用する画像捕獲とコンピューティングデバイスの少なくとも１つの動きセンサを使用する動き検出の両方を含む。いくつかの実施形態では、視点判定モードは、休眠モードまたは他のそのような低電力状態においてさえ、コンピューティングデバイスが有効状態であるときはいつでも自動的にオンとすることができる。他の実施形態では、動き検出モードはアプリケーションの実行またはインターフェースへのアクセス時に自動的に、またはユーザ選択時に手動で有効化される。様々な他の有効化事象も利用することができる。

【0021】

捕獲された画像情報は、本明細書中の別の場所において論じられるように、分析されて、コンピューティングデバイスに対するユーザの頭（または他のそのような特徴）の相対位置を判定６０４することができる。論じられたように、最初の相対位置は画像情報を使用して判定することができ、そして、その相対位置の変化は、画像情報および動きセンサ情報の組み合わせを使用して判定することができる。例えば、動きセンサデータを使用して、画像データから追加の位置判定情報が利用可能となるまで視点を更新することができ、それにより、判定に対する任意の必要な訂正または調整が行われ得る。現在の相対的ユーザの視点に関して、インターフェースは、三次元または多重層外観、または他のそのような様相がユーザの現在視点に関して一貫しているように、インターフェースをレンダリングする６０６ことができる。

【0022】

インターフェースがユーザに対してレンダリングされると、インターフェース要素の選択をユーザから受け取る６０８ことができる。論じられたように、選択された要素のレンダリングは、選択された要素がインターフェース内で有効であることを表示するように調整でき、この例では、プロセスは要素が表示要素の表面により近く見えるように、レンダリングにおいて有効要素を「前方」にもたらす６１０ことを伴う。要素を前方へもたらすことは、例えば、要素の大きさ、形状、陰影、焦点／ぼかし、および／または色の調整を伴うことができる。フィールドが有効の間、ユーザは、有効フィールドに対して入力の提供、さもなくばそれとの対話を可能とされる６１２。入力が完了したとき、さもなくばユーザがその要素の非選択を行うか別の要素を選択すると、要素は「後方へ」移動６１４、または非選択として示すことができ、これは、たとえば要素が有効であると示されたときに実施されたことと反対のまたは代わりの調整を実施することによる。別の要素の選択がユーザから受け取られた６１６場合、類似調整を使用してその要素を有効であると示すことができる。そうでない場合、そしてユーザがインターフェースでの操作を完了した等のとき、インターフェースに関するレンダリングプロセスは終了６１８することができる。

【0023】

少なくともいくつかのプロセスにおいて、ユーザは上に論じられたように、スピーチ入力を提供できるようになることもできる。アイコンまたは他の表示手段を使用して、ユーザに対してスピーチ入力が利用することができることを表示することができる。いくつかの実施形態では、ユーザはスピーチ入力のオンおよびオフを切り替えるためにアイコンを選択することができ、それにより、ユーザは事務所内で一人のとき等の適切な環境においてスピーチを使用することができ、そして他の人々が話をしている混雑した場所等の誤検知があり得る環境にいるときにスピーチ入力をオフにできる。いくつかの実施形態では、ユーザが積極的にアイコンまたはデバイス上の別のそのような要素を押している間、さもなくばそれらと対話している間にのみ、デバイスは音声入力を受諾し得る。様々なオーディオ処理アルゴリズムを使用して、オーディオ入力および認識の正確性を改善するための試みを行うことができ、これは環境雑音削減の実施、音声認識等による。いくつかの実施形態では、ユーザは音声コマンドを使用して異なるフィールドを有効として選択すること、さもなくばインターフェースをナビゲートまたは対話することができる。

【0024】

さらに、いくつかの実施形態では、一定要素がより画面に近く見えるようにする能力は、他の目的のためにも使用することができる。例えば、より高い優先度の項目（例えば、もうすぐ来る予約または新規メッセージ）は、インターフェース内でより高いレベルでレンダリングすることができる。未読メッセージを既読メッセージよりもより高いレベルにもたらすことや、新しいソーシャルネットワークコメントを古いコメントよりも近くする等の他の方式も使用することができる。様々なインターフェース方式が、本明細書中に含まれる教示および提案に照らして、当業界においては明白な、本明細書中に論じられ提案される態様を利用することができる。

【0025】

図７は、様々な実施形態に従って使用され得るコンピューティングデバイス例７００を図解する。この例では、デバイスは、デバイスの表示画面７０２と同一の側に従来型デジタルカメラ７０４を有し、ユーザが少なくとも部分的に表示画面の正面にいる典型的操作中に、デバイスのユーザに関する画像情報をデバイスが捕獲することを可能にする。様々な実施形態の範囲内において、デバイスの同一または他の側または位置の、追加のカメラ、センサ、または他のそのような要素も存在可能であり、それはジェスチャ−または画像入力を、デバイスに対して任意の望まれる方向または位置から可能とし得ることが理解されるべきである。デバイスは、画像捕獲を支援するために使用され得る追加要素も含むことができ、これには、捕獲される画像の一般的方向における光の量を判定するための光センサ、および、例えば、光センサによって判定される不十分な環境光が存在するとき、特定の範囲の方向において照明を提供するための、白色発光ダイオード（ＬＥＤ）または赤外線（ＩＲ）発光器等の照明要素が含まれる。本明細書中に含まれる教示および提案に照らして明白なように、様々な実施形態の範囲内で、様々な他の要素および要素の組み合わせも使用することができる。デバイスは、本明細書中で論じられるように、視点の判定に使用するための、デバイスの回転および／または平行移動を判定するように動作可能な少なくとも１つの動きセンサ７０６も含む。

【0026】

本明細書中に記述される様々な機能性を提供するために、図８は、図７に関して記述されるデバイス７００等の、コンピューティングデバイス８００の基本構成部品のセット例を図解する。この例では、デバイスは、少なくとも１つのメモリデバイスまたは要素８０４に記憶することができる命令を実行するための、少なくとも１つの中央処理装置８０２を含む。当業者にとって明白であるように、デバイスはプロセッサ８０２によって実行されるプログラム命令のための第１のデータ記憶装置等の、多くのタイプのメモリ、データ記憶装置、またはコンピュータ可読記憶媒体を含むことができ、同一または別個の記憶装置を画像またはデータのために使用でき、取り外し可能記憶メモリが他のデバイスとの情報の共有のために利用できる、等である。デバイスは典型的にはタッチスクリーン、電子インク（ｅ−ｉｎｋ）、有機発光ダイオード（ＯＬＥＤ）または液晶表示（ＬＣＤ）等の、いくつかのタイプの表示要素８０６を含むが、可搬型メディアプレーヤ等のデバイスは、オーディオスピーカを通して等の、他の手段を介して情報を伝達し得る。少なくともいくつかの実施形態では、表示画面は、例えば、容量または抵抗のタッチ技術を使用して、タッチまたはスワイプベースの入力を提供する。

【0027】

論じられたように、多くの実施形態におけるデバイスは、デバイスの近くにあるユーザ、人々、または物体を撮像することのできる１つ以上のカメラ等の少なくとも１つの画像捕獲要素８０８を含む。画像捕獲要素は、判定解像度、焦点距離、可視領域、およびキャプチャレートを有するＣＣＤまたはＣＭＯＳ画像捕獲要素等の、任意の適切な技術を含む、または少なくとも部分的にそれに基づくことができる。デバイスはまた、デバイスの向きに関する情報、ならびに、デバイスの回転または平行移動に関する情報を提供するように動作可能な慣性センサ、加速度計、電子ジャイロスコープ、または電子コンパス等の少なくとも１つの動き判定要素８１０を含む。プロセッサ８０２は、様々な実施形態に従い、視点の変化を判定するために、カメラおよび動きセンサからの情報を利用することができる。

【0028】

例となるデバイスは、ユーザから従来型入力を受けとることのできる少なくとも１つの追加入力デバイス８１２を含むことができる。この従来型入力は、例えば、押しボタン、タッチパッド、タッチスクリーン、ホイール、ジョイスティック、キーボード、マウス、トラックボール、キーパッド、または任意の他のそのようなデバイスもしくは要素を含み得、それによって、ユーザがコマンドをデバイスに入力することができる。これらのＩ／Ｏデバイスは、いくつかの実施形態において、無線赤外線もしくはブルートゥースまたは他のリンクによっても接続され得る。いくつかの実施形態では、しかしながら、そのようなデバイスはいかなるボタンも含まず、そして視覚的（例えば、ジェスチャ）およびオーディオ（例えば、話す）コマンドの組み合わせのみを通して制御され得、したがって、ユーザはデバイスと接触する必要なく、デバイスを制御することができる。

【0029】

論じられたように、記載された実施形態に従い、様々な実施形態において異なる方式を実施することができる。例えば、図９は、様々な実施形態に従う態様を実施するための環境例９００を図解する。理解されるであろうように、ウェブベースの環境が説明の目的のために使用されるが、実施形態を実現するために、適宜、異なる環境が使用され得ることが理解されるであろう。このシステムは、電子クライアントデバイス９０２を含み、これは、適切なネットワーク９０４を介して要求、メッセージ、または情報を送信および受信し、デバイスのユーザに情報を伝達し戻すように動作可能な任意の適切なデバイスを含むことができる。このようなクライアントデバイスの例は、パーソナルコンピュータ、携帯電話、携帯型メッセージングデバイス、ラップトップコンピュータ、セットトップボックス、携帯情報端末、電子ブックリーダ等を含む。ネットワークは、任意の適切なネットワークを含むことができ、それらはイントラネット、インターネット、携帯電話ネットワーク、ローカルエリアネットワーク、または任意の他のそのようなネットワークもしくはそれらの組み合わせを含む。そのようなシステムに用いられる構成部品は、少なくとも一部は、ネットワークの種類および／または選択される環境に依存すし得る。そのようなネットワークを介した通信用のプロトコルおよび構成要素は周知であり、本明細書で詳細に論じない。ネットワークを介する通信は、有線または無線接続およびそれらの組み合わせを介して可能となる。この例では、環境は要求を受け取りそれに応えて内容をサービスするためのウェブサーバ９０６を含むので、ネットワークはインターネットを含むが、しかしながら、当業者にとっては明白であろうが、他のネットワークに関しては、類似目的に対してサービスする代替デバイスを使用することができる。

【0030】

この例示説明となる環境は、少なくとも１つのアプリケーションサーバ９０８およびデータ記憶９１０を含む。いくつかのアプリケーションサーバ、層または他の要素、プロセス、または構成要素が存在可能であり、これらは連鎖、または別様に構成され得、適切なデータ記憶からデータを取得する等のタスクを実施するためにやりとりすることができることが理解されるべきである。本明細書での使用において、「データ記憶」という用語はデータの記憶、アクセス、および読み出しをすることのできる任意のデバイスまたはデバイスの組み合わせを指し、これは、任意の標準、分散またはクラスタ環境における、任意の数のデータサーバ、データベース、データ記憶デバイス、およびデータ記憶媒体および任意の組み合わせを含み得る。アプリケーションサーバ９０８は、クライアントデバイスのために１つ以上のアプリケーションの態様を実行するために、必要に応じてデータ記憶９１０と統合するための、アプリケーションのための大部分のデータアクセスおよびビジネスロジックを取り扱うための任意の適切なハードウェアおよびソフトウェアを含むことができる。アプリケーションサーバは、データ記憶と協働してアクセス制御サービスを提供し、そしてユーザに転送されることになるテキスト、グラフィック、オーディオおよび／または映像等の内容を生成することができ、これは、この例では、ＨＴＭＬ、ＸＭＬ、または別の適切な構造化言語の形式で、ウェブサーバ９０６によってユーザに対してサービスされ得る。すべての要求および応答の取扱、ならびにクライアントデバイス９０２とアプリケーションサーバ９０８との間の内容の送達は、ウェブサーバ９０６によって取り扱われ得る。本明細書中で論じらされる構造化コードは、本明細書中の別の場所で論じられるように、任意の適切なデバイスまたはホスト機械上で実行することができるので、ウェブサーバおよびアプリケーションサーバは必要とされず、それらは単に構成要素の例であることが理解されるべきである。

【0031】

データ記憶９１０は、特定の態様に関するデータを記憶するために、いくつかの別個のデータ表、データベース、または他のデータ記憶機構および媒体を含むことができる。例えば、図解されるデータ記憶は、内容（例えば、生産データ）９１２およびユーザ情報９１６を記憶するための機構を含み、これを使用して、生産側のために内容をサービスすることができる。データ記憶は、ログまたはセッションデータ９１４を記憶するための機構を含むことも示される。データ記憶内に記憶されることが必要な多くの他の態様が可能であり、ページの画像情報およびアクセス権限情報であり、これらは、適宜任意の上に列挙された機構またはデータ記憶９１０内の追加機構内に記憶することができることが理解されるべきである。データ記憶９１０は、それと関連付けられたロジックを通して、アプリケーションサーバ９０８から命令を受け取り、そしてそれに応答してデータを取得、更新、または別様に処理するように動作することができる。１つの例では、ユーザは一定タイプの項目に関する検索要求を提出し得る。この場合において、データ記憶はユーザの一致性を検証するためにユーザ情報にアクセスし得、また項目のそのタイプに関する情報を取得するためにカタログの詳細情報にアクセスすることができる。次に情報はユーザに返すことができ、ユーザがユーザデバイス９０２上のブラウザを介して閲覧することができる、ウェブページ上の結果リスト等である。関心のある特定項目の情報は、ブラウザの専用ページまたはウィンドウ内で閲覧することができる。

【0032】

各サーバは典型的に、サーバの一般管理および操作のための実行可能プログラム命令を提供するオペレーティングシステムを含み、また、サーバのプロセッサによって実行されるとき、サーバがその意図された機能を実施することを可能にする命令を記憶するコンピュータ可読媒体を典型的に含む。オペレーティングシステムおよびサーバの一般的機能性のための好適な実装は既知であり、または商業的に利用可能であり、特に本明細書の公開に照らして、当業者によって容易に実装される。

【0033】

１つの実施形態における環境は、１つ以上のコンピュータネットワークまたは直接接続を使用して、通信リンクを介して相互接続されたいくつかのコンピュータシステムおよび構成要素を利用する、分散型コンピューティング環境である。しかしながら、このようなシステムは、図９に図解されるものよりも少ないかまたは多くの構成要素を有するシステムにおいても、同様に良好に動作することができることが、当業者には理解されるであろう。このように、図９におけるシステム９００の描写は、例示説明の性質を帯びるものと解されるべきであり、本開示の範囲を限定するものではない。

【0034】

様々な実施形態が広範様々な操作環境においてさらに実施することができ、いくつかの場合においては、任意のいくらかのアプリケーションを操作するために使用可能な１つ以上のユーザコンピュータまたはコンピューティングデバイスを含み得る。ユーザまたはクライアントデバイスは、任意のいくらかの汎用パーソナルコンピュータを含むことが可能であり、それらは、標準オペレーティングシステムを稼働させるデスクトップまたはラップトップコンピュータ、ならびに、モバイルソフトウェアを稼働し、そしていくつかのネットワーキングおよびメッセージングプロトコルに対応することのできるセル方式、無線、および手持ちデバイスである。そのようなシステムは、任意の多様な商業的に利用可能なオペレーティングシステムおよび開発およびデータベース管理等の目的のための他の既知のアプリケーションを稼働させるいくつかのワークステーションも含むことができる。これらのデバイスは、ダミー端末、シンクライアント、ゲームシステム、およびネットワークを介して通信可能な他のデバイス等、他の電子デバイスを含むことができる。

【0035】

ほとんどの実施形態は、ＴＣＰ／ＩＰ、ＯＳＩ、ＦＴＰ、ＵＰｎＰ、ＮＦＳ、ＣＩＦＳ、およびＡｐｐｌｅＴａｌｋ等の、任意の様々な商業的に利用可能なプロトコルを使用して、通信を支持するために、当業者によく知られた少なくとも１つのネットワークを利用する。ネットワークは、例えば、ローカルエリアネットワーク、広域ネットワーク、仮想私設ネットワーク、インターネット、イントラネット、エクストラネット、公衆交換電話網、赤外線ネットワーク、無線ネットワーク、およびそれらの任意の組み合わせであり得る。

【0036】

ウェブサーバを利用する実施形態においては、ウェブサーバは、任意の様々なサーバまたは中間層アプリケーションを実行することが可能で、これには、ＨＴＴＰサーバ、ＦＴＰサーバ、ＣＧＩサーバ、データサーバ、Ｊａｖａ（登録商標）サーバ、およびビジネスアプリケーションサーバが含まれる。サーバ（複数可）は、ユーザデバイスからの要求に応答して、プログラムまたはスクリプトも実行することができ、それらは、Ｊａｖａ（登録商標）、Ｃ、Ｃ＃、もしくはＣ＋＋等の任意のプログラム言語、またはＰｅｒｌ、Ｐｙｔｈｏｎ、もしくはＴＣＬ等の任意のスクリプティング言語、ならびにそれらの組み合わせで書かれた１つ以上のスクリプトまたはプログラムとして実装し得る、１つ以上のウェブアプリケーションを実行することである。サーバ（複数可）は、データベースサーバも含み得、それらに含まれるのは、限定されずに、Ｏｒａｃｌｅ（登録商標）、Ｍｉｃｒｏｓｏｆｔ（登録商標）、Ｓｙｂａｓｅ（登録商標）、およびＩＢＭ（登録商標）から商業的に利用可能なものである。

【0037】

環境は、上述の様々なデータ記憶ならびに他のメモリおよび記憶媒体を含むことができる。これらは、１つ以上のコンピュータに対してローカルな（および／またはその中に存在する）記憶媒体上、またはネットワークを介して任意のまたはすべてのコンピュータから離れて等、様々な位置で存在することができる。実施形態の特定セットでは、情報は、当業者に熟知された記憶域ネットワーク（ＳＡＮ）内に存在し得る。同様に、コンピュータ、サーバ、または他のネットワークデバイスに属する機能を実施するための必要な任意のファイルは、適宜、ローカルおよび／または遠方に記憶され得る。システムがコンピュータ化デバイスを含む場合、このような各デバイスは、バスを介して電気的に接続され得るハードウェア要素を含み得、この要素には、例えば、少なくとも１つの中央処理装置（ＣＰＵ）、少なくとも１つの入力デバイス（例えば、マウス、キーボード、コントローラ、接触感知式表示要素、またはキーパッド）、および少なくとも１つの出力デバイス（例えば、表示装置、プリンタ、またはスピーカ）が含まれる。このようなシステムは、１つ以上の記憶デバイス、例えば、ディスクドライブ、光記憶デバイス、およびソリッドステート記憶デバイス、例えばランダムアクセスメモリ（ＲＡＭ）または読み出し専用メモリ（ＲＯＭ）、ならびに取り外し可能メディアデバイス、メモリカード、フラッシュカード等も含み得る。

【0038】

このような装置は、コンピュータ可読記憶媒体リーダ、通信デバイス（例えば、モデム、ネットワークカード（無線または有線）、赤外線通信デバイス）、および上に記述された作業メモリを含み得る。コンピュータ可読記憶媒体リーダは、遠隔、ローカル、固定、および／または取り外し可能な記憶デバイス、ならびにコンピュータ可読情報を一時的および／またはより恒久的に含み、記憶し、送信し、および受信するための記憶媒体を表す、コンピュータ可読記憶媒体を受け取るように接続され、または構成されることができる。システムおよび様々なデバイスはまた、典型的には、いくつかのソフトウェアアプリケーション、モジュール、少なくとも１つの作業記憶デバイス内に位置するサービス、または他の要素を含み、これに含まれるのは、オペレーティングシステムおよびクライアントアプリケーションまたはウェブブラウザ等のアプリケーションプログラムである。代替の実施形態が、上述のものの多数の変形を有し得ることを理解されるべきである。例えば、カスタマイズされたハードウェアも使用され得、および／または、特定の要素はハードウェア、ソフトウェア（アプレット等の可搬型ソフトウェアを含む）または両方において実装され得る。さらに、ネットワーク入力／出力デバイス等の他のコンピューティングデバイスへの接続が採用され得る。

【0039】

コード、またはコードの一部分を含むための記憶媒体およびコンピュータ可読媒体は、当業界において知られた、または使用されている任意の適切な媒体を含むことができ、これに含まれるのは、記憶媒体および通信媒体であり、例えば、それらに限定されないが、情報の記憶および／または送信のために任意の方法または技術で実装される揮発性および不揮発性、取り外し可能および取り外し不能媒体である。それらの情報はコンピュータ可読命令、データ構造、プログラムモジュールまたは他のデータであり、ＲＯＭ、ＲＡＭ、ＥＥＰＲＯＭ、フラッシュメモリーまたは他のメモリ技術、ＣＤ−ＲＯＭ、デジタル汎用ディスク（ＤＶＤ）または他の光学記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置、または他の磁気記憶デバイス、または望まれる情報を記憶するために使用可能で、システムデバイスによってアクセスできる任意の他の媒体が含まれる。本明細書に提供される開示および教示に基づき、当業者は、様々な実施形態を実現するための他の様式および／または方法を理解するであろう。

【0040】

仕様および図は、したがって、制限的な意味をもつのではなく、例示説明であるとみなされるべきである。しかしながら、様々な修正および変更が、請求項に明記される本発明のより広範な精神と範囲から逸脱することなく、行われ得ることは明らかであろう。

【0041】

付記
１．インターフェースをレンダリングするコンピュータ実装方法であって、
コンピューティングデバイスのカメラを使用してユーザの画像を捕獲することと、
前記コンピューティングデバイスの少なくとも１つのプロセッサを使用して、前記捕獲された画像を分析して、
前記コンピューティングデバイスに対する前記ユーザの相対位置を判定することと、
前記コンピューティングデバイスの表示画面上に表示のために複数のインターフェース要素をレンダリングすることと、
前記インターフェース要素の１つの選択を受け取ることと、
前記選択されたインターフェース要素の外観を調整し、前記選択されたインターフェース要素が、前記ユーザの前記判定された相対位置から、非選択インターフェース要素よりも前記表示画面の表面により近く位置付けされるように見えるようにすることであって、前記コンピューティングデバイスは前記選択されたインターフェース要素が前記ユーザからの入力を受け取ることを可能とする、調整することと、
前記ユーザの新しい判定された相対位置に応答して、前記複数のインターフェース要素の前記レンダリングを更新することと、を含む、方法。

【0042】

２．前記ユーザの前記新しい判定された相対位置は、少なくとも部分的に、その後の時点において前記カメラによって捕獲された追加画像を分析することに基づいて判定される、付記１に記載のコンピュータ実装方法。

【0043】

３．前記ユーザの前記新しい判定された相対位置は、少なくとも部分的に、少なくとも１つのセンサによって判定される前記コンピューティングデバイスの向きにおける変化に基づいて判定される、付記１に記載のコンピュータ実装方法。

【0044】

４．前記選択されたインターフェース要素の外観を調整することは、前記選択されたインターフェース要素の大きさ、形状、色、陰影、またはぼかしの少なくとも１つを調整することを含む、付記１に記載のコンピュータ実装方法。

【0045】

５．前記コンピューティングデバイスが、前記選択されたインターフェース要素と関連付けられたオーディオ入力を受諾するように構成されていることを前記ユーザに対して表示する、前記選択されたインターフェース要素のためのアイコンをレンダリングすること、をさらに含む、付記１に記載のコンピュータ実装方法。

【0046】

６．コンピュータ実装方法であって、
実行可能命令を備えて構成された１つ以上のコンピューティングシステムの制御の下で、コンピューティングデバイスの表示要素上に表示されるグラフィカルインターフェースを判定することであって、前記グラフィカルインターフェースは有効層および少なくとも１つの他の層を有し、前記有効層は前記グラフィカルインターフェース内の前記少なくとも１つの他の層の上に位置付けされるように見えるようにレンダリングされる、判定することと、前記グラフィカルインターフェースの一部として前記表示要素上に複数のインターフェース要素を表示することであって、前記複数のインターフェース要素のそれぞれが前記レンダリング層のうちの１つに関連付けられる、表示することと、
前記少なくとも１つの他の層と関連付けられたインターフェース要素の選択に応答して、前記選択されたインターフェース要素を前記有効層と関連付けることと、前記選択されたインターフェース要素の外観を前記有効層に対応するように調整することであって、前記選択されたインターフェース要素は、前記有効層と関連付けられたときに前記ユーザから入力を受け取ることができる、調整することと、を含む方法。

【0047】

７．前記インターフェース要素のうちの１つの選択に応答して、前記有効層と以前に関連付けられていた以前に有効であったインターフェース要素を、前記少なくとも１つの他の層と関連付けられるようにして、前記以前に有効であったインターフェース要素の外観を前記少なくとも１つの他の層に対応するように調整すること、をさらに含む、付記６に記載のコンピュータ実装方法。

【0048】

８．前記以前に有効であったインターフェース要素の前記外観を調整することは、前記インターフェース要素の大きさ、形状、色、陰影、またはぼかしのうちの少なくとも１つを調整することを含む、付記７に記載のコンピュータ実装方法。

【0049】

９．第１の優先レベルを有するインターフェース要素が前記有効層と関連付けられ、第２の優先レベルを有するインターフェース要素が前記少なくとも１つの他の層と関連付けられ、前記第２の優先レベルは前記第１の優先レベルより低い、付記６に記載のコンピュータ実装方法。

【0050】

１０．前記コンピューティングデバイスのユーザの相対位置を判定することと、
前記ユーザの前記判定された相対位置に少なくとも一部は基づく外観を用いて前記グラフィカルインターフェースの前記有効層および前記少なくとも１つの他の層のインターフェース要素をレンダリングすることと、をさらに含む、付記６に記載のコンピュータ実装方法。

【0051】

１１．前記有効層のインターフェース要素は、前記ユーザの前記判定された相対位置から、前記少なくとも１つの他の層の前記インターフェース要素の上方に距離を置いて見えるようにレンダリングされる、付記１０に記載のコンピュータ実装方法。

【0052】

１２．前記ユーザの前記相対位置を判定することは、前記コンピューティングデバイスの少なくとも１つのカメラを使用して画像情報を捕獲し、前記捕獲された画像情報を分析して前記ユーザの前記相対位置を判定することを含む、付記１０に記載のコンピュータ実装方法。

【0053】

１３．前記グラフィカルインターフェースの表示中に、追加画像情報を捕獲することと、
前記追加画像情報を分析し、前記ユーザの前記相対位置の変化を判定することと、
前記有効層または前記少なくとも１つの他の層のうちの少なくとも１つの前記レンダリングを、前記有効層の前記インターフェース要素が、前記ユーザの現在の相対位置から、前記少なくとも１つの他の層の前記インターフェース要素の上方に距離を置いたままに見えるように調整することと、をさらに含む、付記１２に記載のコンピュータ実装方法。

【0054】

１４．前記コンピューティングデバイスの少なくとも１つのセンサを使用して、前記コンピューティングデバイスの向きまたは位置のうちの少なくとも１つにおける変化を検出することと、
前記検出された変化に少なくとも部分的に基づき、前記ユーザの現在の相対位置を判定することと、
前記有効層または前記少なくとも１つの他の層のうちの少なくとも１つの前記レンダリングを、前記有効層の前記インターフェース要素が、前記ユーザの前記現在の相対位置から、前記少なくとも１つの他の層の前記インターフェース要素の上方に距離を置いたままに見えるように調整することと、をさらに含む、付記１２に記載のコンピュータ実装方法。

【0055】

１５．前記少なくとも１つのセンサから前記検出された変化が、前記捕獲された画像情報から取得された更新間の前記ユーザの相対位置における更新を提供するために使用される、付記１４に記載のコンピュータ実装方法。

【0056】

１６．ユーザの前記相対位置を判定することは、前記ユーザの少なくとも１つの顔特徴の相対位置を判定すること、を含む、付記１０に記載のコンピュータ実装方法。

【0057】

１７．コンピューティングデバイスであって、
プロセッサと、
表示画面と、
命令を含むメモリと、を備え、前記命令は、前記プロセッサによって実行されるとき、前記コンピューティングデバイスに、
グラフィカルインターフェースを前記表示画面上での表示のためにレンダリングすることであって、前記グラフィカルインターフェースは複数のインターフェース要素を含む、レンダリングすることと、
前記コンピューティングデバイスのユーザから前記インターフェース要素のうちの１つの選択を受け取ることと、
前記コンピューティングデバイスに関する前記ユーザの現在の相対位置を判定することと、
前記選択に応答して、前記ユーザの前記現在の相対位置に少なくとも一部は基づき、前記選択されたインターフェース要素が、少なくとも１つの他の表示されたインターフェース要素よりも前記ユーザにより近い距離であるかのように見えるように前記選択されたインターフェース要素のレンダリングを調整することと、を行わせる、コンピューティングデバイス。

【0058】

１８．前記ユーザの少なくとも一部分の画像を捕獲するように位置付けされたカメラであって、前記現在の相対位置は、少なくとも部分的に、前記コンピューティングデバイスの前記プロセッサを使用して、前記捕獲された画像を分析することによって判定される、カメラ、をさらに備える、付記１７に記載のコンピューティングデバイス。

【0059】

１９．前記コンピューティングデバイスの向きまたは位置の少なくとも１つにおける変化を検出するように構成されたセンサであって、前記現在の相対位置は、少なくとも部分的に、前記コンピューティングデバイスの前記プロセッサを使用して、前記検出された変更を分析することによって判定される、センサ、をさらに備える、付記１７に記載のコンピューティングデバイス。

【0060】

２０．前記ユーザからの音声入力を受諾するように構成されたマイクロホンであって、前記選択されたインターフェース要素は、前記選択されたインターフェース要素のためにオーディオ入力が提供されることができることを表示する、グラフィカル要素を含むことができる、マイクロホン、をさらに備える、付記１７に記載のコンピューティングデバイス。

【0061】

２１．前記表示画面は接触感知型であり、前記インターフェース要素のうちの１つの前記選択は、前記表示画面との接触を通して受け取られることができる、付記１７に記載のコンピューティングデバイス。

【0062】

２２．コンピューティングデバイスの少なくとも１つのプロセッサによって実行されたとき、前記コンピューティングデバイスに対し、前記コンピューティングデバイスの表示画面上に表示させるためにグラフィカルインターフェースをレンダリングすることであって、前記グラフィカルインターフェースは複数のインターフェース要素を含む、レンダリングすることと、
前記コンピューティングデバイスのユーザから前記インターフェース要素の１つの選択を受け取ることと、
前記コンピューティングデバイスに関する前記ユーザの現在の相対位置を判定することと、
前記選択を受け取ることに応答して、前記ユーザの前記現在の相対位置に少なくとも部分的に基づき、前記選択されたインターフェース要素が、少なくとも１つの非選択インターフェース要素よりも前記表示画面の表面にあたかもより近いように見えるように、前記選択されたインターフェース要素のレンダリングを調整することと、を行わせる命令を記憶する、非一時的コンピュータ可読記憶媒体。

【0063】

２３．前記レンダリングの調節は、前記選択されたインターフェース要素の大きさ、形状、色、またはぼかしレベルのうちの少なくとも１つにおける変化を動画化することを含む、付記２２に記載の非一時的コンピュータ可読記憶媒体。

【0064】

２４．前記命令が実行されたとき、前記コンピューティングデバイスに、
前記ユーザの前記現在の相対位置に少なくとも部分的に基づき、前記グラフィカルインターフェース内の前記コンピューティングデバイスの１つ以上の仮想側壁の外観を調整すること、をさらに行わせる、付記２２に記載の非一時的コンピュータ可読記憶媒体。

【0065】

２５．前記命令が実行されたとき、前記コンピューティングデバイスに、前記コンピューティングデバイスのカメラを使用して前記ユーザの画像情報を捕獲することと、前記画像情報を分析して前記捕獲された画像内の前記ユーザの顔特徴を認識することであって、前記ユーザの前記現在の相対位置を前記コンピューティングデバイスに関して判定することは、前記認識された顔特徴の前記現在の相対位置を判定することを含む、分析することと、をさらに行わせる、付記２２に記載の非一時的コンピュータ可読記憶媒体。
以下に、本願出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
コンピュータ実装方法であって、実行可能命令を備えて構成された１つ以上のコンピューティングシステムの制御の下で、
コンピューティングデバイスの表示要素上に表示されるグラフィカルインターフェースを決定することであって、前記グラフィカルインターフェースは有効層および少なくとも１つの他の層を有し、前記有効層は前記グラフィカルインターフェース内の前記少なくとも１つの他の層の上に位置付けされるように見えるようにレンダリングされる、決定することと、
前記グラフィカルインターフェースの一部として前記表示要素上に複数のインターフェース要素を表示することであって、前記複数のインターフェース要素のそれぞれが前記レンダリング層のうちの１つに関連付けられる、表示することと、
前記少なくとも１つの他の層と関連付けられたインターフェース要素の選択に応答して、前記選択されたインターフェース要素を前記有効層と関連付けて、前記選択されたインターフェース要素の外観を前記有効層に対応するように調整することであって、前記選択されたインターフェース要素は、前記有効層と関連付けられたときにユーザから入力を受け取ることのできる、調整することと、を含む、コンピュータ実装方法。
［Ｃ２］
前記インターフェース要素のうちの１つの選択に応答して、前記有効層と以前に関連付けられていた以前に有効であったインターフェース要素を、前記少なくとも１つの他の層と関連付けられるようにして、前記以前に有効であったインターフェース要素の外観を前記少なくとも１つの他の層に対応するように調整することをさらに含む、［Ｃ１］に記載のコンピュータ実装方法。
［Ｃ３］
前記以前に有効であったインターフェース要素の前記外観を調整することは、前記インターフェース要素の大きさ、形状、色、陰影、またはぼかしのうちの少なくとも１つを調整することを含む、［Ｃ２］に記載のコンピュータ実装方法。
［Ｃ４］
第１の優先レベルを有するインターフェース要素が前記有効層と関連付けられ、第２の優先レベルを有するインターフェース要素が前記少なくとも１つの他の層と関連付けられ、前記第２の優先レベルは前記第１の優先レベルより低い、［Ｃ１］に記載のコンピュータ実装方法。
［Ｃ５］
前記コンピューティングデバイスのユーザの相対位置を判定することと、
前記ユーザの前記判定された相対位置に少なくとも部分的に基づく外観を用いて、前記グラフィカルインターフェースの前記有効層および前記少なくとも１つの他の層のインターフェース要素をレンダリングすることと、をさらに含む、［Ｃ１］に記載のコンピュータ実装方法。
［Ｃ６］
前記有効層のインターフェース要素は、前記ユーザの前記判定された相対位置から、前記少なくとも１つの他の層の前記インターフェース要素の上方に距離を置いて見えるようにレンダリングされる、［Ｃ５］に記載のコンピュータ実装方法。
［Ｃ７］
前記ユーザの前記相対位置を判定することは、前記コンピューティングデバイスの少なくとも１つのカメラを使用して画像情報を捕獲し、前記捕獲された画像情報を分析して前記ユーザの前記相対位置を判定することを含む、［Ｃ５］に記載のコンピュータ実装方法。
［Ｃ８］
前記グラフィカルインターフェースの表示中に、追加の画像情報を捕獲することと、
前記追加画像情報を分析し、前記ユーザの前記相対位置の変化を判定することと、
前記有効層または前記少なくとも１つの他の層のうちの少なくとも１つの前記レンダリングを、前記有効層の前記インターフェース要素が、前記ユーザの現在の相対位置から、前記少なくとも１つの他の層の前記インターフェース要素の上方に距離を置いたままに見えるように調整することと、をさらに含む、［Ｃ７］に記載のコンピュータ実装方法。
［Ｃ９］
前記コンピューティングデバイスの少なくとも１つのセンサを使用して、前記コンピューティングデバイスの向きまたは位置のうちの少なくとも１つにおける変化を検出することと、
前記検出された変化に少なくとも部分的に基づき、前記ユーザの現在の相対位置を判定することと、
前記有効層または前記少なくとも１つの他の層のうちの少なくとも１つの前記レンダリングを、前記有効層の前記インターフェース要素が、前記ユーザの前記現在の相対位置から、前記少なくとも１つの他の層の前記インターフェース要素の上方に距離を置いたままに見えるように調整することと、をさらに含む、［Ｃ７］に記載のコンピュータ実装方法。
［Ｃ１０］
ユーザの前記相対位置を判定することは、前記ユーザの少なくとも１つの顔特徴の相対位置を判定することを含む、［Ｃ５］に記載のコンピュータ実装方法。
［Ｃ１１］
コンピューティングデバイスであって、
プロセッサと、
表示画面と、
命令を含むメモリと、を備え、前記命令は、前記プロセッサによって実行されるとき、前記コンピューティングデバイスに、
グラフィカルインターフェースを前記表示画面上での表示のためにレンダリングすることであって、前記グラフィカルインターフェースは複数のインターフェース要素を含む、レンダリングすることと、
前記コンピューティングデバイスのユーザから前記インターフェース要素のうちの１つの選択を受け取ることと、
前記コンピューティングデバイスに対する前記ユーザの現在の相対位置を判定することと、
前記選択に応答して、前記ユーザの前記現在の相対位置に少なくとも一部は基づき、前記選択されたインターフェース要素が、少なくとも１つの他の表示されたインターフェース要素よりも前記ユーザにより近い距離であるかのように見えるように前記選択されたインターフェース要素のレンダリングを調整することと、を行わせる、コンピューティングデバイス。
［Ｃ１２］
前記ユーザの少なくとも一部分の画像を捕獲するように位置付けされたカメラであって、前記現在の相対位置は、前記コンピューティングデバイスの前記プロセッサを使用して、少なくとも部分的に前記捕獲された画像を分析することによって判定される、カメラ、をさらに備える、［Ｃ１１］に記載のコンピューティングデバイス。
［Ｃ１３］
前記コンピューティングデバイスの向きまたは位置のうちの少なくとも１つにおける変化を検出するように構成されたセンサであって、前記現在の相対位置は、前記コンピューティングデバイスの前記プロセッサを使用して、少なくとも部分的に、前記検出された変化を分析することによって判定される、センサ、をさらに備える、［Ｃ１１］に記載のコンピューティングデバイス。
［Ｃ１４］
前記ユーザからの音声入力を受諾するように構成されたマイクロホンであって、前記選択されたインターフェース要素は、前記選択されたインターフェース要素のためにオーディオ入力が提供されることができることを表示するグラフィカル要素を含むことができる、マイクロホン、をさらに備える、［Ｃ１１］に記載のコンピューティングデバイス。
［Ｃ１５］
前記表示画面は接触感知型であり、前記インターフェース要素のうちの１つの前記選択は、前記表示画面との接触を通して受け取られることができる、［Ｃ１１］に記載のコンピューティングデバイス。

【図1】

【図2】

【図3(a)】

【図3(b)】

【図4(a)】

【図4(b)】

【図5(a)】

【図5(b)】

【図6】

【図7】

【図8】

【図9】