特許 7440625 コンテンツの表示を制御する方法およびコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-19

(45)【発行日】2024-02-28

(54)【発明の名称】コンテンツの表示を制御する方法およびコンピュータプログラム

(51)【国際特許分類】

   G09G 5/00 20060101AFI20240220BHJP

   G06F 3/14 20060101ALI20240220BHJP

   G09G 5/37 20060101ALI20240220BHJP

   G09G 5/38 20060101ALI20240220BHJP

【ＦＩ】

G09G5/00 510V

G06F3/14 360A

G09G5/00 510A

G09G5/00 550C

G09G5/37 600

G09G5/38 100

【請求項の数】 15

(21)【出願番号】P 2022519439

(86)(22)【出願日】2020-08-26

(65)【公表番号】

(43)【公表日】2022-11-24

(86)【国際出願番号】 US2020070463

(87)【国際公開番号】W WO2021062430

(87)【国際公開日】2021-04-01

【審査請求日】2022-05-31

(31)【優先権主張番号】62/906,586

(32)【優先日】2019-09-26

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】16/599,383

(32)【優先日】2019-10-11

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】502208397

【氏名又は名称】グーグル エルエルシー

【氏名又は名称原語表記】Ｇｏｏｇｌｅ ＬＬＣ

【住所又は居所原語表記】１６００ Ａｍｐｈｉｔｈｅａｔｒｅ Ｐａｒｋｗａｙ ９４０４３ Ｍｏｕｎｔａｉｎ Ｖｉｅｗ， ＣＡ Ｕ．Ｓ．Ａ．

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】ファーボーグ，アレクサンダー・ジェイムズ

(72)【発明者】

【氏名】サッチター－ゼルツァー，アリエル

【審査官】武田 悟

(56)【参考文献】

【文献】米国特許出願公開第２０１９／０２７２１３８（ＵＳ，Ａ１）

【文献】特開２００５－２２７５７９（ＪＰ，Ａ）

【文献】国際公開第２０１８／０９８３２０（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１８／００４６４２３（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０９Ｇ ５／００ － ５／４２

Ｇ０６Ｆ ３／１４

(57)【特許請求の範囲】

【請求項1】

方法であって、
コンピューティングデバイスのプロセッサが、物理的環境内において第１のディスプレイデバイスと第２のディスプレイデバイスとを含む複数のディスプレイデバイスの各々との通信を検出することを含み、前記複数のディスプレイデバイスは、前記物理的環境内において前記コンピューティングデバイスに動作可能に結合され、前記方法はさらに、
前記複数のディスプレイデバイスの少なくとも１つの画像センサから、前記物理的環境に関連する画像データを受信することと、
前記複数のディスプレイデバイスの少なくとも１つの慣性センサから向きデータを受信することと、
前記少なくとも１つの画像センサから受信された前記画像データと前記少なくとも１つの慣性センサから受信された前記向きデータとに基づいて、前記物理的環境における前記第１のディスプレイデバイスの物理的位置と前記第２のディスプレイデバイスの物理的位置とを検出することと、
前記第１のディスプレイデバイスの前記物理的位置と前記第２のディスプレイデバイスの前記物理的位置とに基づいて、前記第１のディスプレイデバイスおよび前記第２のディスプレイデバイスに表示されるコンテンツを制御することとを含み、
前記通信を検出することは、前記第２のディスプレイデバイスとの通信を検出した後、前記第１のディスプレイデバイスとの通信を検出することを含み、
前記第１のディスプレイデバイスおよび前記第２のディスプレイデバイスに表示されるコンテンツを制御することは、前記第１のディスプレイデバイスとの通信の検出前に前記第２のディスプレイデバイスに表示されていた前記コンテンツを、前記第１のディスプレイデバイスと前記第２のディスプレイデバイスとの間で分散させることを含む、方法。

【請求項2】

前記第１のディスプレイデバイスから前記第２のディスプレイデバイスへの前記コンテンツの移動に対応するユーザ入力を検出することと、
前記ユーザ入力に応答して、前記コンテンツを表示することと、をさらに含み、
前記コンテンツを表示することは、前記複数のディスプレイデバイスのうちの前記第１のディスプレイデバイス上の第１の表示位置から前記第２のディスプレイデバイス上の第２の表示位置に移動させることを含む、請求項１に記載の方法。

【請求項3】

前記コンテンツを移動させることは、
前記物理的環境における前記第１のディスプレイデバイスの前記物理的位置と前記第２のディスプレイデバイスの前記物理的位置とに基づいて、前記第１のディスプレイデバイスと前記第２のディスプレイデバイスとの間の物理的不連続性を検出することと、
前記物理的不連続性に基づいて、前記第１のディスプレイデバイスから前記第２のディスプレイデバイスへの前記コンテンツの前記移動を調整することとを含む、請求項２に記載の方法。

【請求項4】

前記物理的不連続性を検出することは、
前記第１のディスプレイデバイスの前記物理的位置と前記第２のディスプレイデバイスの前記物理的位置との間の物理的間隙を検出すること、または、
前記第１のディスプレイデバイスもしくは前記第２のディスプレイデバイスの少なくとも一方の表示領域を取り囲む物理的なベゼル領域を検出すること、のうちの少なくとも１つを含む、請求項３に記載の方法。

【請求項5】

前記コンテンツの前記移動を調整することは、前記物理的不連続性を介した前記コンテンツの移動に対応するように、前記第２のディスプレイデバイス上の前記コンテンツの表示を遅延させることを含む、請求項３に記載の方法。

【請求項6】

前記ユーザ入力を検出することは、前記第２のディスプレイデバイスの移動を検出することを含み、前記第２のディスプレイデバイスは頭部装着型ディスプレイデバイスに含まれ、
前記ユーザ入力に応答して前記コンテンツを表示することは、前記コンテンツを前記頭部装着型ディスプレイデバイスの視野において仮想オブジェクトとして表示することを含む、請求項２に記載の方法。

【請求項7】

前記コンテンツを前記第１のディスプレイデバイスから前記第２のディスプレイデバイスに移動することは、
前記第１のディスプレイデバイスの前記物理的位置および前記第２のディスプレイデバイスの前記物理的位置に基づいて、前記コンテンツの位置および向きを、前記第１のディスプレイデバイス上の第１の位置および第１の向きから前記第２のディスプレイデバイス上の第２の位置および第２の向きに調整することを含む、請求項２に記載の方法。

【請求項8】

前記向きデータを少なくとも１つの慣性センサから受信することは、向きデータを前記第１のディスプレイデバイスの慣性センサから受信することを含み、
前記第１のディスプレイデバイスの前記物理的位置を検出することは、
前記第１のディスプレイデバイスの前記慣性センサからの前記向きデータに基づいて、前記第１のディスプレイデバイスの物理的向きを検出することと、
前記第１のディスプレイデバイスの前記物理的向きと、前記物理的環境に関連する前記画像データとに基づいて、前記第２のディスプレイデバイスに対する前記第１のディスプレイデバイスの前記物理的位置を検出することとを含む、請求項１～請求項７のいずれか１項に記載の方法。

【請求項9】

前記第１のディスプレイデバイスおよび前記第２のディスプレイデバイスの一方の移動を検出することをさらに含み、前記第１のディスプレイデバイスの移動は前記物理的環境における前記第１のディスプレイデバイスの前記物理的位置に基づいて検出され、前記第２のディスプレイデバイスの移動は前記物理的環境における前記第２のディスプレイデバイスの前記物理的位置に基づいて検出され、
前記第１のディスプレイデバイスまたは前記第２のディスプレイデバイスの前記一方の前記移動を検出したことに応答して、前記コンピューティングデバイスの表示設定を再構成することと、をさらに含む、請求項１～請求項８のいずれか１項に記載の方法。

【請求項10】

前記第１のディスプレイデバイスまたは前記第２のディスプレイデバイスの少なくとも一方は、モバイルディスプレイデバイスである、請求項９に記載の方法。

【請求項11】

前記コンピューティングデバイスの前記表示設定を再構成することは、前記複数のディスプレイデバイスのうちの主ディスプレイデバイスを動的に設定すること、または前記複数のディスプレイデバイスの相対位置を動的に設定することのうちの少なくとも１つを含む、請求項９に記載の方法。

【請求項12】

前記第１のディスプレイデバイスの前記物理的位置および前記第２のディスプレイデバイスの前記物理的位置を検出することは、
前記少なくとも１つの画像センサから、更新された画像データを受信することと、
前記少なくとも１つの慣性センサから、更新された向きデータを受信することと、
前記更新された画像データおよび前記更新された向きデータに基づいて、前記第１のディスプレイデバイスの更新された物理的位置および前記第２のディスプレイデバイスの更新された物理的位置を判断することと、
前記第１のディスプレイデバイスの前記更新された物理的位置および前記第２のディスプレイデバイスの前記更新された物理的位置に基づいて、前記コンピューティングデバイスの前記表示設定を更新することとを含む、請求項１１に記載の方法。

【請求項13】

前記通信を検出することは、前記第１のディスプレイデバイスとの切断を検出した後、第３のディスプレイデバイスとの通信を検出することを含み、
前記第１のディスプレイデバイスおよび前記第２のディスプレイデバイスに表示されるコンテンツを制御することは、前記第３のディスプレイデバイスとの通信の検出の後、前記コンテンツを、前記第２のディスプレイデバイスと前記第３のディスプレイデバイスとの間で分散させることを含む、請求項１～請求項１２のいずれか１項に記載の方法。

【請求項14】

前記第３のディスプレイデバイスは、タブレットコンピューティングデバイスまたは拡張現実頭部装着型ディスプレイデバイスもしくは手首装着型コンピューティングデバイスのうちの少なくとも１つを含むウェアラブルディスプレイデバイスのうちの少なくとも１つを含む、請求項１３に記載の方法。

【請求項15】

コンピューティングデバイスによって実行されることにより、前記コンピューティングデバイスに、請求項１～請求項１４のいずれか１項に記載の方法を実施させる、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の参照
本出願は、共に「DEVICE MANAGER THAT UTILIZES PHYSICAL POSITION OF DISPLAY DEVICES（ディスプレイデバイスの物理的位置を利用するデバイスマネージャ）」と題される、２０１９年９月２６日に提出された米国仮出願第６２／９０６，５８６号の利益を主張する、２０１９年１０月１１日に提出された米国特許非仮出願第１６／５９９，３８３号の利益を主張し、それらの開示の全体をここに引用により援用する。

【0002】

本出願は、「DEVICE MANAGER THAT UTILIZES PHYSICAL POSITION OF DISPLAY DEVICES（ディスプレイデバイスの物理的位置を利用するデバイスマネージャ）」と題される、２０１９年９月２６日に提出された米国仮出願第第６２／９０６，５８６号の利益を主張し、その開示の全体をここに引用により援用する。

【0003】

技術分野
本記載は、概して、複数のディスプレイデバイスを含むコンピューティングシステムに関する。

【背景技術】

【0004】

背景
コンピューティングシステムは、複数のコンピューティングアプリケーション、機能などとのユーザ対話を提供する１つ以上のグラフィカルユーザインターフェイスを含むことができる。グラフィカルユーザインターフェイスは、コンピューティングシステム内において動作可能に結合される１つ以上のディスプレイデバイスまたはモニタ上に表示されてもよい。複数のディスプレイデバイスの動作を管理するとき、ユーザは、例えば、コンピューティングシステムのオペレーティングシステムの設定モジュールにおいて、ディスプレイデバイスの順序を手動で選択するか、または割り当てるか、または設定してもよい。

【発明の概要】

【0005】

概要
コンピューティングシステム内の複数のディスプレイデバイスの相対的物理的位置を検出、設定、および更新するためのシステムは、システムの機能性を強化し得、ユーザ体験を改善し得る。ユーザによる手動入力および画面割り当てを伴わずに、ディスプレイが物理的空間内で互いに対してどこに位置決めされるかを識別することによって、ユーザ介入を伴わずに表示設定を構成することができ、ディスプレイ上に提示されるコンテンツとのユーザの自然で直感的な対話を向上させることができる、ウィンドウマネージャが提供されてもよい。表示設定の構成、例えば、インテリジェント構成は、マルチスクリーン環境において、特に、１つ以上のディスプレイデバイスがモバイルである状況において、コンピュータの制御を改善することができる。

【0006】

１つの一般的な態様では、ある方法は、コンピューティングデバイスのプロセッサが、物理的環境内において複数のディスプレイデバイスを検出することを含み、複数のディスプレイデバイスは、物理的環境内においてコンピューティングデバイスに動作可能に結合され、本方法はさらに、プロセッサが、複数のディスプレイデバイスの複数のセンサから、物理的環境に関連するデータを受信することと、プロセッサが、複数のディスプレイデバイスの複数のセンサから受信したデータに基づいて、物理的環境における複数のディスプレイデバイスの各ディスプレイデバイスの物理的位置を検出することと、プロセッサが、複数のディスプレイデバイスの検出された物理的位置に基づいて、複数のディスプレイデバイスのうちの少なくとも２つに表示されるコンテンツ、または、補助装置と複数のディスプレイデバイスとの対話、のうちの少なくとも１つを制御することとを含む。

【0007】

いくつかの実現例では、複数のディスプレイデバイス上に表示されるコンテンツを制御することは、ユーザ入力を検出することと、ユーザ入力に応答してコンテンツの表示を制御することとを含んでもよい。いくつかの実現例では、ユーザ入力を検出することは、表示されたコンテンツを複数のディスプレイデバイスのうちの第１のディスプレイデバイスから第２のディスプレイデバイスに移動させるコントローラ入力を検出することを含んでもよく、コンテンツを制御することは、表示されたコンテンツを複数のディスプレイデバイスのうちの第１のディスプレイデバイス上の表示位置から第２のディスプレイデバイス上の表示位置に移動させることを含んでもよい。いくつかの実現例では、表示されたコンテンツを第１のディスプレイデバイスから第２のディスプレイデバイスに移動することは、第１のディスプレイデバイスおよび第２のディスプレイデバイスの検出された物理的位置に応答して、表示されたコンテンツの位置および向きを、第１のディスプレイデバイス上の第１の位置および第１の向きから第２のディスプレイデバイス上の第２の位置および第２の向きに調整することを含んでもよい。いくつかの実現例では、第１のディスプレイデバイスの物理的向きは、第２のディスプレイデバイスの物理的向きとは異なってもよい。たとえば、第１のディスプレイデバイスは実質的に水平に向けられ得、第２のディスプレイデバイスは実質的に垂直に向けられてもよい。

【0008】

いくつかの実現例では、表示されたコンテンツを第１のディスプレイデバイスから第２のディスプレイデバイスに移動することは、物理空間における第１のディスプレイデバイスの検出された物理的位置および第２のディスプレイデバイスの検出された物理的位置に基づいて、第１のディスプレイデバイスと第２のディスプレイデバイスとの間の物理的不連続性を検出することと、検出された物理的不連続性に基づいて、第１のディスプレイデバイスから第２のディスプレイデバイスへの表示されたコンテンツの移動を調整することを含んでもよい。いくつかの実現例では、物理的不連続性を検出することは、第１のディスプレイデバイスの検出された物理的位置と第２のディスプレイデバイスの検出された物理的位置との間の物理的間隙を検出すること、または第１のディスプレイデバイスもしくは第２のディスプレイデバイスのうちの少なくとも１つの表示領域を囲む物理的ベゼル領域を検出すること、のうちの少なくとも１つを含んでもよい。いくつかの実現例では、表示されたコンテンツの移動を調整することは、物理的不連続性を介した表示されたコンテンツの移動に対応するように、第２のディスプレイデバイス上でのコンテンツの表示を遅延させることを含んでもよい。

【0009】

いくつかの実現例では、物理的環境における複数のディスプレイデバイスの各ディスプレイデバイスの物理的位置を検出することは、複数のディスプレイデバイスのうちの少なくとも１つのディスプレイデバイスの位置センサから向きデータを収集することと、向きデータに基づいて少なくとも１つのディスプレイデバイスの物理的向きを検出することとと、物理的向きと、複数のディスプレイデバイスの画像センサによって収集された物理的環境に関連するデータとに基づいて、複数のディスプレイデバイスの残りのディスプレイデバイスに対する少なくとも１つのディスプレイデバイスの物理的位置を検出することとを含んでもよい。

【0010】

いくつかの実現例では、本方法はまた、複数のディスプレイデバイスの検出された物理的位置に基づいて、コンピューティングデバイスの表示設定を動的に構成することを含んでもよい。複数のディスプレイデバイスのうちの少なくとも２つに表示されるコンテンツは、動的に構成された表示設定に基づいて制御されてもよい。いくつかの実現例では、本方法はまた、複数のディスプレイデバイスのうちの少なくとも１つのディスプレイデバイスの位置センサから移動データを受信することと、向きデータに基づいて少なくとも１つのディスプレイデバイスの移動を検出することと、複数のディスプレイデバイスのうちの少なくとも１つのディスプレイデバイスの移動を検出したことに応答して表示設定を動的に構成することとを含んでもよい。いくつかの実現例では、複数のディスプレイデバイスのうちの少なくとも１つのディスプレイデバイスはモバイルディスプレイデバイスである。

【0011】

いくつかの実現例では、コンピューティングデバイスの表示設定を自動的にまたは動的に構成することは、複数のディスプレイデバイスの順序を動的に設定すること、複数のディスプレイデバイスのうちの主ディスプレイデバイスを動的に設定すること、または複数のディスプレイデバイスの相対位置を動的に設定すること、のうちの少なくとも１つを含む。いくつかの実現例では、複数のディスプレイデバイスの各ディスプレイデバイスの物理的位置を検出することは、複数のディスプレイデバイスの画像センサから画像センサデータを受信し、複数のディスプレイデバイスの位置センサから向きデータを受信することと、更新された画像センサデータおよび更新された向きデータに基づいて複数のディスプレイデバイスの物理的位置を動的に更新することと、複数のディスプレイデバイスの更新された物理的位置に基づいてコンピューティングデバイスの表示設定を動的に更新することとを含んでもよい。

【0012】

いくつかの実現例では、補助装置と複数のディスプレイデバイスとの対話を制御することは、表示補助装置または非表示補助装置と複数のディスプレイデバイスとの対話を制御することを含む。いくつかの実現例では、表示補助装置は、タブレットコンピューティングデバイスまたはウェアラブルディスプレイデバイスのうちの少なくとも１つを含んでもよい。いくつかの実現例では、ウェアラブルディスプレイデバイスは、拡張現実頭部装着型ディスプレイデバイスまたは手首装着型コンピューティングデバイスのうちの少なくとも１つを含んでもよく、非表示補助装置は、キーボード入力装置、マウス入力装置、またはタッチパッド入力装置のうちの少なくとも１つを含んでもよい。

【0013】

別の一般的な態様では、方法は、コンピューティングデバイスのプロセッサが、物理的環境内において複数のディスプレイデバイスを検出することを含み、複数のディスプレイデバイスは、物理的環境内においてコンピューティングデバイスに動作可能に結合され、本方法はさらに、プロセッサが、物理的環境に関連するデータを複数のディスプレイデバイスの画像センサから受信することと、プロセッサが、物理的環境に関連するデータに基づいて、物理的環境における複数のディスプレイデバイスの各ディスプレイデバイスの物理的位置を検出することと、複数のディスプレイデバイスの検出された物理的位置に基づいて、コンピューティングデバイスの表示設定を自動的または動的に構成することとを含む、方法である。

【0014】

別の一般的な態様では、非一時的コンピュータ可読記憶媒体上に有形に具現化されたコンピュータプログラム製品は、命令を含んでもよく、上記命令は、コンピューティングデバイスによって実行されると、コンピューティングデバイスに、物理的環境において複数のディスプレイデバイスを検出させ、複数のディスプレイデバイスからデータを受信させ、データは、複数のディスプレイデバイスの複数のセンサによって収集され、さらに、複数のディスプレイデバイスの複数のセンサによって収集されたデータに基づいて、物理的環境に関連するデータに基づいて、物理的環境における複数のディスプレイデバイスの各ディスプレイデバイスの物理的位置を検出させ、複数のディスプレイデバイスの検出された物理的位置に基づいて、複数のディスプレイデバイスのうちの少なくとも２つに表示されるコンテンツ、または、 補助装置と複数のディスプレイデバイスとの対話、のうちの少なくとも１つを制御させる。命令は、コンピューティングデバイスに、本明細書で説明される方法のいずれかを実行させるように構成されてもよい。

【0015】

いくつかの実現例では、複数のディスプレイデバイス上に表示されるコンテンツを制御することにおいて、命令は、コンピューティングデバイスに、表示されたコンテンツを複数のディスプレイデバイスのうちの第１のディスプレイデバイスから第２のディスプレイデバイスに移動させるコントローラ入力を含むユーザ入力を検出させ、表示されたコンテンツを、複数のディスプレイデバイスのうちの第１のディスプレイデバイス上の表示位置から第２のディスプレイデバイス上の表示位置に移動させてもよい。いくつかの実現例では、表示されたコンテンツを第１のディスプレイデバイスから第２のディスプレイデバイスに移動させる際に、命令は、コンピューティングデバイスに、第１のディスプレイデバイスの物理的向きが第２のディスプレイデバイスの物理的向きとは異なることを検出させ、第１のディスプレイデバイスの検出された物理的向きおよび第２のディスプレイデバイスの検出された物理的向きに応答して、表示されたコンテンツの位置および向きを、第１のディスプレイデバイス上の第１の位置および第１の向きから第２のディスプレイデバイス上の第２の位置および第２の向きに調整させてもよい。

【0016】

いくつかの実現例では、表示されたコンテンツを第１のディスプレイデバイスから第２のディスプレイデバイスに移動する際に、命令は、コンピューティングデバイスに、第１のディスプレイデバイスと第２のディスプレイデバイスとの間の物理的不連続性を検出させてもよく、検出された物理的不連続性は、第１のディスプレイデバイスの検出された物理的位置と第２のディスプレイデバイスの検出された物理的位置との間の物理的間隙、または第１のディスプレイデバイスもしくは第２のディスプレイデバイスのうちの少なくとも１つの表示領域を囲む物理的ベゼル領域、のうちの少なくとも１つを含み、命令は、さらに、コンピューティングデバイスに、検出された物理的不連続性を介した表示されたコンテンツの移動に対応するように、第１のディスプレイデバイスから第２のディスプレイデバイスへの表示されたコンテンツの移動を調整させてもよい。

【0017】

いくつかの実現例では、物理的環境における複数のディスプレイデバイスの各ディスプレイデバイスの物理的位置を検出する際に、命令は、コンピューティングデバイスに、複数のディスプレイデバイスの各ディスプレイデバイスについて、ディスプレイデバイスの位置センサから向きデータを受信させ、向きデータに基づいてディスプレイデバイスの物理的向きを検出させ、複数のディスプレイデバイスのうちの残りのディスプレイデバイスに対するディスプレイデバイスの物理的位置を、物理的向きと、画像センサから受信された物理的環境に関連するデータとに基づいて検出させてもよい。いくつかの実現例では、命令は、コンピューティングデバイスに、複数のディスプレイデバイスのうちの少なくとも１つのディスプレイデバイスの位置センサから移動データを受信させ、移動データに基づいて少なくとも１つのディスプレイデバイスの移動を検出させ、複数のディスプレイデバイスのうちの少なくとも１つのディスプレイデバイスの検出された移動に応答して表示設定を動的に更新させてもよい。いくつかの実現例では、複数のディスプレイデバイスの各ディスプレイデバイスの物理的位置を検出する際に、命令は、コンピューティングデバイスに、画像センサデータおよび向きデータを周期的に受信させ、更新された画像センサデータおよび更新された向きデータに基づいて複数のディスプレイデバイスの物理的位置を動的に更新させ、複数のディスプレイデバイスの更新された物理的位置に基づいてコンピューティングデバイスの表示設定を動的に更新させてもよい。

【0018】

１つ以上の実現例の詳細が、添付の図面および以下の説明に記載される。他の特徴は、記載および図面、ならびに特許請求の範囲から明らかになるであろう。

【図面の簡単な説明】

【0019】

【図1】本明細書で説明する実現例による、複数の出力装置を含むコンピューティングシステムのブロック図である。

【図2】本明細書で説明する実現例による、複数の出力装置を含むコンピューティングシステムを示す。

【図3A】本明細書で説明する実現例による、例示的なコンピューティングシステムの例示的なディスプレイデバイスの例示的な構成を示す。

【図3B】本明細書で説明する実現例による、例示的なコンピューティングシステムの例示的なディスプレイデバイスの例示的な構成を示す。

【図3C】本明細書で説明する実現例による、例示的なコンピューティングシステムの例示的なディスプレイデバイスの例示的な構成を示す。

【図3D】本明細書で説明する実現例による、例示的なコンピューティングシステムの例示的なディスプレイデバイスの例示的な構成を示す。

【図4A】本明細書で説明する実現例による、複数のディスプレイデバイスを含むコンピューティングシステムにおける主ディスプレイデバイスの設定を示す。

【図4B】本明細書で説明する実現例による、複数のディスプレイデバイスを含むコンピューティングシステムにおける主ディスプレイデバイスの設定を示す。

【図4C】本明細書で説明する実現例による、複数のディスプレイデバイスを含むコンピューティングシステムにおける主ディスプレイデバイスの設定を示す。

【図4D】本明細書で説明する実現例による、複数のディスプレイデバイスを含むコンピューティングシステムにおける主ディスプレイデバイスの設定を示す。

【図4E】本明細書で説明する実現例による、複数のディスプレイデバイスを含むコンピューティングシステムにおける主ディスプレイデバイスの設定を示す。

【図4F】本明細書で説明する実現例による、複数のディスプレイデバイスを含むコンピューティングシステムにおける主ディスプレイデバイスの設定を示す。

【図5A】本明細書で説明する実現例による、複数のディスプレイデバイスを含むコンピューティングシステムにおける表示コンテンツの移動を示す。

【図5B】本明細書で説明する実現例による、複数のディスプレイデバイスを含むコンピューティングシステムにおける表示コンテンツの移動を示す。

【図5C】本明細書で説明する実現例による、複数のディスプレイデバイスを含むコンピューティングシステムにおける表示コンテンツの移動を示す。

【図5D】本明細書で説明する実現例による、複数のディスプレイデバイスを含むコンピューティングシステムにおける表示コンテンツの移動を示す。

【図5E】本明細書で説明する実現例による、複数のディスプレイデバイスを含むコンピューティングシステムにおける表示コンテンツの移動を示す。

【図5F】本明細書で説明する実現例による、複数のディスプレイデバイスを含むコンピューティングシステムにおける表示コンテンツの移動を示す。

【図6A】本明細書で説明する実現例による、複数のディスプレイデバイスを含むコンピューティングシステムにおける表示コンテンツの移動を示す。

【図6B】本明細書で説明する実現例による、複数のディスプレイデバイスを含むコンピューティングシステムにおける表示コンテンツの移動を示す。

【図6C】本明細書で説明する実現例による、複数のディスプレイデバイスを含むコンピューティングシステムにおける表示コンテンツの移動を示す。

【図6D】本明細書で説明する実現例による、複数のディスプレイデバイスを含むコンピューティングシステムにおける表示コンテンツの移動を示す。

【図6E】本明細書で説明する実現例による、複数のディスプレイデバイスを含むコンピューティングシステムにおける表示コンテンツの移動を示す。

【図6F】本明細書で説明する実現例による、複数のディスプレイデバイスを含むコンピューティングシステムにおける表示コンテンツの移動を示す。

【図6G】本明細書で説明する実現例による、複数のディスプレイデバイスを含むコンピューティングシステムにおける表示コンテンツの移動を示す。

【図6H】本明細書で説明する実現例による、複数のディスプレイデバイスを含むコンピューティングシステムにおける表示コンテンツの移動を示す。

【図7A】本明細書で説明される実現例による、例示的なコンピューティングシステムの例示的な構成を示す。

【図7B】本明細書で説明される実現例による、例示的なコンピューティングシステムの例示的な構成を示す。

【図7C】本明細書で説明される実現例による、例示的なコンピューティングシステムの例示的な構成を示す。

【図8A】本明細書で説明する実現例による、複数のディスプレイデバイスを含むコンピューティングシステムにおける表示コンテンツのジェスチャ認識および動きを示す。

【図8B】本明細書で説明する実現例による、複数のディスプレイデバイスを含むコンピューティングシステムにおける表示コンテンツのジェスチャ認識および動きを示す。

【図8C】本明細書で説明する実現例による、複数のディスプレイデバイスを含むコンピューティングシステムにおける表示コンテンツのジェスチャ認識および動きを示す。

【図8D】本明細書で説明する実現例による、複数のディスプレイデバイスを含むコンピューティングシステムにおける表示コンテンツのジェスチャ認識および動きを示す。

【図8E】本明細書で説明する実現例による、複数のディスプレイデバイスを含むコンピューティングシステムにおける表示コンテンツのジェスチャ認識および動きを示す。

【図8F】本明細書で説明する実現例による、複数のディスプレイデバイスを含むコンピューティングシステムにおける表示コンテンツのジェスチャ認識および動きを示す。

【図8G】本明細書で説明する実現例による、複数のディスプレイデバイスを含むコンピューティングシステムにおける表示コンテンツのジェスチャ認識および動きを示す。

【図8H】本明細書で説明する実現例による、複数のディスプレイデバイスを含むコンピューティングシステムにおける表示コンテンツのジェスチャ認識および動きを示す。

【図8I】本明細書で説明する実現例による、複数のディスプレイデバイスを含むコンピューティングシステムにおける表示コンテンツのジェスチャ認識および動きを示す。

【図8J】本明細書で説明する実現例による、複数のディスプレイデバイスを含むコンピューティングシステムにおける表示コンテンツのジェスチャ認識および動きを示す。

【図8K】本明細書で説明する実現例による、複数のディスプレイデバイスを含むコンピューティングシステムにおける表示コンテンツのジェスチャ認識および動きを示す。

【図8L】本明細書で説明する実現例による、複数のディスプレイデバイスを含むコンピューティングシステムにおける表示コンテンツのジェスチャ認識および動きを示す。

【図9】本明細書で説明する実現例によるコンピューティングシステムを動作させる方法のフローチャートである。

【図10】本明細書で説明する技法を実現するために用いられ得るコンピュータデバイスおよびモバイルコンピュータデバイスの一例を示す。

【発明を実施するための形態】

【0020】

詳細な説明
ユーザは、例えば、複数のディスプレイデバイス上に表示されるコンテンツとのユーザ対話を容易にするために、複数のディスプレイデバイスを含むコンピューティングシステムに関与し得る。複数の物理的ディスプレイデバイスを同じ物理的場所に含む構成では、複数のディスプレイデバイスは、どのように／どのディスプレイデバイスでコンテンツが表示されるかを設定ならびに／または変更するために、典型的には、ユーザが、ディスプレイデバイスを物理的に移動／再配置する、および／もしくは表示設定を手動で再割り当てする、および／もしくはディスプレイデバイスの相対的位置決めを手動で指定するであろう、という点で問題を呈し得る。同様に、例えば、ラップトップコンピューティングデバイスが切断／移動／再接続されるとき、ユーザは、典型的には、同様のプロセスを経るであろう。これは、コンピューティングデバイスが再接続されるたび、ディスプレイが追加および／または移動されるたびに、ユーザがこのプロセスを経ることは、複雑であり、時間がかかるなどの点で、技術的課題または問題を提示し得る。

【0021】

上述の問題に対する様々な解決策が、本明細書で説明される実現例に従って、コンピューティングシステムによって提供される。本明細書で説明する実現例によるコンピューティングシステムは、複数のディスプレイに含まれる様々なセンサによって収集されたデータを活用して、システムが動作している実世界環境の３次元マッピングされたモデルを生成する（たとえば構築する）ことができる。コンピューティングシステムは、このモデル、および複数のディスプレイに含まれるセンサによるデータの継続的（例えば、周期的、連続的、ランダム）収集を用いて、複数のディスプレイのうちの少なくともいくつか（例えば、ある状況では、各々）の物理的位置を確立し、ユーザ入力またはユーザ介入を（例えば、実質的に）必要とせずに表示設定を設定（例えば、規定、記憶）してもよい。コンピューティングシステムは、このモデル、および複数のディスプレイに含まれるセンサによるデータの継続的な収集を用いて、複数のディスプレイの移動、向きの変化、再配置などを検出し、それに応じて、ユーザ入力またはユーザ介入を必要とすることなく、表示設定をリセットし、それによって、コンピューティングデバイスが再接続され１つ以上のディスプレイが追加／除去／移動等されるたびの表示設定の再割り当ての問題に対する解決策を提供することができる。表示設定は、例えば、複数のディスプレイのうちの１つを主ディスプレイとして設定すること、異なる複数のディスプレイに表示されるべきコンテンツを決定すること、複数のディスプレイ間のコンテンツの表示の遷移、表示特性（例えば、縮尺、位置決めなど）の変化、および他のそのような特徴を含むことができる。表示設定に関するさらなる詳細は、以下で説明される。

【0022】

表示設定をこのように構成すること（例えば、自動的にまたは動的に構成すること）は、マルチスクリーン環境におけるコンピューティングデバイスの改善された制御の技術的効果を少なくとも提供することができる。このように表示設定を構成することは、複数のディスプレイと、コンピューティングシステムに動作可能に結合されてもよい１つ以上の補助装置との間の対話の制御の改善という技術的効果を提供することができる。

【0023】

補助装置は、例えば、ディスプレイ対応補助装置および非表示補助装置を含んでもよい。ディスプレイ対応補助装置は、たとえば、ディスプレイを含むタブレットコンピューティングデバイス、拡張現実頭部装着型ディスプレイデバイスおよび手首装着型コンピューティングデバイスなどのウェアラブルコンピューティングデバイス、ならびに他のそのようなディスプレイ対応補助装置を含んでもよい。非表示補助装置は、例えば、キーボード装置、マウス装置、タッチパッド装置などのユーザ入力装置を含んでもよい。いくつかの実現例では、複数のディスプレイと１つ以上の補助装置との間の対話は、検出された物理的位置に基づいて制御されてもよい。例えば、１つ以上の補助入力装置（キーボード、マウス等）への入力は、ディスプレイ間の物理的距離もしくは間隙を考慮するように調整または制御されてもよい。

【0024】

いくつかの実現例では、複数のディスプレイのうちの１つ以上に含まれるセンサは、たとえば、画像センサ、位置センサ、音声センサなどを含んでもよい。コンピューティングシステムは、センサによって収集された情報を分析して、実世界環境のモデルを構築してもよい。システムは、モデルを用いて、ユーザによる手動入力および画面割り当てを伴わずに（例えば、実質的に伴わずに）、複数のディスプレイが互いに対して実世界環境内のどこに位置決めされるかを識別（例えば認識）および利用してもよい。少なくとも１つの（例えば各々の）ディスプレイの物理的位置のこのようなリアルタイム識別および利用は、例えば、ユーザ介入を必要とせずに表示設定を構成し、したがって、ディスプレイ上に提示されるコンテンツとの自然で直感的なユーザ対話を向上させ得る、インテリジェントウィンドウ管理を提供し得る。いくつかの実現例では、例えば、正面カメラ等の画像センサによって収集されるデータは、ジェスチャ認識を提供してもよく、および／またはユーザ位置を追跡してもよい。たとえば、いくつかの実現例では、画像センサによって収集されるデータは、複数のディスプレイに対するユーザ位置および／もしくは向きを検出ならびに／または追跡するために用いられてもよい。例えば、いくつかの実現例では、画像センサによって収集されるデータは、ユーザの頭部位置、頭部正面方向、眼の注視方向、身体の向きおよび／または方向等を追跡してもよい。このようにして収集されたデータは、ディスプレイ上に提示されるコンテンツとの自然で直感的なユーザ対話をさらに向上させ得る。

【0025】

表示設定を構成することは、マルチスクリーン環境において、特に１つ以上のディスプレイデバイスがディスプレイを含むタブレットコンピューティングデバイスなどのモバイルディスプレイデバイスである状況において、コンピュータの制御を改善するという技術的効果を少なくとも提供することができる。さらに、補助装置と複数のディスプレイデバイスとの対話を制御することによって、（いくつかの実現例では、複数のディスプレイデバイスの検出された物理的位置に基づいて制御することによって）ユーザ入力がより直感的であってもよい。例えば、補助装置を介して提供されるユーザ入力は、ディスプレイデバイスの物理的位置、向きなどを考慮に入れるように管理されてもよい。

【0026】

いくつかの実現例では、対話は、補助装置に関してコンピューティングデバイスにおいて行われ、いくつかの実現例では、装置の検出された物理的位置に応答して行われる、任意の調整または制御を包含すると見なされ得る。例えば、対話は、入力および／もしくは出力の出所および／もしくは処理、ならびに補助装置の任意の自動検出、または１つ以上の補助装置の接続もしくは切断時の設定の変化を含むことができる。そのような対話は、任意のコンテンツが表示される前に、および／またはユーザへのコンテンツの表示と同時に行われてもよい。

【0027】

本明細書で説明される原理は、定置ディスプレイモニタ、および、たとえば、タブレットコンピューティングデバイス、ラップトップコンピューティングデバイス、スマートフォン、頭部装着型ディスプレイデバイスなどのモバイルディスプレイデバイスも含むコンピューティングシステムに適用されてもよい。コンピューティングデバイスに動作可能に結合されると、これらのモバイルディスプレイデバイスは、コンテンツを表示することができる補助ディスプレイとして用いられてもよい。いくつかの実現例では、画像センサ、位置／向きセンサなどによって収集されるデータを、断続的に、たとえば、または周期的に収集し、設定されたスケジュールで収集し、および／または実質的に連続的に収集して、コンピューティングシステムのディスプレイのうちの少なくとも１つ（たとえば各々）の位置および／または向きを更新し、表示設定を更新し、および／または、それに応じて、表示されたコンテンツの位置決めを調整（もしくは制御）してもよい。いくつかの実現例では、表示設定を、たとえば、１つ以上の装置の起動、再起動、検出された移動、ユーザ要求などのトリガイベントに応答して設定（たとえば、規定、記憶）およびリセット（例えば、自動的に変更、消去、リセット）して、それに従って、表示されたコンテンツの位置決めを調整または制御してもよい。

【0028】

図１は、例示的なコンピューティングシステム１０のブロック図である。コンピューティングシステム１０は、本明細書で説明する実現例によれば、複数のディスプレイに含まれる様々なセンサによって収集されたデータを活用して、システムが動作している実世界環境の３次元マッピングされたモデル（これは、実世界環境のスキャンを介して収集することができる）を生成（たとえば構築）してもよい。コンピューティングシステムは、このモデル、および複数のディスプレイに含まれるセンサによるデータの継続的（例えば、周期的、連続的、ランダム）収集を用いて、複数のディスプレイのうちの少なくともいくつか（例えば、各々）の物理的位置を確立し、ユーザ入力またはユーザ介入を（例えば、実質的に）必要とせずに表示設定を設定してもよい。コンピューティングシステムは、このモデル、および複数のディスプレイに含まれるセンサによるデータの継続的な収集を用いて、複数のディスプレイの移動、向きの変化、再配置などを検出し、それに応じて、ユーザ入力またはユーザ介入を必要とせずに、表示設定をリセットしてもよい。

【0029】

例示的なコンピューティングシステムは、コンピューティングデバイス２０に動作可能に結合される１つ以上の入力装置３０と１つ以上の出力装置４０とを含んでもよい。入力装置３０および出力装置４０は、有線もしくは無線結合を介して、および／またはネットワーク（図示せず）を介して、コンピューティングデバイス２０と通信してもよい。同様に、コンピューティングシステム１０は、ネットワークを介して外部コンピューティングシステムおよび外部ソースと通信してもよい。コンピューティングデバイス２０は、たとえば、プロセッサ、オペレーティングシステム、メモリ、および他のそのような構成要素を含んでもよい。１つ以上の入力装置３０（補助装置であり得る）は、たとえば、キーボード、マウス、タッチ／トラックパッド、および他のそのような装置を含んでもよい。１つ以上の出力装置４０は、たとえば、スピーカなどの音声出力装置、ディスプレイデバイスなどの視覚出力装置、および他のそのような出力装置を含んでもよい。いくつかの実現例では、複数のディスプレイデバイスがコンピューティングデバイス２０に動作可能に結合されてもよい。コンピューティングデバイス２０への複数のディスプレイデバイスの動作可能な結合は、コンテンツの視覚的表示に利用可能な領域を拡張し、仮想作業空間を拡張し、複数のアプリケーションにわたる共有を容易にするなどし、したがって、生産性を向上させ、ユーザに対するコンピューティングシステム１０の機能性および有用性を向上させ得る。コンピューティングデバイス２０に動作可能に結合されるディスプレイデバイスは、コンピューティングデバイス２０に通信可能に結合される１つ以上の他のコンピューティングデバイスに関連付けられてもよい。

【0030】

図２は、本明細書で説明される実現例に従って、ユーザが、実世界環境１０００において、複数のディスプレイデバイス１４０を含むコンピューティングシステム１００に関わっているのを示す。複数の物理的ディスプレイデバイス１４０を同じ物理的場所に含むこの種の例示的構成では、ユーザは、典型的には、ディスプレイデバイス１４０を物理的に移動／再配置する、もしくは表示設定を手動で再割り当てし、ディスプレイデバイス１４０の相対的位置決めを手動で指定して、どのように／どのディスプレイデバイス１４０でコンテンツが表示されるかを変更しなければならないであろう。例えば、ラップトップコンピューティングデバイスが切断／移動／再接続されるたびに、ユーザは、典型的には、手動で表示設定を再割り当てする／ディスプレイデバイス１４０の相対的位置決めを指定するプロセスを経なければならないであろう。複数のディスプレイデバイス１４０を含むコンピューティングシステム１００では、本明細書で説明する実現例によれば、コンピューティングシステム１００は、ディスプレイデバイス１４０のセンサによって収集された情報を活用して、ユーザ介入なしに複数のディスプレイデバイス１４０の相対位置および／または向きを識別してもよい。

【0031】

図２に示す例示的な構成では、コンピューティングシステム１００は、この例ではコンピューティングデバイス１２０をラップトップコンピュータの形態で含む。図２に示される例示的な構成では、複数のディスプレイデバイス１４０がコンピューティングデバイス１２０に動作可能に結合される。いくつかの実現例では、複数のディスプレイデバイス１４０は、たとえば、図２に示すように、たとえば、第１のディスプレイデバイス１４０Ａおよび第２のディスプレイデバイス１４０Ｂなど、コンピューティングデバイス１２０とは別個の１つ以上のスタンドアロンディスプレイデバイスを含んでもよい。いくつかの実現例では、複数のディスプレイデバイス１４０は、たとえば、コンピューティングデバイス１２０に統合されるディスプレイ１４０Ｃを含んでもよい。いくつかの実現例では、複数のディスプレイデバイス１４０は、コンピューティングデバイス１２０から分離され、コンピューティングデバイス１２０および／または他のディスプレイデバイス１４０のうちの１つに動作可能に結合される、たとえば、タブレットデバイス１４０Ｄなどのモバイルディスプレイデバイス１４０Ｃを含んでもよい。

【0032】

ユーザは、たとえば、コンピューティングデバイス１２０に動作可能に結合されてもよい複数の入力装置１３０のうちの１つを用いて、ディスプレイデバイス１４０のうちの１つ以上に表示されるコンテンツと対話してもよい。たとえば、いくつかの実現例では、キーボードの形態の第１の入力装置１３０Ａと、マウスの形態の第２の入力装置１３０Ｂとが、コンピューティングデバイス１２０に動作可能に結合されてもよい。上述のように、コンテンツとのこのような対話は、いくつかの実現例では、制御装置の検出された物理的位置に部分的に基づいて制御または調整されてもよい。いくつかの実現例では、１つ以上の入力装置１３０は、たとえば、コンピューティングデバイス１２０上に一体的に設けられたキーボードおよび／またはタッチパッド１３０Ｃ、モバイルディスプレイデバイス１４０Ｄ上に一体的に設けられたタッチスクリーン１３０Ｄなどを含んでもよい。いくつかの実現例では、コンピューティングシステム１００は、たとえば、音声コマンドを受信することが可能な音声入力装置（図示せず）などの他の入力装置１３０を含んでもよい。これらの入力装置１３０とディスプレイデバイス１４０との対話は、例えば、入力装置１３０へのユーザ入力を処理するときに、画面間の物理的間隙または画面の向きが考慮されるように制御され得る（例えば、ユーザによるマウス１３０Ｂの移動の速度および／またはユーザによるマウス１３０Ｂの移動の速度とコンピューティングデバイスにおいて計算される位置との間の関係が制御または調整されてもよい）。これにより、ユーザ対話は、より直感的であり得る。

【0033】

いくつかの実現例では、たとえば、頭部装着型ディスプレイデバイス、手首装着型装置など（図示せず）のウェアラブル装置も、コンピューティングデバイス１２０に動作可能に結合されてもよい。いくつかの実現例では、これらのタイプのウェアラブル装置はまた、コンピューティングデバイス１２０に動作可能に結合されたときに出力装置および／または入力装置として機能してもよい。

【0034】

いくつかの実現例では、ディスプレイデバイス１４０は１つ以上のセンサを含んでもよい。１つ以上のセンサは、システムが動作している周囲環境において複数のディスプレイデバイスのうちの少なくとも１つ（たとえば、各々）の物理的位置および向きをシステムが認識すること、たとえば、自動的に認識すること、または判断することを可能にする情報を収集してもよい。いくつかの実現例では、このデータ収集および周囲環境におけるディスプレイデバイス１４０の物理的位置の判断は、システムが、たとえばインテリジェントに、または表示設定の割り当てのための特定のユーザ介入なしに、表示設定を割り当てることを可能にし得る。いくつかの実現例では、このデータ収集および周囲環境におけるディスプレイデバイス１４０の物理的位置の判断は、システムが、１つ以上のトリガに応答して、特定のユーザ介入なしに、たとえば、表示設定をインテリジェントに更新（または構成）することを可能にし得る。

【0035】

たとえば、いくつかの実現例では、システムは、ディスプレイデバイス１４０のうちの１つ以上のディスプレイデバイス１４０の画像センサ１４２またはカメラ１４２によって収集された画像情報（例えば、収集された画像情報のストリーム、定期的にまたはランダムに収集された画像情報）を分析してもよい。システムは、収集された画像情報を分析して、それぞれのディスプレイデバイスの３次元姿勢情報および位置情報を取得してもよい。

【0036】

例えば、いくつかの実現例では、システムは、収集された画像情報を分析して、実世界環境１０００内の物体を識別し、実世界環境１０００内の表面（すなわち、壁、床、水平作業面など）を識別し、実世界物体間の空間、および実世界環境１０００に関連する他のそのような情報を識別してもよい。収集された画像情報のこのような分析、および実世界環境１０００内の実物体の既知の位置に基づいて、システムは、それぞれのディスプレイデバイス１４０のうちの少なくとも１つ（例えば、各々）について、相対位置および／または姿勢情報を判断してもよい。したがって、実世界環境１０００または物理的環境１０００における少なくとも１つ（たとえば、各々）のディスプレイデバイス１４０の物理的位置が検出されてもよい。

【0037】

同様に、いくつかの実現例では、ディスプレイデバイス１４０のうちの１つ以上は、たとえば、たとえば、加速度計、ジャイロスコープ、磁力計、および他のそのようなセンサを含む慣性測定ユニット（ＩＭＵ）１４４などの、位置センサ１４４を含んでもよい。システムは、ディスプレイデバイス１４０のうちの１つ以上のディスプレイデバイス１４０の位置センサ１４４によって収集された位置および／または向き情報を分析して、それぞれのディスプレイデバイス１４０の向き、および他のディスプレイデバイス１４０の相対的な向きに関する情報を取得してもよい。したがって、実世界環境１０００または物理的環境１０００における少なくとも１つの（たとえば、各々の）ディスプレイデバイス１４０の物理的位置が検出されてもよい。

【0038】

センサ１４２、１４４によって収集されたデータ（すなわち、画像センサ１４２によって収集された画像データおよび／または位置センサ１４４によって収集された位置データ）に基づいて、システムは、実世界環境１０００の意味論的理解を決定（例えば、展開）してもよく、実世界環境１０００の３次元マッピングされたモデルを展開してもよい。実世界環境１０００の意味論的理解は、システムが、実世界環境内において、ディスプレイデバイス１４０の物理的位置が導出されてもよい基準点またはアンカー点としての役割を果たし得る実質的に静止している物体（すなわち、壁面、角部、窓、家具など）を認識することを可能にし得る。システムは、それぞれのディスプレイデバイス１４０の画像センサ１４２によって収集された画像情報における検出された変化に応答して、ディスプレイデバイス１４０のうちの１つ以上のディスプレイデバイス１４０の位置の変化を検出してもよい。同様に、システムは、それぞれのディスプレイデバイス１４０の位置センサ１４４によって収集された位置データの検出された変化に応答して、ディスプレイデバイス１４０のうちの１つ以上のディスプレイデバイス１４０の位置の変化を検出してもよい。

【0039】

図３Ａ～図３Ｄは、単に説明および例示を目的として、上述の例示的なディスプレイデバイス１４０Ａ、１４０Ｂ、１４０Ｃ、および１４０Ｄの配置を示す。本明細書で説明される実現例による、複数のディスプレイデバイスを含むコンピューティングシステムは、類似または異なる様式で配置される、より多くのディスプレイデバイスまたはより少ないディスプレイデバイスを含むことができる。図３Ａに示されるように、第１のディスプレイデバイス１４０Ａの画像センサ１４２Ａまたはカメラ１４２Ａは、視野Ａを有してもよい。図３Ｂに示されるように、第２のディスプレイデバイス１４０Ｂの画像センサ１４２Ｂまたはカメラ１４２Ｂは、視野Ｂを有してもよい。図３Ｃに示されるように、第３のディスプレイデバイス１４０Ｃの画像センサ１４２Ｃまたはカメラ１４２Ｃは、視野Ａを有してもよい。モバイルディスプレイデバイス１４０Ｄの実質的に水平な向きのため、モバイルディスプレイデバイス１４０Ｄは、図３Ｄに示されるように、視野Ｄを有する。

【0040】

図３Ａ～図３Ｄに示される例示的な構成では、第１、第２、および第３のディスプレイデバイス１４０Ａ、１４０Ｂ、および１４０Ｃはすべて、実質的に垂直に配列される。この構成では、第１、第２、および第３のディスプレイデバイス１４０Ａ、１４０Ｂ、および１４０Ｃによって捕捉された画像は、３次元マッピングされたモデルにおいて、共通の実世界オブジェクトと、共通の実世界基準点またはアンカー点とを含んでもよい。したがって、システムは、第１、第２、および第３のディスプレイデバイス１４０Ａ、１４０Ｂ、および１４０Ｃのそれぞれの実世界環境のビューと、それらのそれぞれの実世界環境のビューにおける基準点のそれぞれの配置とに基づいて、第１、第２、および第３のディスプレイデバイス１４０Ａ、１４０Ｂ、および１４０Ｃの相対的位置決めを判断して、ディスプレイデバイス１４０の実世界環境１０００におけるディスプレイデバイス１４０の物理的位置を検出してもよい。いくつかの実現例では、第４のディスプレイデバイス１４０Ｄの実質的に水平な向きに起因して、モバイルディスプレイデバイス１４０Ｄの画像センサ１４２Ｄの視野内で捕捉された画像は、画像センサ１４２Ｄによって捕捉された画像に基づいて、モバイルディスプレイデバイス１４０Ｄの位置および／または向きを確立するのに、第１のディスプレイデバイス１４０Ａ、第２のディスプレイデバイス１４０Ｂ、および第３のディスプレイデバイス１４０Ｃのそれぞれの視野内で捕捉された画像との共通性を欠き得るか、または充分な共通性を欠き得る。この実現例では、位置および／もしくは向き情報（またはデータ）は、モバイルディスプレイデバイス１４０Ｄの位置センサ１４４Ｄによって収集されてもよい。モバイルディスプレイデバイス１４０Ｄの位置センサ１４４Ｄによって収集された位置および／または向きデータは、他のディスプレイデバイス１４０１／１４０Ｂ／１４０Ｃのうちの１つ以上の位置／向き情報と相関させて、他のディスプレイデバイス１４０に対するモバイルディスプレイデバイス１４０Ｄの位置を判断してもよい。

【0041】

いくつかの実現例では、コンピューティングシステム１００は、センサ、たとえば、画像センサ１４２および／または位置センサ１４４によって収集された情報を用いて、ディスプレイデバイス１４０のうちのどれが主ディスプレイデバイスであるかを判断してもよい。たとえば、図４Ａに示されるように、いくつかの実現例では、システムは、画像センサ１４２によって収集された画像情報においてユーザの頭部正面および／もしくは眼の注視の位置ならびに／または向きを検出してもよい。システムは、図４Ｂに示されるように、検出されたユーザの頭部の位置、検出されたユーザの頭部正面／眼の注視方向等に基づいて、ディスプレイデバイス１４０のうちの１つを主ディスプレイデバイスとして設定（例えば、自動的に設定）してもよい。すなわち、図４Ａおよび図４Ｂに示すように、収集された頭部正面／眼の注視情報に基づいて、システムは、ユーザの注視が第２のディスプレイデバイス１４０Ｂに集中していることを検出してもよく、ディスプレイデバイス１４０に対する位置情報を設定する際に特定のユーザの介入および／または入力なしに、第２のディスプレイデバイス１４０Ｂを主ディスプレイとして設定してもよい。

【0042】

いくつかの実現例では、システムは、センサ１４２、１４４によって収集された情報から、たとえば、デスクチェア、キーボード、マウスなど、実世界環境１０００における他の実物体の相対位置を検出してもよい。本システムは、例えば、ディスプレイデバイス１４０に対する、検出された実世界物体の位置および／または向きに基づいて、例えば、ディスプレイデバイスのうちの１つを主ディスプレイデバイスとして設定（例えば、自動的に設定）してもよい。例えば、図４Ｃに示すように、システムは、ディスプレイデバイス１４０に対するデスクチェア１１０、キーボード１３０Ａおよびマウス１３０Ｂの図４Ｃに示されるような位置ならびに／または向きを検出してもよい。デスクチェア１１０、キーボード１３０Ａ、およびマウス１３０Ｂが、第２のディスプレイデバイス１４０Ｂと整列して（例えば、本質的に整列して）検出されたことに基づいて、システムは、例えば、図４Ｄに示すように、第２のディスプレイデバイス１４０Ｂを主ディスプレイデバイスとして設定（例えば、自動的に設定）してもよい。

【0043】

いくつかの実現例では、システムは、入力装置１３０のうちの１つ以上とのユーザ対話を検出してもよく、検出された対話に基づいてディスプレイデバイス１４０のうちの１つを主ディスプレイとして設定してもよい。例えば、図４Ｅに示されるように、いくつかの実現例では、システムは、キーボード１３０Ａおよび／またはマウス１３０Ｂとのユーザ対話を検出してもよい。いくつかの実現例では、キーボード１３０Ａおよび／またはマウス１３０Ｂとのユーザ対話は、画像センサ１４２によって収集された画像においてキーボード１３０Ａおよび／またはマウス１３０Ｂにかかっているユーザの手の検出に基づいて検出されてもよい。いくつかの実現例では、キーボード１３０Ａおよび／またはマウス１３０Ｂとのユーザ対話は、キーボード１３０Ａおよび／またはマウス１３０Ｂにおいて検出されコンピューティングシステム１００によって受信されるコマンドに基づいて検出されてもよい。検出された対話、ならびにキーボード１３０および／もしくはマウス１３０Ｂの検出された位置／向き、および／または、例えば、図４Ｅに示される例示的な構成における第２のディスプレイデバイス１４０Ｂとの整列に基づいて、システムは、例えば、図４Ｆに示されるように、第２のディスプレイデバイス１４０Ｂを主ディスプレイデバイスとして設定（例えば、自動的に設定）してもよい。このようにして、キーボード１３０および／またはマウス１３０Ｂ（または任意の他の補助装置）と複数のディスプレイデバイスとの対話が制御されてもよい。例えば、コンピューティングデバイスにおけるマウスおよび／もしくはキーボード（または他の）入力の処理ならびに管理は、主ディスプレイデバイスの変更に応答して調整されてもよく、ならびに／またはコンテンツの表示が、それに応じて制御されてもよい。

【0044】

図４Ａ～図４Ｆに示される例では、第２のディスプレイデバイス１４０Ｂは、単に説明および例示を容易にするために、主ディスプレイデバイスとして設定される。同様の原理は、センサ１４２、１４４によって収集された同様の情報に基づいて、他のディスプレイデバイス１４０のうちの１つを主ディスプレイデバイスとして設定する、たとえば自動的に設定する際に適用されてもよい。いくつかの実現例では、システムは、残りのディスプレイデバイス１４０の位置情報を、たとえば、主ディスプレイデバイスの設定、ユーザ履歴、設定されたユーザの嗜好、それぞれのディスプレイデバイス上に表示される現在のコンテンツなどに基づいて、たとえば、インテリジェントに設定するか、またはユーザの介入なしに設定するか、または動的に設定するか、または自動的に設定してもよい。

【0045】

いくつかの実現例では、表示設定を動的に（または自動的に）定義することは、たとえば、第１の時間に第１の位置情報に応答して表示設定を規定することと、第２の時間に第２の位置情報に応答して表示設定を修正することとを含み得る。表示設定の修正は、ユーザが表示設定を修正することなく行なわれ得る。位置情報の変化は、１つ以上のディスプレイデバイスとのユーザの対話に応答し得る。

【0046】

いくつかの実現例では、コンピューティングシステム１００は、たとえば、別のディスプレイデバイス１４０がいつ導入され、コンピューティングデバイス１２０によって処理されたコンテンツを表示するために補助ディスプレイデバイス１４０として追加され得るかを、インテリジェントに、またはユーザ介入なしに、または動的に、または自動的に、またはコンピューティングデバイス１２０の指定された範囲内で、検出してもよい。補助ディスプレイデバイスの追加を検出することによって、補助ディスプレイデバイス１４０と既存のディスプレイデバイス１４０との対話を制御することができる。たとえば、補助ディスプレイデバイス１４０は、このディスプレイデバイス１４０の追加の検出およびそれを反映するように更新された設定または構成に基づいて、コンピューティングデバイス１２０に動作可能に結合されることができ；入力または出力装置とディスプレイデバイス１４０との対話も、この検出に依存して制御されることができる。図５Ａに示される例示的な構成では、コンピューティングデバイス１２０は、ディスプレイデバイス１４０Ｂに動作可能に結合される。図５Ｂに示されるように、ディスプレイデバイス１４０Ａは、コンピューティングデバイス１２０およびすでに結合されたディスプレイデバイス１４０Ｂと通信し、コンピューティングシステム１００内で補助ディスプレイデバイスとしての役割を果たすように、コンピューティングデバイス１２０に接続されるかまたは動作可能に結合されてもよい。上述のように、システムは、ディスプレイデバイス１４０Ａの接続を、例えば、動的に、またはインテリジェントに、またはユーザ介入なしに、または自動的に検出してもよい。これは、例えば、ディスプレイデバイス１４０Ａの物理的接続の検出、ディスプレイデバイス１４０Ａの無線接続の検出、接続済みのディスプレイデバイス１４０Ｂのセンサ１４２による検出などに基づいて検出されてもよい。同様に、新たに接続されたディスプレイデバイス１４０Ａの物理的位置は、上述のように、例えば、ディスプレイデバイス１４０の各々のセンサ１４２、１４４によって収集された情報に基づいて、検出されてもよい。同様に、図５Ｃに示されるように、システムは、モバイルディスプレイデバイス１４０Ｄが補助ディスプレイデバイスとして機能してもよいように、例えば、コンピューティングデバイス１２０と通信しているか、またはその範囲内にあるモバイルディスプレイデバイス１４０Ｄを、動的に検出するか、またはインテリジェントに検出するか、またはユーザ介入なしに検出するか、または自動的に検出してもよい。

【0047】

上記で説明したように、いくつかの実現例では、ディスプレイデバイス１４０Ａおよび／または１４０Ｄの追加を検出した後に、システムは、たとえば、ディスプレイデバイス１４０のうちの１つを主ディスプレイとして割り当てることを含む表示設定を、動的に検出するか、またはインテリジェントに検出するか、またはユーザ介入なしに検出するか、または自動的に検出し、割り当ててもよい。いくつかの実現例では、システムは、ディスプレイデバイス１４０の各々の既知の物理的位置および／または向きに基づいて、ユーザ介入なしに、接続されたディスプレイデバイス１４０の各々に表示されるべきコンテンツを動的に配信または転送してもよい。例えば、図５Ｄに示されるように、以前に接続されたディスプレイデバイス１４０Ｂ上に表示されるコンテンツ１５２、１５４は、上で説明されたように、ディスプレイデバイス１４０Ａの接続、位置、および向きの検出後に、ディスプレイデバイス１４０Ａと１４０Ｂとの間で分散（例えば、動的に分散）されてもよい。すなわち、図５Ｄ（１）に示すように、ディスプレイデバイス１４０Ｂには、第１のコンテンツウィンドウ１５２と、第２のコンテンツウィンドウ１５４とが表示される。ディスプレイデバイス１４０Ａが、図５Ｄ（２）に示されるように、コンピューティングシステム１００に導入され、コンピューティングデバイス１２０に動作可能に結合されると、上記で説明されるようなディスプレイデバイス１４０Ａの相対位置および向きならびに表示設定の判断／割り当てが、図５Ｄ（３）に示されるように、表示されたコンテンツを分散するために用いられてもよい。例えば、図５Ｄ（１）～図５Ｄ（３）に示すように、第１のコンテンツウィンドウ１５２および第２のコンテンツウィンドウ１５４の両方が第２のディスプレイデバイス１４０Ｂに表示され、その後、第１のディスプレイデバイス１４０Ａの検出に応答して、第２のコンテンツウィンドウ１５４が第１のディスプレイデバイス１４０Ａに表示されるように、表示コンテンツが動的に配信されてもよく、第２ディスプレイデバイス１４０Ｂには、第１のコンテンツウィンドウ１５２が表示される。同様に、システムが、例えば、ディスプレイデバイス１４０Ａの切断など、ディスプレイデバイス１４０のうちの１つの除去を検出する場合、コンテンツ１５０の表示（例えば、コンテンツウィンドウ１５２、１５４）は、図５Ｄ（４）に示されるように、現在接続されているディスプレイデバイス１４０Ｂに復帰してもよい。すなわち、図５Ｄ（３）および図５Ｄ（４）に示すように、第１のディスプレイデバイス１４０Ａの除去の検出に応答して、表示コンテンツは、第１のコンテンツウィンドウ１５２および第２のコンテンツウィンドウ１５４の両方が第２のディスプレイデバイス１４０Ｂに表示されるように動的に配信されてもよい。ディスプレイデバイス１４０の切断は、たとえば、少なくとも部分的に、ディスプレイデバイス１４０に関連付けられる１つ以上の位置センサ１４４によって収集された移動データによって、および／またはディスプレイデバイス１４０のコンピューティングデバイス１２０への動作可能な結合によって、ユーザ介入なしに動的に検出されてもよい。図５Ｄに示される例示的なディスプレイデバイス１４０Ａは、単に説明および例示を容易にするために、スタンドアロンモニタとして示されている。しかしながら、説明される原理は、モバイルディスプレイデバイス（上記で説明した例示的なモバイルディスプレイデバイス１４０Ｄなど）の検出、およびディスプレイデバイス１４０の検出された位置および向きに基づく、同様の方式での表示コンテンツの配信に適用されてもよい。

【0048】

たとえば、いくつかの実現例では、新たなディスプレイデバイス１４０（例えば、新たなスタンドアロンディスプレイデバイス、モバイルデバイスなど）の接続は、コンピューティングシステムによって、コンピューティングデバイス１２０への近接性、コンピューティングデバイス１２０への有線または無線接続などに基づいて、検出されてもよい。いくつかの実現例では、コンピューティングデバイス１２０は、所与の範囲内でコンピューティングデバイス１２０／コンピューティングシステムに以前に関連付けられた、以前に関連付けられたディスプレイデバイス１４０を動的に検出し、新たに検出されたディスプレイデバイス１４０との接続を確立し、接続されたディスプレイデバイス１４０間で表示コンテンツを動的に配信または再配信してもよい。いくつかの実現例では、コンピューティングデバイス１２０は、周期的に、または実質的に連続的に、特定の距離または範囲内で走査して、新たなディスプレイデバイス１４０を検出し、新たに検出されたディスプレイデバイス１４０との接続を確立し、接続されたディスプレイデバイス１４０間で表示コンテンツを動的に配信または再配信してもよい。いくつかの実現例では、コンピューティングデバイス１２０は、ハブなどを介して、ドッキングステーションにおけるドッキングの検出に基づいて新たなディスプレイデバイス１４０を検出し、新たに検出されたディスプレイデバイス１４０との接続を確立し、接続されたディスプレイデバイス１４０間で表示コンテンツを動的に配信または再配信してもよい。いくつかの実現例では、コンピューティングシステムは、上述のように新たなディスプレイデバイス１４０の存在を検出するが、検出されたディスプレイデバイス１４０の表示面が、コンピューティングデバイスおよび現在接続されているディスプレイデバイス１４０に関連付けられる作業空間に向き付けられていないことを検出しない場合があり、新たに検出されたディスプレイデバイス１４０をコンピューティングデバイス１２０に関連付けず、および／または新たに検出されたディスプレイデバイス１４０にコンテンツを配信／再配信しないことになる。

【0049】

例えば、図５Ｅ（１）に示すように、第１および第２のコンテンツウィンドウ１５２および１５４がディスプレイデバイス１４０Ｂに表示される。モバイルディスプレイデバイス１４０Ｄが、図５Ｅ（２）に示されるように、コンピューティングシステム１００に導入または追加され、コンピューティングデバイス１２０に動作可能に結合されると、モバイルディスプレイデバイス１４０Ｄの相対位置および向き、ならびに上記で説明されるような表示設定の決定／割り当てが、図５Ｅ（３）に示されるように、表示されたコンテンツを配信するために用いられてもよい。すなわち、図５Ｅ（１）に示すように、第１のコンテンツウィンドウ１５２および第２のコンテンツウィンドウ１５４は両方とも、第２のディスプレイデバイス１４０Ｂ上に表示されてもよい。コンピューティングシステムに接続されたモバイルディスプレイデバイス１４０Ｂの検出に応答して、図５Ｅ（３）に示すように、第１のコンテンツウィンドウ１５２が第２のディスプレイデバイス１４０Ｂ上に表示され、第２のコンテンツウィンドウ１５４がモバイルディスプレイデバイス１４０Ｄ上に表示されるように、表示コンテンツが動的に配信されてもよい。同様に、モバイルディスプレイデバイス１４０Ｄの除去の検出に応答して、表示コンテンツは、図５Ｅ（４）に示すように、第１のコンテンツウィンドウ１５２と第２のコンテンツウィンドウ１５４との両方が第２のディスプレイデバイス１４０Ｂに表示されるように動的に再配信されてもよい。これらのディスプレイデバイス１４０との他の補助装置の対話も、モバイルディスプレイデバイス１４０Ｄの導入に応答して制御されてもよい。同様に、システムが、例えば、モバイルディスプレイデバイス１４０Ｄの切断など、ディスプレイデバイス１４０のうちの１つの除去を検出する場合、コンテンツ１５０の表示（例えば、コンテンツウィンドウ１５２、１５４）は、図５Ｅ（４）に示されるように、現在接続されているディスプレイデバイス１４０Ｂに復帰してもよい。このようにして、コンテンツの表示は、検出されたディスプレイの物理的位置に基づいて制御されてもよい。モバイルディスプレイデバイス１４０Ｄの切断は、少なくとも部分的に、ディスプレイデバイス１４０に関連付けられる１つ以上の位置センサ１４４によって収集された移動データによって、および／またはディスプレイデバイス１４０のコンピューティングデバイス１２０への動作可能な結合によって、検出されてもよい。そのような移動データは、必要に応じて、ディスプレイデバイス１４０のいずれかの任意の位置センサ１４４によって収集されてもよく、コンテンツの表示を制御する表示設定は、複数のディスプレイデバイス１４０のうちの少なくとも１つのディスプレイデバイスの移動の検出に応じて自動的に構成されてもよい。

【0050】

いくつかの実現例では、図５Ｆ（１）および図５Ｆ（２）に示すように、コンテンツウィンドウ１５２、１５４をディスプレイデバイス１４０Ｂ上に表示し、モバイルディスプレイデバイス１４０Ｄの接続を検出した後に、システムは、いくつかの状況では、ディスプレイデバイス１４０Ｂ上に表示されたコンテンツがディスプレイデバイス１４０Ｂ上に表示されたままであるべきであり、モバイルディスプレイデバイス１４０Ｄ上での表示のために再配信されない、と判断してもよい。この状況では、モバイルディスプレイデバイス１４０Ｄは、コンピューティングシステム１００／コンピューティングデバイス１２０に接続されたままであってもよく、補助ディスプレイデバイス１４０として利用可能なままであってもよいが、コンテンツウィンドウ１５２、１５４は、図５Ｆ（３）に示されるように、ディスプレイデバイス１４０Ｂ上に表示されたままである。

【0051】

いくつかの実現例では、コンピューティングシステム／コンピューティングデバイスは、たとえば、コンテンツのタイプ、接続されたディスプレイデバイス１４０の向きなどに基づいて、たとえば、表示コンテンツをどのように配信および／または再配信するかをインテリジェントに決定してもよい。たとえば、いくつかの実現例では、コンピューティングデバイス１２０は、垂直に向き付けられたディスプレイデバイス１４０上、主ディスプレイデバイス１４０として割り当てまたは指定されたディスプレイデバイス１４０上などに位置決めされた生産性関連コンテンツ、ユーザによって現在用いられているコンテンツウィンドウなどを維持してもよい。いくつかの実現例では、コンピューティングデバイス１２０は、スタイラスまたは他のグラフィックス関連入力手段を用いて操作されてもよい、水平に向き付けられたディスプレイデバイス１４０に、コンテンツを配信または再配信してもよい。いくつかの実現例では、コンピューティングデバイス１２０は、ユーザが特定の表示コンテンツと対話していない／対話しなかったと判断し、その表示コンテンツを主ディスプレイデバイス１４０から他のディスプレイデバイス１４０のうちの１つ（水平または垂直に向き付けられた）に配信または再配信してもよい。

【0052】

上述のように、センサ１４２、１４４によって収集された情報は、実世界環境において、ディスプレイデバイス１４０の物理的位置および／または向き、ならびにディスプレイデバイス１４０の互いに対する位置／向きを判断するために用いられてもよい。いくつかの実現例では、ディスプレイデバイス１４０のこれらの既知の物理的位置および／または向きは、ディスプレイデバイス１４０間の空間、または間隙、または非表示領域を判断するために用いられてもよい。これらの非表示領域は、より直感的なつながりのある体験をユーザに提供するために、表示設定を割り当てるとき、コンテンツを移動させるときなどに考慮されてもよい。

【0053】

たとえば、図６Ａに示すように、いくつかの実現例では、第１のディスプレイデバイス１４０Ａと第２のディスプレイデバイス１４０Ｂとの間に物理的空間Ｓまたは間隙Ｓまたは非表示領域Ｓが形成されてもよい。第１のディスプレイデバイス１４０Ａと第２のディスプレイデバイス１４０Ｂとの間の物理的間隙または空間Ｓは、距離Ｄ３を有する非表示領域を画定してもよい。いくつかの実現例では、第１のディスプレイデバイス１４０Ａは、第１のディスプレイデバイス１４０Ａの表示領域１４９Ａを囲むベゼル１４８Ａを有してもよい。第１のディスプレイデバイス１４０Ａのベゼル１４８Ａは、距離Ｄ１を有する非表示領域を画定してもよい。いくつかの実現例では、第２のディスプレイデバイス１４０Ｂは、第１のディスプレイデバイス１４０Ｂの表示領域１４９Ｂを囲むベゼル１４８Ｂを有してもよい。第２のディスプレイデバイス１４０Ｂのベゼル１４８Ｂは、距離Ｄ２を有する非表示領域を画定してもよい。ディスプレイデバイス１４０の各々の比較的精密な物理的位置および／または向きは、上で説明されるようにわかっていてもよいので、図６Ａに示される例示的な非表示領域の各々は、（例えば、入力装置１３０のうちの１つのユーザ操作に応答して）表示設定を設定／割り当て、ディスプレイデバイス１４０間でコンテンツを移動させるときに、考慮に入れられてもよい。このようにして、検出されたディスプレイデバイス１４０の物理的位置に基づいて、コンテンツの表示が制御されてもよい。コンテンツを移動させるときにこれらの非表示領域を考慮に入れることは、よりインテリジェントなウィンドウマネージャを提供し得、これは、ディスプレイデバイス１４０上に表示されるコンテンツとのより直感的な繋がりのある対話をユーザに提供し得る。

【0054】

たとえば、図６Ｂ、図６Ｃ、および図６Ｄに示すように、いくつかの実現例では、コンテンツウィンドウ１５２が第１のディスプレイデバイス１４０Ａの表示領域１４９Ａから第２のディスプレイデバイス１４９Ｂの表示領域１４９Ｂに移動されるとき、非表示領域（すなわち、ディスプレイデバイス１４０Ａ、１４０Ｂ間の物理的空間Ｓ、およびディスプレイデバイス１４０Ａ、１４０Ｂに関連付けられる任意のベゼル１４８）に対応するコンテンツウィンドウ１５２の部分は表示されない。ディスプレイデバイス１４０の既知の物理的位置および／または向きによって可能にされる、非表示領域に対するこのような考慮は、第１のディスプレイデバイス１４０Ａから第２のディスプレイデバイス１４０Ｂにコンテンツを移動させる際の、より現実的な体験を提供し得る。すなわち、いくつかの実現例では、ディスプレイデバイス１４０の各々の既知の物理的位置および／または向きに基づいて、隣接するディスプレイデバイス間のコンテンツの移動、たとえば、図６Ａ～図６Ｄに関して説明したように、第１のディスプレイデバイス１４０Ａと第２のディスプレイデバイス１４０Ｂとの間のコンテンツウィンドウ１５２の移動などは、隣接するディスプレイデバイス１４０間の物理的空間Ｓまたは間隙を考慮に入れるよう遅延されてもよい。いくつかの実現例では、コンテンツウィンドウ１５２は、図６Ｂ～図６Ｄに示すように、コンテンツウィンドウ１５２が新たな（第２の）ディスプレイデバイス１４０Ｂに完全に移動するまで、元の（第１の）ディスプレイデバイス１４０Ａの向きを維持してもよい。コンテンツウィンドウ１５２が新たな（第２の）ディスプレイデバイス１４０Ｂに完全に移動されると、コンテンツウィンドウ１５２の向きは、図６Ｅに示すように、新たな（第２の）ディスプレイデバイス１４０Ｂの向きに対応してもよい。表示ウィンドウが完全に移行されるまで、元ディスプレイデバイス１４０の向きに対応するコンテンツウィンドウ１５２の向きを維持することは、ユーザがコンテンツウィンドウ１５２の始まりおよびそれの慎重な移動の認識を維持することを可能にし得る。したがって、マルチスクリーン環境における制御が改善され得る。

【0055】

いくつかの実現例では、ディスプレイデバイス１４０は、物理的に整列されてもよく、たとえば、水平に整列されてもよく、または垂直に整列されてもよい。たとえば、図６Ｅ、図６Ｆ、および図６Ｇは、第１のディスプレイ１４０Ａおよび第２のディスプレイ１４０Ｂが水平に整列されていない例を示す。この例では、コンテンツウィンドウ１５２が第１のディスプレイデバイス１４０Ａの表示領域１４９Ａから第２のディスプレイデバイス１４９Ｂの表示領域１４９Ｂに移動されるので、図６Ｆに示すように、コンテンツウィンドウ１５２の、非表示領域（すなわち、ディスプレイデバイス１４０Ａ、１４０Ｂ間の物理的空間Ｓ、およびディスプレイデバイス１４０Ａ、１４０Ｂに関連付けられる任意のベゼル１４８）に対応する部分は、表示されない。ディスプレイデバイス１４０の既知の物理的位置および／または向きによって可能にされる、非表示領域に対するこのような考慮は、第１のディスプレイデバイス１４０Ａから第２のディスプレイデバイス１４０Ｂにコンテンツを移動させる際の、より現実的な体験を提供し得る。いくつかの実現例では、コンテンツウィンドウ１５２は、図６Ｆに示すように、コンテンツウィンドウ１５２が新たな（第２の）ディスプレイデバイス１４０Ｂに完全に移動するまで、元の（第１の）ディスプレイデバイス１４０Ａの向きを維持してもよい。コンテンツウィンドウ１５２が新たな（第２の）ディスプレイデバイス１４０Ｂに完全に移動されると、コンテンツウィンドウ１５２の向きは、図６Ｇに示すように、新たな（第２の）ディスプレイデバイス１４０Ｂの向きに対応してもよい。コンテンツウィンドウ１５２が完全に移行されるまで、コンテンツウィンドウ１５２の向き、ならびに元ディスプレイデバイス１４０の水平位置決めに対応するコンテンツウィンドウ１５２の水平位置決めを維持することは、ユーザがコンテンツウィンドウ１５２の始まりおよび意図的な移動の認識を維持することを可能にしてもよい。したがって、マルチスクリーン環境における制御が改善され得る。

【0056】

いくつかの実現例では、複数のモバイルディスプレイデバイスは、単一の、より大きいディスプレイを形成するために、互いに接合されてもよい。モバイルディスプレイデバイスの、概してより小さく、よりポータブルなフォームファクタ（例えば、タブレットコンピューティングデバイスによって提供される等）は、より小型のポータブルなディスプレイデバイスからより大きいディスプレイデバイスを組み立てることを可能にし得る。たとえば、図７Ａに示されるように、いくつかの実現例では、複数のモバイルディスプレイデバイス１４０Ｄは、図７Ｃに示されるように、複数のより小さいモバイルディスプレイデバイス１４０Ｄから本質的に単一の比較的大きいディスプレイデバイスを形成するために、互いの近くに（たとえば、隣接して）位置決めされてもよい。図７Ａに示す例では、単に説明および例示の目的で、６つのモバイルディスプレイデバイス１４０Ｄが含まれる。しかしながら、より多くの、またはより少ないモバイルディスプレイデバイス１４０Ｄが、本質的に単一のディスプレイデバイスを形成するように、このようにして相互に隣接して位置決めされてもよい。同様に、図７Ａ～図７Ｃに示す６つのモバイルディスプレイデバイス１４０Ｄの例示的な構成は、単に説明および例示を容易にするために、アレイ状に配置されている。いくつかの実現例では、モバイルディスプレイデバイス１４０Ｄは、図７Ｃに示す本質的に単一の比較的大きいディスプレイデバイスを画定するために、他の構成で結合されてもよい。図７Ｂに示されるモバイルディスプレイデバイス１４０Ｂの構成の背面図に示されるように、いくつかの実現例では、フレーム２００は、複数のディスプレイデバイス１４０Ｂから形成される単一のディスプレイデバイスの移動を制限し、単一のディスプレイデバイスが実質的に垂直の位置に位置決めされることを可能にするよう、モバイルディスプレイデバイス１４０Ｂを物理的に結合してもよい。このようにして、１つ以上のコンテンツウィンドウは、モバイルディスプレイデバイス１４０Ｂの各々の既知の位置および／または向きに応答して、このように配置された複数のモバイルディスプレイデバイス１４０Ｂにわたって連続的に（たとえば、実質的に連続的に）表示されてもよい。本明細書で説明する方法で単一のインテリジェントなウィンドウマネージャ内でレンダリングされたコンテンツの制御を統合することによって、ディスプレイデバイスのそのような構成をより容易に管理してもよい。

【0057】

いくつかの実現例では、画像センサ１４２によって収集された画像情報におけるユーザの頭部の位置／向きの検出は、ディスプレイデバイス１４０のうちの１つ以上に表示されるべきコンテンツ１５０のスケールを設定するために用いられてもよい。いくつかの実現例では、システムは、画像センサ１４２によって収集された画像情報においてコマンドジェスチャまたはジェスチャの動きを検出してもよい。たとえば、いくつかの実現例では、システムは、ディスプレイデバイス１４０に対するユーザの頭部正面／眼の注視の動きを検出してもよく、検出されたジェスチャの動きに基づいて、コンテンツスケールなどを含む表示設定を設定および／または調整してもよい。このようにして、検出されたディスプレイデバイス１４０の物理的位置に基づいて、コンテンツの表示が制御されてもよい。たとえば、いくつかの実現例では、たとえば、画像センサ１４２によって収集された画像情報に基づいた、ユーザの頭部とディスプレイデバイス１４０との間の距離Ｄが、ディスプレイデバイス１４０上に表示されるコンテンツ１５０のスケールを設定するために用いられてもよい。図８Ａに示されるように、距離Ｄ１において、コンテンツ１５０は、第１のスケール１５０－１でディスプレイ１４０上に表示されてもよい。いくつかの実現例では、システムは、図８Ｂに示すように、距離Ｄ１から距離Ｄ２への、ディスプレイデバイス１４０に向かう、またはそれに近い、ユーザの頭部の、検出された移動という形で、画像センサ１４２によって収集された画像情報中のジェスチャの動きを検出してもよい。このジェスチャの動きは、ユーザ入力と見なすことができる。ディスプレイデバイス１４０に向かう、ユーザの頭部の、検出された移動は、ディスプレイデバイス１４０上に表示されるコンテンツ１５０に、第１のスケール１５０－１から図８Ｂに示される第２のスケール１５０－２にスケールを増加させてもよい（すなわち、ズームイン効果）。同様に、図８Ｃに示される距離Ｄ２から距離Ｄ３への、ディスプレイデバイス１４０から離れるユーザの頭部の検出された移動は、ディスプレイデバイス１４０上に表示されるコンテンツ１５０を、第２のスケール１５０－２から第３のスケール１５０－３に縮小させてもよい（すなわち、ズームアウト効果）。したがって、ディスプレイデバイス１４０は、ユーザ入力に応答して制御されてもよい。

【0058】

いくつかの実現例では、センサ１４２、１４４によって収集された情報において、たとえば、検出された横方向の頭部または注視の動き（すなわち、検出された、側方から側方への、または左右の、頭部正面／眼の注視の動き）の形で検出されたジェスチャは、検出された動きの方向に基づいて、コンテンツを隣接するディスプレイデバイス１４０にシフトさせてもよい。たとえば、図８Ｄに示す第１の注視方向Ｇ１から図８Ｅに示す方向Ｇ２への、検出された横方向注視シフトの形のジェスチャは、第２のディスプレイデバイス１４０Ｂに表示されたコンテンツ１５０を第１のディスプレイデバイス１４０Ａに表示させてもよい。

【0059】

同様に、いくつかの実現例では、センサ１４２、１４４によって収集された情報において、たとえば、垂直方向における検出された頭部正面／眼の注視の動き（すなわち、上下の頭部正面／眼の注視の動き）の形で検出されたジェスチャは、検出された動きの方向に基づいて、コンテンツを隣接するディスプレイデバイス１４０にシフトさせてもよい。たとえば、図８Ｆに示される注視方向Ｇ１から図８Ｇに示される方向Ｇ３への、検出された垂直注視シフトの形のジェスチャは、第２のディスプレイデバイス１４０Ｂ上に表示されるコンテンツ１５０を水平に向き付けられたモバイルディスプレイデバイス１４０Ｄ上に表示させてもよい。

【0060】

いくつかの実現例では、頭部装着型ディスプレイデバイス１４０Ｅは、図８Ｋに示すように、ユーザによって装着されてもよい。いくつかの実現例では、頭部装着型ディスプレイデバイス１４０Ｅは、たとえば、実世界環境１０００上に重ね合わされた拡張現実オブジェクトを含む、拡張現実環境をユーザに提示してもよい。いくつかの実現例では、頭部装着型ディスプレイデバイス１４０Ｅは、コンピューティングデバイス１２０に動作可能に結合され得、コンピューティングシステム内で接続されたディスプレイデバイス１４０としての役割を果たしてもよい。図８Ｋに示される例示的な構成では、上述のように検出されるジェスチャは、例えば、図８Ｋに示される注視方向Ｇ１から図８Ｌに示される注視方向Ｇ２への、検出された横方向の頭部または注視の動き（すなわち、検出された、側方から側方への、または左右の、頭部正面／眼の注視の動き）の形であり、第２のディスプレイデバイス１４０Ｂ上に表示されるコンテンツ１５０を、頭部装着型ディスプレイデバイス１４０Ｅによって拡張現実オブジェクト１５０Ａとして表示させてもよい。

【0061】

いくつかの実現例では、センサ１４２、１４４によって収集された画像情報における頭部正面／眼の注視ジェスチャの検出は、ディスプレイデバイス１４０のうちの１つ以上に表示されるコンテンツに関して他のアクションを取らせてもよい。たとえば、いくつかの実現例では、センサ１４２、１４４によって収集された情報において検出された頷き、瞬きなどが、表示されたウィンドウを最小化すること、アプリケーションを閉じることなどを引き起こしてもよい。図８Ｈに示す例では、第１および第２のコンテンツウィンドウ１５２、１５４がディスプレイデバイス１４０上に表示され、ユーザの注視が第１のコンテンツウィンドウ１５２に向けられている。画像センサ１４２によって収集された画像情報内で検出された、図８Ｉに示されるような検出された瞬きは、コンピューティングデバイスに、図８Ｊに示されるように、第１のコンテンツウィンドウ１５２を最小化または閉じさせてもよい。

【0062】

いくつかの実現例では、センサ１４２、１４４によって収集された画像情報における頭部正面／眼の注視ジェスチャの検出は、たとえばカーソルなどの視覚インジケータを、たとえばカーソルおよび／またはスクリーンタイムアウト後、カーソルが他の態様ではディスプレイデバイス１４０上に表示されるコンテンツなどに起因して見えないときなどに、ユーザの注視が向けられるディスプレイデバイス１４０のうちの１つ上のある位置に出現させることができる。

【0063】

図１～図８Ｊに関して上記で説明した例示的なシステムおよび方法では、ディスプレイデバイス１４０は、ディスプレイデバイス１４０に本質的に統合されるかまたはそれに組み込まれるセンサ１４２、１４４を含む。いくつかの実現例では、たとえば、接続可能な外部ウェブカメラなどの他のセンサが、同様の方法でシステムによって処理されるべきデータを収集してもよい。たとえば、いくつかの実現例では、ディスプレイデバイス上のウェブカメラを、当該ディスプレイデバイス上のある設定位置において設置することは、実世界環境におけるディスプレイデバイスの物理的位置および／または向きを判断するために、上で説明されたように処理されるべき画像情報収集および提供してもよい。

【0064】

図９は、本明細書で説明する実現例による、コンピューティングシステム１００を動作させる方法のフローチャートである。図９に示されるように、コンピューティングデバイスおよび複数のディスプレイデバイスを含むコンピューティングシステムにおいて、本明細書で説明される実現例によれば、１つ以上のディスプレイデバイスが、コンピューティングデバイスと通信していると検出されてもよい（ブロック９１０）。上述のように、ディスプレイデバイスは、例えば、コンピューティングデバイスへの接続（有線または無線）、コンピューティングデバイスへの近接性、コンピューティングデバイスとの以前の関連付けなどに基づいて検出されてもよい。ディスプレイデバイスは、画像情報（例えば、ディスプレイデバイスの画像センサによって収集される）および／または位置／向き情報（例えば、ディスプレイデバイスのＩＭＵなどの位置センサによって収集される）のうちの少なくとも１つを収集し、ディスプレイデバイスの物理的位置および／または向きの判断のために、収集された画像および／または位置情報をコンピューティングデバイスに提供してもよい（ブロック９２０）。コンテンツは、検出されたディスプレイデバイス上に、ディスプレイデバイスの判断された物理的位置および／または向きに基づいて、表示されてもよい（ブロック９４０）。ディスプレイデバイス上のコンテンツの表示は、検出されたディスプレイデバイスのうちの１つ以上のディスプレイデバイスの物理的位置／向きにおける検出された変化に応答して（ブロック９５０）動的に調整されてもよい（ブロック９６０）。同様に、新たなディスプレイデバイスの検出に応答して（ブロック９７０）、ディスプレイデバイスの物理的位置および／または向きの判定が、ディスプレイデバイスに関連付けられる画像および／または位置情報に基づいて判断（たとえば、再判断）されてもよく（ブロック９２０）、ディスプレイデバイスの判断された物理的位置および／または向きに基づいて、コンテンツが表示され（ブロック９４０）、および／または動的に再調整されてもよい（ブロック９６０）。このプロセスは、セッションの終了が検出されるまで継続してもよい（ブロック９８０）。

【0065】

図１０は、本明細書で説明される技法とともに用いられてもよい、汎用コンピュータデバイス２０００および汎用モバイルコンピュータデバイス２０５０の例を示す。コンピューティングデバイス２０００は、ラップトップ、デスクトップ、タブレット、ワークステーション、携帯情報端末、テレビ、サーバ、ブレードサーバ、メインフレーム、および他の適切なコンピューティングデバイスなど、様々な形態のデジタルコンピュータを表すことが意図されている。コンピューティングデバイス２０５０は、携帯情報端末、携帯電話、スマートフォン、および他の同様のコンピューティングデバイスなどの、様々な形態のモバイルデバイスを表すことを意図している。本明細書に示された構成要素、それらの接続および関係、ならびにそれらの機能は、例示的なものにすぎず、本文書に記載および／または特許請求される本発明の実現例を限定するものではない。

【0066】

コンピューティングデバイス２０００は、プロセッサ２００２と、メモリ２００４と、ストレージデバイス２００６と、メモリ２００４および高速拡張ポート２０１０に接続する高速インターフェイス２００８と、低速バス２０１４およびストレージデバイス２００６に接続する低速インターフェイス２０１２とを含む。プロセッサ２００２は、半導体ベースのプロセッサとすることができる。メモリ２００４は、半導体ベースのメモリとすることができる。コンポーネント２００２，２００４，２００６，２００８，２０１０，および２０１２の各々は、様々なバスを用いて相互接続され、共通のマザーボード上に、または必要に応じて他の方法で実装されてもよい。プロセッサ２００２は、高速インターフェイス２００８に結合されたディスプレイ２０１６などの外部入力／出力装置上にＧＵＩのためのグラフィカル情報を表示するために、メモリ２００４またはストレージデバイス２００６に記憶された命令を含む、コンピューティングデバイス２０００内で実行するための命令を処理することができる。他の実現例では、複数のプロセッサおよび／または複数のバスが、必要に応じて、複数のメモリおよびメモリのタイプとともに用いられてもよい。また、複数のコンピューティングデバイス２０００が接続されてもよく、各デバイスは、（たとえば、サーババンクとして、ブレードサーバのグループとして、またはマルチプロセッサシステムとして）必要な動作の部分を提供する。

【0067】

メモリ２００４は、コンピューティングデバイス２０００内に情報を記憶する。一実現例では、メモリ２００４は、１つ以上の揮発性メモリユニットである。別の実現例では、メモリ２００４は、１つ以上の不揮発性メモリユニットである。メモリ２００４はまた、磁気ディスクまたは光ディスクなどの別の形態のコンピュータ可読媒体であってもよい。

【0068】

ストレージデバイス２００６は、コンピューティングデバイス２０００のための大容量ストレージを提供することができる。一実現例では、ストレージデバイス２００６は、フロッピー（登録商標）ディスク装置、ハードディスク装置、光ディスク装置、もしくはテープ装置、フラッシュメモリもしくは他の類似の固体メモリ装置、もしくはストレージエリアネットワークもしくは他の構成の装置を含む装置のアレイなどのコンピュータ可読媒体であるかまたはそれらを含んでもよい。コンピュータプログラム製品は、情報担体において有形に具現化することができる。コンピュータプログラム製品はまた、実行されると、上記で説明したものなどの１つ以上の方法を実行する命令を含んでもよい。情報担体は、メモリ２００４、ストレージデバイス２００６、またはプロセッサ２００２上のメモリなどのコンピュータ可読媒体または機械可読媒体である。

【0069】

高速コントローラ２００８は、コンピューティングデバイス２０００のための帯域幅集約型動作を管理し、低速コントローラ２０１２は、より低い帯域幅集約型動作を管理する。このような機能の割り当ては例示に過ぎない。一実現例では、高速コントローラ２００８は、（例えば、グラフィックスプロセッサまたはアクセラレータを介して）メモリ２００４、ディスプレイ２０１６に、および様々な拡張カード（図示せず）を受け入れることができる高速拡張ポート２０１０に、結合される。この実現例では、低速コントローラ２０１２は、ストレージデバイス２００６および低速拡張ポート２０１４に結合される。低速拡張ポートは、様々な通信ポート（たとえば、ＵＳＢ、Bluetooth（登録商標）、イーサネット（登録商標）、無線イーサネット（登録商標））を含んでもよく、キーボード、ポインティングデバイス、スキャナ、またはスイッチもしくはルータなどのネットワーキングデバイスなどの１つ以上の入力／出力装置に、たとえばネットワークアダプタを介して結合されてもよい。

【0070】

コンピューティングデバイス２０００は、図に示されるように、いくつかの異なる形態で実現されてもよい。例えば、標準サーバ２０２０として、またはそのようなサーバのグループ内で複数回実現されてもよい。それは、ラックサーバシステム２０２４の一部として実現されてもよい。加えて、それは、ラップトップコンピュータ２０２２などのパーソナルコンピュータにおいて実現されてもよい。代替として、コンピューティングデバイス２０００からのコンポーネントは、デバイス２０５０等のモバイルデバイス（図示せず）内の他のコンポーネントと組み合わせられてもよい。そのようなデバイスの各々は、コンピューティングデバイス２０００、２０５０のうちの１つ以上を含んでもよく、システム全体が、互いに通信する複数のコンピューティングデバイス２０００、２０５０から構成されてもよい。

【0071】

コンピューティングデバイス２０５０は、他のコンポーネントの中でもとりわけ、プロセッサ２０５２と、メモリ２０６４と、ディスプレイ２０５４などの入出力装置と、通信インターフェイス２０６６と、トランシーバ２０６８とを含む。デバイス２０５０はまた、追加のストレージを提供するために、マイクロドライブまたは他のデバイスなどのストレージデバイスを設けられてもよい。コンポーネント２０５０，２０５２，２０６４，２０５４，２０６６，および２０６８の各々は、様々なバスを用いて相互接続され、コンポーネントのうちのいくつかは、共通のマザーボード上に、または必要に応じて他の方法で実装されてもよい。

【0072】

プロセッサ２０５２は、コンピューティングデバイス２０５０内で、メモリ２０６４に記憶された命令を含む命令を実行することができる。プロセッサは、別個の複数のアナログおよびデジタルプロセッサを含むチップのチップセットとして実現されてもよい。プロセッサは、たとえば、ユーザインターフェイスの制御、デバイス２０５０によって実行されるアプリケーション、およびデバイス２０５０によるワイヤレス通信など、デバイス２０５０の他のコンポーネントの調整を提供してもよい。

【0073】

プロセッサ２０５２は、ディスプレイ２０５４に結合された制御インターフェイス２０５８およびディスプレイインターフェイス２０５６を介してユーザと通信してもよい。ディスプレイ２０５４は、例えば、ＴＦＴ ＬＣＤ（薄膜トランジスタ液晶ディスプレイ）もしくはＯＬＥＤ（有機発光ダイオード）ディスプレイ、または他の適切なディスプレイ技術であってもよい。ディスプレイインターフェイス２０５６は、グラフィカル情報および他の情報をユーザに提示するようにディスプレイ２０５４を駆動するための適切な回路を備えてもよい。制御インターフェイス２０５８は、ユーザからコマンドを受信し、それらをプロセッサ２０５２に提出するために変換してもよい。さらに、デバイス２０５０と他のデバイスとの近距離通信を可能にするために、プロセッサ２０５２と通信する外部インターフェイス２０６２を設けてもよい。外部インターフェイス２０６２は、例えば、いくつかの実現例では有線通信を提供してもよく、他の実現例では無線通信を提供してもよく、複数のインターフェイスも用いられてもよい。

【0074】

メモリ２０６４は、コンピューティングデバイス２０５０内に情報を記憶する。メモリ２０６４は、１つ以上のコンピュータ可読媒体、１つ以上の揮発性メモリユニット、または１つ以上の不揮発性メモリユニットのうちの１つ以上として実現され得る。拡張メモリ２０７４も提供され、たとえばＳＩＭＭ（シングルインラインメモリモジュール）カードインターフェイスを含んでもよい拡張インターフェイス２０７２を介してデバイス２０５０に接続されてもよい。そのような拡張メモリ２０７４は、デバイス２０５０のための追加の記憶空間を提供してもよく、またはデバイス２０５０のためのアプリケーションもしくは他の情報を記憶してもよい。具体的には、拡張メモリ２０７４は、上記で説明したプロセスを実行または補足するための命令を含んでもよく、セキュリティ保護された情報も含んでもよい。したがって、たとえば、拡張メモリ２０７４は、デバイス２０５０のためのセキュリティモジュールとして提供されてもよく、デバイス２０５０のセキュリティ保護された使用を可能にする命令でプログラムされてもよい。さらに、ハッキング不可能な方法でＳＩＭＭカード上に識別情報を配置するなど、追加の情報とともに、ＳＩＭＭカードを介して、セキュリティ保護されたアプリケーションを提供してもよい。

【0075】

メモリは、以下で説明するように、たとえば、フラッシュメモリおよび／またはＮＶＲＡＭメモリを含んでもよい。一実現例では、コンピュータプログラム製品が、情報担体において有形に具現化される。コンピュータプログラム製品は、実行されると上述の方法などの１つ以上の方法を実行する命令を含む。情報担体は、メモリ２０６４、拡張メモリ２０７４、もしくはプロセッサ２０５２上のメモリなどのコンピュータ可読媒体または機械可読媒体であり、たとえば、トランシーバ２０６８または外部インターフェイス２０６２を介して受信されてもよい。

【0076】

デバイス２０５０は、必要に応じてデジタル信号処理回路を含んでもよい通信インターフェイス２０６６を介してワイヤレスに通信してもよい。通信インターフェイス２０６６は、とりわけ、ＧＳＭ（登録商標）音声通話、ＳＭＳ、ＥＭＳ、もしくはＭＭＳメッセージング、ＣＤＭＡ、ＴＤＭＡ、ＰＤＣ、ＷＣＤＭＡ（登録商標）、ＣＤＭＡ２０００、もしくはＧＰＲＳなどの様々なモードまたはプロトコルの下での通信を提供してもよい。そのような通信は、例えば、無線周波数トランシーバ２０６８を介して行われてもよい。さらに、Bluetooth（登録商標）、ＷｉＦｉ、または他のそのようなトランシーバ（図示せず）などを用いて、短距離通信が生じてもよい。加えて、ＧＰＳ（全地球測位システム）受信機モジュール２０７０が、デバイス２０５０上で実行されるアプリケーションによって適宜用いられてもよい追加のナビゲーションおよび位置関連無線データをデバイス２０５０に提供してもよい。

【0077】

デバイス２０５０はまた、音声コーデック２０６０を用いて可聴的に通信してもよく、これは、ユーザから発話された情報を受信し、それを使用可能なデジタル情報に変換してもよい。音声コーデック２０６０は、同様に、たとえばデバイス２０５０のハンドセット内のスピーカなどを通じて、ユーザのために可聴音を生成してもよい。そのような音声は、音声電話通話からの音を含んでもよく、録音された音（例えば、音声メッセージ、音楽ファイルなど）を含んでもよく、デバイス２０５０上で動作するアプリケーションによって生成される音も含んでもよい。

【0078】

コンピューティングデバイス２０５０は、図に示されるように、いくつかの異なる形態で実現されてもよい。例えば、それは、携帯電話２０８０として実現されてもよい。それは、スマートフォン２０８２、携帯情報端末、または他の同様のモバイルデバイスの一部として実現されてもよい。

【0079】

本明細書に記載のシステムおよび技術のさまざまな実現例は、デジタル電子回路、集積回路、特別に設計されたＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／またはそれらの組合せで実現され得る。これらのさまざまな実現例は、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステム上で実行可能および／または解釈可能な１つ以上のコンピュータプログラムにおける実現例を含んでいてもよく、当該プロセッサは専用であっても汎用であってもよく、ストレージシステム、少なくとも１つの入力装置、および少なくとも１つの出力装置からデータおよび命令を受信するように、かつこれらにデータおよび命令を送信するように結合されている。

【0080】

これらのコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーションまたはコードとしても知られる）は、プログラム可能なプロセッサのための機械命令を含み、高水準手続き型および／もしくはオブジェクト指向型プログラミング言語で、ならびに／またはアセンブリ／機械言語で実現することができる。本明細書で使用されるとき、用語「機械可読媒体」「コンピュータ可読媒体」は、機械命令を機械可読信号として受信する機械可読媒体を含む、機械命令および／またはデータをプログラマブルプロセッサに提供するよう使用される任意のコンピュータプログラム製品、装置および／またはデバイス（例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））を指す。「機械可読信号」という用語は、機械命令および／またはデータをプログラマブルプロセッサに提供するために使用される任意の信号を指す。

【0081】

ユーザとの対話を提供するために、ここに記載されるシステムおよび技術は、（たとえばＣＲＴ（陰極線管）またはＬＣＤ（液晶ディスプレイ）モニタといった）ユーザに対して情報を表示するためのディスプレイデバイスと、（たとえばマウスまたはトラックボールといった）ユーザがコンピュータに入力を提供可能であるキーボードおよびポインティングデバイスとを有するコンピュータ上で実現され得る。他の種類のデバイスを用いて、ユーザとの対話を提供することもでき、たとえば、ユーザに提供されるフィードバックは、任意の形態の感覚フィードバック（たとえば、視覚フィードバック、聴覚フィードバック、または触覚フィードバック）であり得、ユーザからの入力は、音響入力、音声入力、または触覚入力を含む、任意の形態で受信することができる。

【0082】

本明細書で説明されるシステムおよび技術は、（たとえばデータサーバとして）バックエンドコンポーネントを含む計算システムにおいて実現され得るか、（たとえばアプリケーションサーバといった）ミドルウェアコンポーネントを含む計算システムにおいて実現され得るか、（たとえば本明細書で説明されるシステムおよび技術の実現例とユーザが対話することが可能であるグラフィカルユーザーインターフェイスもしくはウェブブラウザを有するクライアントコンピュータといった）フロントエンドコンポーネントを含む計算システムにおいて実現され得るか、またはそのようなバックエンドコンポーネント、ミドルウェアコンポーネントもしくはフロントエンドコンポーネントの任意の組合せを含む計算システムにおいて実現され得る。システムのコンポーネントは、（たとえば通信ネットワークといった）デジタルデータ通信の任意の形態または媒体によって相互接続され得る。通信ネットワークの例は、ローカルエリアネットワーク（「ＬＡＮ」）、ワイドエリアネットワーク（「ＷＡＮ」）、およびインターネットを含む。

【0083】

コンピューティングシステムは、クライアントおよびサーバを含むことができる。クライアントとサーバとは一般に互いから遠隔にあり、典型的には通信ネットワークを通じて対話する。クライアントとサーバとの関係は、それぞれのコンピュータ上で実行されるとともに互いに対してクライアント－サーバ関係を有するコンピュータプログラムによって生ずる。

【0084】

多数の実施形態が記載された。それにもかかわらず、本発明の精神および範囲から逸脱することなく、様々な修正がなされ得ることが理解されるであろう。

【0085】

加えて、図面において示される論理フローは、望ましい結果を達成するために、示された特定の順序または連続する順序を必要としない。さらに、説明されたフローから、他のステップが与えられてもよく、またはステップが削除されてもよく、他の構成要素が、説明されたシステムに追加され、またはそこから除去されてもよい。従って、他の実施形態は以下の請求の範囲内にある。

【0086】

上記の説明に加えて、本明細書で説明されるシステム、プログラム、または特徴がユーザ情報（例えば、ユーザのソーシャルネットワーク、ソーシャルアクション、またはアクティビティ、職業、ユーザの嗜好、またはユーザの現在位置についての情報）の収集を可能にし得るかどうかおよび何時そうであり得るかの両方、ならびにユーザがサーバからコンテンツまたは通信を送信されるかどうかに関してユーザが選択を行うことを可能にする制御が、ユーザに提供されてもよい。さらに、特定のデータは、個人的に識別可能な情報が取り除かれるように、記憶または使用前に、１つ以上の方法で処理されてもよい。例えば、ユーザの素性は、ユーザについて個人的に識別可能な情報を判断できないように扱われてもよく、またはユーザの地理的位置は、（例えば、都市、ＺＩＰコード、または州レベルに関して）位置情報が得られる場合に、ユーザの特定の位置を判断することができないように、一般化されてもよい。したがって、ユーザは、ユーザに関してどのような情報が収集されるか、その情報がどのように用いられるか、およびどのような情報がユーザに提供されるかについて、制御することができる。

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図3D】

【図4A】

【図4B】

【図4C】

【図4D】

【図4E】

【図4F】

【図5A】

【図5B】

【図5C】

【図5D】

【図5E】

【図5F】

【図6A】

【図6B】

【図6C】

【図6D】

【図6E】

【図6F】

【図6G】

【図6H】

【図7A】

【図7B】

【図7C】

【図8A】

【図8B】

【図8C】

【図8D】

【図8E】

【図8F】

【図8G】

【図8H】

【図8I】

【図8J】

【図8K】

【図8L】

【図9】

【図10】