(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-07-26
(54)【発明の名称】人工現実システムのためのメモリの階層型電力管理
(51)【国際特許分類】
G06F 12/00 20060101AFI20230719BHJP
G06F 1/3225 20190101ALI20230719BHJP
G06F 1/3234 20190101ALI20230719BHJP
G06F 12/06 20060101ALI20230719BHJP
【ＦＩ】
G06F12/00 550E
G06F1/3225
G06F1/3234
G06F12/06 515H
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022578794
(86)(22)【出願日】2021-06-24
(85)【翻訳文提出日】2023-02-08
(86)【国際出願番号】 US2021038832
(87)【国際公開番号】W WO2022005861
(87)【国際公開日】2022-01-06
(31)【優先権主張番号】63/047,035
(32)【優先日】2020-07-01
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】16/947,432
(32)【優先日】2020-07-31
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】515046968
【氏名又は名称】メタ プラットフォームズ テクノロジーズ， リミテッド ライアビリティ カンパニー
【氏名又は名称原語表記】ＭＥＴＡ ＰＬＡＴＦＯＲＭＳ ＴＥＣＨＮＯＬＯＧＩＥＳ， ＬＬＣ
(74)【代理人】
【識別番号】110002974
【氏名又は名称】弁理士法人Ｗｏｒｌｄ ＩＰ
(72)【発明者】
【氏名】ヤーディ， シュリラン マーダブ
(72)【発明者】
【氏名】エーマン， グレゴリー エドワード
(72)【発明者】
【氏名】サレーミ， エンニオ
(72)【発明者】
【氏名】スパッツ， ジョージ
(72)【発明者】
【氏名】ライデン， ジェフリー
【テーマコード（参考）】
5B011
5B160
【Ｆターム（参考）】
5B011DA01
5B011EA05
5B011EA06
5B011EB01
5B011EB09
5B011LL11
5B160AA02
5B160AC11
(57)【要約】
本開示は、メモリによる消費電力を低減する、人工現実システム（１００）のメモリの階層型電力管理のための技術について記載する。一例のデバイスは、表示する人工現実コンテンツを生成するように構成された周辺デバイス（１０４）、または表示する人工現実コンテンツを出力するように構成されたヘッドマウントディスプレイユニット（ＨＭＤ）であってもよい。デバイスは、複数の電力モードで動作するように構成可能な複数のメモリブロック（３２２Ａ～３２２Ｎ）に分割されるメモリを含む。デバイス（１０４）はまた、メモリブロックを制御するメモリブロックコントローラを含む。各メモリブロックコントローラは、対応するメモリブロック（３２２Ａ～３２２Ｎ）がどの電力モードで動作するかを、他のメモリブロック（３２２Ａ～３２２Ｎ）のいずれからも独立して制御する。デバイス（１０４）は、メモリブロック（３２２Ａ～３２２Ｎ）がアクセスされていないとき、メモリブロック（３２２Ａ～３２２Ｎ）に対して複数の電力モードのうち１つを選択するようにメモリブロックコントローラに指示するように、メモリブロックコントローラの制御レジスタを構成するように構成された、メモリ電力コントローラを含む。
【選択図】図１Ｂ
【選択図】図１Ｂ
【特許請求の範囲】
【請求項1】
表示する人工現実コンテンツを生成するように構成された周辺デバイス、または表示する人工現実コンテンツを出力するように構成されたヘッドマウントディスプレイユニット（ＨＭＤ）のうち１つを備えたデバイスを備える、人工現実システムであって、前記デバイスが、互いに独立して複数の電力モードで動作するようにそれぞれ構成可能な複数のメモリブロックに分割されたメモリと、
対応するメモリブロックに対する１つまたは複数のメモリブロックコントローラであって、前記メモリブロックコントローラの制御レジスタに基づいて、前記複数の電力モードのうち前記対応するメモリブロックが動作する電力モードを、他のメモリブロックのいずれからも独立して制御するようにそれぞれ構成された、メモリブロックコントローラと、
前記メモリブロックがアクセスされていないとき、前記メモリブロックに対して前記複数の電力モードのうち１つを選択するように前記メモリブロックコントローラに指示するように、前記メモリブロックコントローラのそれぞれの制御レジスタを構成するように構成された、メモリ電力コントローラとを備える、
人工現実システム。
【請求項2】
前記メモリブロックコントローラの前記制御レジスタを構成するため、前記メモリ電力コントローラが、前記メモリブロックがアクセスされていないとき、関連する前記メモリブロック全てに対して前記複数の電力モードのうち前記１つを選択するように前記メモリブロックコントローラに指示するように、レジスタを制御するよう構成された、請求項１に記載のシステム。
【請求項3】
前記メモリブロックコントローラの各メモリブロックコントローラが、前記複数の電力モードのうちどの電力モードで前記メモリブロックのうちの対応するメモリブロックが動作するかを制御するように、状態機械を操作する、請求項１または２に記載のシステム。
【請求項4】
前記メモリブロックコントローラの各メモリブロックコントローラによって操作される前記状態機械が、前記複数の電力モードのうち１つにそれぞれ対応する複数の状態を含み、前記メモリブロックコントローラの各メモリブロックコントローラが、前記メモリブロックコントローラによって操作される前記状態機械の現在の状態に基づいて、前記メモリブロックのうち対応するメモリブロックを制御する、請求項３に記載のシステム。
【請求項5】
前記メモリブロックコントローラの各メモリブロックコントローラによって操作される前記状態機械が、前記メモリ電力コントローラによって提供される前記制御レジスタの値に基づいて状態間を遷移して、前記メモリブロックのうち前記メモリブロックコントローラに対応するメモリブロックの前記電力モードのソフトウェア制御を提供する、請求項３または４に記載のシステム。
【請求項6】
前記メモリブロックコントローラの各メモリブロックコントローラが、イベント入力をそれぞれ含み、前記メモリブロックコントローラの各メモリブロックコントローラの前記状態機械が、前記イベント入力の信号に基づいて状態間を遷移して、前記メモリブロックのうち前記メモリブロックコントローラに対応するメモリブロックの前記電力モードのハードウェア制御を提供する、請求項５に記載のシステム。
【請求項7】
メモリデコーダをさらに備え、前記メモリブロックコントローラの各メモリブロックコントローラがイベント入力を含み、
前記メモリデコーダが、
メモリアドレスを復号して、前記メモリブロックのうちどれが前記メモリアドレスと関連付けられるかを決定し、
前記メモリブロックコントローラのうち前記メモリアドレスと関連付けられたメモリブロックに対応するメモリブロックコントローラのイベントラインにイネーブル信号を適用して、前記メモリブロックコントローラのうち前記対応するメモリブロックコントローラの前記状態機械を、前記メモリアドレスと関連付けられた前記メモリブロックの動作電力モードに対応する高電力状態へと遷移させるように構成された、
請求項３から６のいずれか一項に記載のシステム。
【請求項8】
前記メモリブロックコントローラの各メモリブロックコントローラが、イベント入力を含み、前記メモリブロックコントローラの各メモリブロックコントローラが、前記イベント入力におけるイネーブル信号の検出に応答して、前記メモリブロックコントローラによって操作される前記状態機械を、前記メモリブロックコントローラに対応する前記メモリブロックの動作電力モードに対応する高電力状態へと遷移して、前記メモリブロックにアクセスして前記メモリブロックからデータを読み取るのを容易にし、
前記イベント入力において前記イネーブル信号を検出しなくなったことに応答して、前記メモリブロックコントローラによって操作される前記状態機械を、複数の低電力状態のうち、前記複数の電力モードのうち前記メモリブロックコントローラに対応する前記メモリブロックがアクセス不能である電力モードに対応し、前記メモリブロックコントローラの前記制御レジスタの値に基づく１つの低電力状態へと遷移するように構成された、
請求項３から７のいずれか一項に記載のシステム。
【請求項9】
前記デバイスが、前記メモリを共有する複数のサブシステムを有するシステムオンチップ（ＳｏＣ）をさらに備える、請求項１から８のいずれか一項に記載のシステム。
【請求項10】
前記メモリ電力コントローラが、前記メモリブロックに電力供給して前記メモリブロックと関連付けられたメモリアドレスへのアクセスを容易にするように、前記制御レジスタを介して前記メモリブロックコントローラに指示することによって、前記メモリブロックのソフトウェア制御を提供するようにさらに構成された、請求項１から９のいずれか一項に記載のシステム。
【請求項11】
前記メモリブロックコントローラが、前記デバイスのメモリデコーダからコマンドを受信したことに応答して、前記メモリブロックに電力供給して前記メモリブロックと関連付けられたメモリアドレスへのアクセスを容易にすることによって、前記メモリブロックのハードウェア制御を提供するようにさらに構成された、請求項１から１０のいずれか一項に記載のシステム。
【請求項12】
前記メモリブロックコントローラが、前記メモリ電力コントローラによって提供されるソフトウェア制御とは独立して、前記メモリブロックの前記ハードウェア制御を提供する、請求項１１に記載のシステム。
【請求項13】
人工現実システムにおけるメモリの階層型電力制御の方法であって、第１のメモリブロックコントローラによって、複数の電力モードのうちどの電力モードで第１のメモリブロックが動作するかを制御することであって、前記メモリが、互いに独立して複数の電力モードで動作するように構成可能な前記第１のメモリブロックおよび第２のメモリブロックに分割される、どの電力モードで第１のメモリブロックが動作するかを制御することと、
前記第１のメモリブロックとは独立して第２のメモリブロックコントローラによって、前記複数の電力モードのうちどの電力モードで前記第２のメモリブロックが動作するかを制御することと、
前記第１および第２のメモリブロックがアクセスされていないとき、前記第１および第２のメモリブロックに対して前記複数の電力モードのうち１つを選択するように前記第１および第２のメモリブロックコントローラに指示するように、メモリ電力コントローラによって、前記第１および第２のメモリブロックコントローラのそれぞれの制御レジスタを制御することと
を含む、方法。
【請求項14】
前記第１のメモリブロックコントローラによって、前記複数の電力モードのうちどの電力モードで前記第１のメモリブロックが動作するかを制御するように、第１の状態機械を操作することと、前記第２のメモリブロックコントローラによって、前記複数の電力モードのうちどの電力モードで前記第２のメモリブロックが動作するかを制御するように、第２の状態機械を操作することと
を含む、請求項１３に記載の方法。
【請求項15】
前記第１の状態機械が、前記複数の電力モードの１つにそれぞれ対応する複数の状態を備え、前記方法が、前記第１のメモリブロックコントローラによって、前記第１の状態機械の現在の状態に基づいて前記第１のメモリブロックを制御すること
をさらに含む、請求項１４に記載の方法。
【請求項16】
メモリデコーダによって、メモリアドレスを復号して、前記第１および第２のメモリブロックのうちどれが前記メモリアドレスと関連付けられるかを決定することと、前記第１のメモリブロックが前記メモリアドレスと関連付けられるという決定に応答して、前記メモリデコーダによって、前記第１のメモリブロックに対応する前記第１のメモリブロックコントローラのイベントラインにイネーブル信号を適用して、前記第１の状態機械の状態を、前記複数の電力モードのうちのある電力モードに対応する高電力状態に遷移させることと
をさらに含む、請求項１４または１５に記載の方法。
【請求項17】
前記イベントラインにおいて前記イネーブル信号を検出しなくなったことに応答して、前記第１のメモリブロックコントローラによって、前記第１の状態機械を、複数の低電力状態のうち、前記複数の電力モードのうち前記第１のメモリブロックの電力モードに対応し、前記第１のメモリブロックコントローラの前記制御レジスタの値に基づく１つの低電力状態に遷移することをさらに含む、請求項１６に記載の方法。
【請求項18】
前記第１および第２のメモリブロックに電力供給して前記第１および第２のメモリブロックと関連付けられたメモリアドレスへのアクセスを容易にするように、前記制御レジスタを介して前記第１および第２のメモリブロックコントローラに指示することにより、前記メモリ電力コントローラによって、前記第１および第２のメモリブロックのソフトウェア制御を提供することをさらに含む、請求項１３から１７のいずれか一項に記載の方法。
【請求項19】
メモリデコーダから第１のコマンドを受信したことに応答して、前記第１のメモリブロックに電力供給して前記第１のメモリブロックのメモリアドレスへのアクセスを容易にすることにより、前記第１のメモリブロックコントローラによって、前記第１のメモリブロックのハードウェア制御を提供することと、前記メモリデコーダから第２のコマンドを受信したことに応答して、前記第２のメモリブロックに電力供給して前記第２のメモリブロックのメモリアドレスへのアクセスを容易にすることにより、前記第２のメモリブロックコントローラによって、前記第２のメモリブロックのハードウェア制御を提供することと
をさらに含む、請求項１３から１８のいずれか一項に記載の方法。
【請求項20】
命令を含むコンピュータ可読媒体であって、前記命令が、実行されると、人工現実システムのメモリ電力管理システムに、第１のメモリブロックコントローラを用いて、複数の電力モードのうちどの電力モードで第１のメモリブロックが動作するかを制御することであって、メモリが互いに独立して複数の電力モードで動作するように構成可能な前記第１のメモリブロックおよび第２のメモリブロックに分割される、どの電力モードで第１のメモリブロックが動作するかを制御することと、
前記第１のメモリブロックとは独立して、第２のメモリブロックコントローラを用いて、前記複数の電力モードのうちどの電力モードで前記第２のメモリブロックが動作するかを制御することと、
前記第１および第２のメモリブロックがアクセスされていないとき、前記第１および第２のメモリブロックに対して前記複数の電力モードのうち１つを選択するように、前記第１および第２のメモリブロックにそれぞれ結合された第１および第２のメモリブロックコントローラのそれぞれの制御レジスタを制御することと、を行わせる、
コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
概して、本開示は、拡張現実、複合現実、および／または仮想現実システムなど、人工現実システムのメモリの電力管理に関する。
【背景技術】
【0002】
人工現実システムは、コンピュータゲーミング、安全衛生、産業、および教育などの多くの分野で、アプリケーションによってユビキタス化が進んでいる。いくつかの例として、人工現実システムは、移動デバイス、ゲーミングコンソール、パーソナルコンピュータ、映画館、およびテーマパークに組み込まれてきている。概して、人工現実は、ユーザに提示する前に何らかの形で調節されている１つの形態の現実であり、例えば、仮想現実、拡張現実、複合現実、ハイブリッド現実、または上記の何らかの組み合わせおよび／もしくは派生物を含んでもよい。
【0003】
一般的な人工現実システムは、コンテンツをレンダリングし、ユーザに対して表示する、１つまたは複数のデバイスを含む。これらのデバイスは電池式である場合が多い。一例として、人工現実システムは、ユーザによって装着され、人工現実コンテンツをユーザに対して出力するように構成された、ヘッドマウントディスプレイ（ＨＭＤ）を組み込んでもよい。人工現実コンテンツは、システムによって生成されたコンテンツを全体的に含んでもよく、またはキャプチャされたコンテンツ（例えば、実世界の映像および／または写真）と組み合わされた生成コンテンツを含んでもよい。動作中、ユーザは、一般的に、人工現実システムと対話して、コンテンツを選択し、アプリケーションを起動し、システムを構成し、また全体として人工現実環境を体験する。
【発明の概要】
【0004】
概して、本開示は、メモリによる消費電力を低減する、人工現実（ＡＲ）システムにおけるメモリの階層型電力管理のための技術について記載する。人工現実システムは、協働してＡＲ体験を提供する、異なるデバイス（例えば、ヘッドマウントディスプレイ、周辺デバイスなど）を含んでもよい。これらのデバイスは、ＡＲシステムのための様々な機能性を提供するサブシステムを含む、１つまたは複数のシステムオンチップ（ＳｏＣ）を含む。これらのＳｏＣは、機能性を提供するのにサブシステムによって使用される、スタティックランダムアクセスメモリ（ＳＲＡＭ）などのメモリを含む。いくつかの例では、メモリは、互いに独立して異なる電力モードで動作するように構成することができる、メモリブロックに分割される。これらの電力モードとしては、メモリブロックと関連付けられたメモリアドレスにアクセスすることができる、高電力モード（例えば、動作モード）、および消費電力が高電力モードよりも少なく、メモリブロックと関連付けられたアドレスにアクセスすることができない、１つまたは複数の低電力モード（例えば、保持モード、パワーオフモード、ナップモードなど）が挙げられる。
【0005】
後述する技術では、これらのメモリブロックの電力モードは階層型の方式で制御される。ＲＡＭドメインコントローラ（ＲＤＣ）（「メモリ電力コントローラ」の一例であって場合によってはそのように呼ばれる）は、複数のＲＡＭドメインブロック（ＲＤＢ）（「メモリブロックコントローラ」の例であって場合によってはそのように呼ばれる）のソフトウェアベースおよびハードウェアベースの制御を実現する。各メモリブロックの電力モードは対応するＲＤＢによって制御される。ＲＤＣおよびＲＤＢにより、ＳｏＣの電力管理システムは、ＳｏＣのメモリに対して微調整または粗調整を適用してもよい。ＲＤＢはそれぞれ、イベント入力ならびに制御レジスタおよび／または信号線を介して制御される、状態機械を含む。ＲＤＢは、ハードウェア制御および／またはソフトウェア制御によって動作してもよい。イベント入力は、メモリ電力モードの粗いハードウェア制御を提供し、制御レジスタは、メモリ電力状態のより微細な制御を提供する。ＲＤＢは、状態機械の現在の状態に基づいて、関連するメモリブロックの電力モードを制御する。状態機械の現在の状態は、イベント入力時の信号、および制御レジスタのコンテンツ、または信号線の値に基づく。本明細書で使用するとき、ハードウェア制御とは、メモリアクセスのプロセス中に、メモリハードウェアの構成要素（例えば、メモリデコーダなど）によって生成される信号に基づいて、ＲＤＢを制御することを指す。本明細書で使用するとき、ソフトウェア制御とは、（ａ）例えば、ＳｏＣで動作する、および／もしくは電力管理回路で動作する、ファームウェアから受信した入力に基づいた、ＲＤＣによる信号入力および／もしくは制御レジスタを介して、ならびに／または（ｂ）ＳｏＣで動作する、かつ／もしくは電力管理回路で動作する、ファームウェアからソフトウェアレジスタへの信号入力を介して、ＲＤＢを制御することを指す。該技術は、１つまたは複数の実用的用途を実現する、１つまたは複数の技術的利点を提供してもよい。ＲＤＣおよびＲＢＤの階層型制御構造は、例えばシステムのＳＲＡＭの様々な粒度で（例えば、個々のメモリブロックからより大きいメモリ「チャンク」まで）、電力モードを制御する柔軟性を促進する。例えば、ハードウェア（例えば、イベントラインを介する）およびソフトウェア（例えば、制御レジスタを介する）の両方を使用する、メモリの消費電力の微細な制御は、人工現実システムの消費電力を低減してもよい。このような形でメモリのハードウェアおよびソフトウェア制御を提供することは、メモリのより一層のカスタム化および制御を提供するとともに、電力モード間でのメモリの移行におけるレイテンシを改善する。このことは、電池寿命を延ばし、人工現実システムの応答性を改善し、ユーザ体験を改善することができる。
【0006】
一例の人工現実システムはデバイスを含む。デバイスは、表示する人工現実コンテンツを生成するように構成された周辺デバイス、または表示する人工現実コンテンツを出力するように構成されたヘッドマウントディスプレイユニット（ＨＭＤ）であってもよい。デバイスは、互いに独立して複数の電力モードで動作するようにそれぞれ構成可能な、複数のメモリブロックに分割されたメモリと、対応するメモリブロックに対する１つまたは複数のメモリブロックコントローラと、メモリ電力コントローラとを含む。各メモリブロックコントローラは、メモリブロックコントローラの制御レジスタに基づいて、複数の電力モードのうち対応するメモリブロックが動作する電力モードを、他のメモリブロックのいずれからも独立して制御する。メモリ電力コントローラは、メモリブロックがアクセスされていないとき、メモリブロックに対して複数の電力モードのうち１つを選択するようにメモリブロックコントローラに指示するように、メモリブロックコントローラのそれぞれの制御レジスタを構成する。
【0007】
人工現実システムにおけるメモリの階層型電力制御の一例の方法は、第１のメモリブロックコントローラによって、複数の電力モードのうち第１のメモリブロックが動作する電力モードを制御することを含む。メモリは、互いに独立して複数の電力モードで動作するように構成可能な、第１のメモリブロックおよび第２のメモリブロックに分割される。方法はまた、第１のメモリブロックとは独立して第２のメモリブロックコントローラによって、複数の電力モードのうち第２のメモリブロックが動作する電力モードを制御することを含む。加えて、方法は、第１および第２のメモリブロックがアクセスされていないとき、第１および第２のメモリブロックに対して複数の電力モードのうち１つを選択するように第１および第２のメモリブロックコントローラに指示するように、第１および第２のメモリブロックコントローラのそれぞれの制御レジスタを制御することを含む。
【0008】
一例のコンピュータ可読媒体は命令を含み、命令は、実行されると、人工現実システムのメモリ電力管理システムに、第１のメモリブロックコントローラを用いて、複数の電力モードのうち第１のメモリブロックが動作する電力モードを制御させ、メモリは、互いに独立して複数の電力モードで動作するように構成可能な、第１のメモリブロックおよび第２のメモリブロックに分割される。命令はさらに、メモリ電力管理システムに、第１のメモリブロックとは独立して、第２のメモリブロックコントローラを用いて、複数の電力モードのうち第２のメモリブロックが動作する電力モードを制御させる。加えて、命令は、メモリ電力管理システムに、第１および第２のメモリブロックがアクセスされていないとき、第１および第２のメモリブロックに対して複数の電力モードのうち１つを選択するように、第１および第２のメモリブロックにそれぞれ結合された第１および第２のメモリブロックコントローラのそれぞれの制御レジスタを制御させる。
【0009】
本開示の第１の態様によれば、表示する人工現実コンテンツを生成するように構成された周辺デバイス、または表示する人工現実コンテンツを出力するように構成されたヘッドマウントディスプレイユニット（ＨＭＤ）の１つを含むデバイスを備える、人工現実システムが提供され、デバイスは、互いに独立して複数の電力モードで動作するようにそれぞれ構成可能な、複数のメモリブロックに分割されたメモリと、対応するメモリブロックに対する１つまたは複数のメモリブロックコントローラであって、各メモリブロックコントローラが、メモリブロックコントローラの制御レジスタに基づいて、複数の電力モードのうち対応するメモリブロックが動作する電力モードを、他のメモリブロックのいずれからも独立して制御する、メモリブロックコントローラと、メモリブロックがアクセスされていないとき、メモリブロックに対して複数の電力モードのうち１つを選択するようにメモリブロックコントローラに指示するように、メモリブロックコントローラのそれぞれの制御レジスタを構成するように構成された、メモリ電力コントローラと、を備える。
【0010】
メモリブロックコントローラの制御レジスタを構成するため、メモリ電力コントローラは、メモリブロックがアクセスされていないとき、関連するメモリブロック全てに対して複数の電力モードのうち１つを選択するようにメモリブロックコントローラに指示するように、レジスタを制御するよう構成されてもよい。
【0011】
メモリブロックコントローラの各メモリブロックコントローラは、複数の電力モードのうち、メモリブロックの対応するものが動作する電力モードを制御するように、状態機械を操作してもよい。
【0012】
メモリブロックコントローラの各メモリブロックコントローラによって操作される状態機械は、複数の電力モードのうち１つにそれぞれ対応する複数の状態を含んでもよく、メモリブロックコントローラの各メモリブロックコントローラは、メモリブロックコントローラによって操作される状態機械の現在の状態に基づいて、メモリブロックのうち対応するものを制御する。
【0013】
状態機械は、メモリ電力コントローラによって提供される制御レジスタの値に基づいて、メモリブロックコントローラの各メモリブロックコントローラによって操作されて状態間を移行して、メモリブロックのうちメモリブロックコントローラに対応するメモリブロックの電力モードのソフトウェア制御を提供してもよい。
【0014】
メモリブロックコントローラの各メモリブロックコントローラは、イベント入力をそれぞれ含んでもよく、メモリブロックコントローラの各メモリブロックコントローラの状態機械は、イベント入力の信号に基づいて状態間を移行して、メモリブロックのうちメモリブロックコントローラに対応するメモリブロックの電力モードのハードウェア制御を提供する。
【0015】
システムは、メモリデコーダをさらに備えてもよく、メモリブロックコントローラの各メモリブロックコントローラはイベント入力を含み、メモリデコーダは、メモリアドレスを復号して、メモリブロックのうちどれがメモリアドレスと関連付けられるかを決定し、メモリブロックコントローラのうちメモリアドレスと関連付けられたメモリブロックに対応するメモリブロックコントローラのイベントラインにイネーブル信号を適用して、メモリブロックコントローラのうち対応する１つに対する状態機械を、メモリアドレスと関連付けられたメモリブロックの動作電力モードに対応する高電力状態に移行させるように構成される。
【0016】
メモリブロックコントローラの各メモリブロックコントローラは、イベント入力を含んでもよく、メモリブロックコントローラの各メモリブロックコントローラは、
イベント入力におけるイネーブル信号の検出に応答して、メモリブロックコントローラによって操作される状態機械を、メモリブロックコントローラに対応するメモリブロックの動作電力モードに対応する高電力状態へと移行して、メモリブロックにアクセスしてメモリブロックからデータを読み取るのを容易にし、
イベント入力においてイネーブル信号を検出しなくなったことに応答して、メモリブロックコントローラによって操作される状態機械を、メモリブロックコントローラに対応するメモリブロックがアクセス不能である複数の電力モードに対応する複数の低電力状態のうち１つへと移行させ、複数の低電力状態のうち１つは、メモリブロックコントローラの制御レジスタの値に基づくように構成される。
イベント入力におけるイネーブル信号の検出に応答して、メモリブロックコントローラによって操作される状態機械を、メモリブロックコントローラに対応するメモリブロックの動作電力モードに対応する高電力状態へと移行して、メモリブロックにアクセスしてメモリブロックからデータを読み取るのを容易にし、
イベント入力においてイネーブル信号を検出しなくなったことに応答して、メモリブロックコントローラによって操作される状態機械を、メモリブロックコントローラに対応するメモリブロックがアクセス不能である複数の電力モードに対応する複数の低電力状態のうち１つへと移行させ、複数の低電力状態のうち１つは、メモリブロックコントローラの制御レジスタの値に基づくように構成される。
【0017】
デバイスは、メモリを共有する複数のサブシステムを有するシステムオンチップ（ＳｏＣ）をさらに備えてもよい。
【0018】
メモリ電力コントローラは、メモリブロックに電力供給してメモリブロックと関連付けられたメモリアドレスへのアクセスを容易にするように、制御レジスタを介してメモリブロックコントローラに指示することによって、メモリブロックのソフトウェア制御を提供するようにさらに構成されてもよい。
【0019】
メモリブロックコントローラは、デバイスのメモリデコーダからコマンドを受信したことに応答して、メモリブロックに電力供給してメモリブロックと関連付けられたメモリアドレスへのアクセスを容易にすることによって、メモリブロックのハードウェア制御を提供するようにさらに構成されてもよい。
【0020】
メモリブロックコントローラは、メモリ電力コントローラによって提供されるソフトウェア制御とは独立して、メモリブロックのハードウェア制御を提供してもよい。
【0021】
本開示の第２の態様によれば、人工現実システムにおけるメモリの階層型電力制御のための方法が提供され、方法は、第１のメモリブロックコントローラによって、複数の電力モードのうち第１のメモリブロックが動作する電力モードを制御することであって、メモリが、互いに独立して複数の電力モードで動作するように構成可能な第１のメモリブロックおよび第２のメモリブロックに分割されることと、第１のメモリブロックとは独立して、第２のメモリブロックコントローラによって、複数の電力モードのうち第２のメモリブロックが動作する電力モードを制御することと、メモリ電力コントローラによって、第１および第２のメモリブロックがアクセスされていないとき、第１および第２のメモリブロックに対して複数の電力モードのうち１つを選択するように第１および第２のメモリブロックコントローラに指示するように、第１および第２のメモリブロックコントローラのそれぞれの制御レジスタを制御することと、を含む。
【0022】
方法は、第１のメモリブロックコントローラによって、複数の電力モードのうち第１のメモリブロックが動作する電力モードを制御するように、第１の状態機械を操作することと、第２のメモリブロックコントローラによって、複数の電力モードのうち第２のメモリブロックが動作する電力モードを制御するように、第２の状態機械を操作することと、を含む。
【0023】
第１の状態機械は、複数の電力モードの１つにそれぞれ対応する複数の状態を備えてもよく、方法は、第１のメモリブロックコントローラによって、第１の状態機械の現在の状態に基づいて第１のメモリブロックを制御することをさらに含む。
【0024】
方法は、メモリデコーダによって、メモリアドレスを復号して、第１および第２のメモリブロックのうちどれがメモリアドレスと関連付けられるかを決定することと、第１のメモリブロックがメモリアドレスと関連付けられるという決定に応答して、メモリデコーダによって、第１のメモリブロックに対応する第１のメモリブロックコントローラのイベントラインにイネーブル信号を適用して、第１の状態機械の状態を、複数の電力モードのうちの電力モードに対応する高電力状態に移行させることと、をさらに含んでもよい。
【0025】
方法は、イベントラインにおいてイネーブル信号を検出しなくなったことに応答して、第１のメモリブロックコントローラによって、第１の状態機械を、複数の電力モードのうち第１のメモリブロックが動作する電力モードに対応する複数の低電力状態のうち１つに移行させることであって、複数の低電力状態のうち１つが、第１のメモリブロックコントローラの制御レジスタの値に基づくことをさらに含んでもよい。
【0026】
方法は、第１および第２のメモリブロックに電力供給して第１および第２のメモリブロックと関連付けられたメモリアドレスへのアクセスを容易にするように、制御レジスタを介して第１および第２のメモリブロックコントローラに指示することにより、メモリ電力コントローラによって、第１および第２のメモリブロックのソフトウェア制御を提供することをさらに含んでもよい。
【0027】
方法は、メモリデコーダから第１のコマンドを受信したことに応答して、第１のメモリブロックに電力供給して第１のメモリブロックのメモリアドレスへのアクセスを容易にすることにより、第１のメモリブロックコントローラによって、第１のメモリブロックのハードウェア制御を提供することと、メモリデコーダから第２のコマンドを受信したことに応答して、第２のメモリブロックに電力供給して第２のメモリブロックのメモリアドレスへのアクセスを容易にすることにより、第２のメモリブロックコントローラによって、第２のメモリブロックのハードウェア制御を提供することと、をさらに含んでもよい。
【0028】
本開示の第３の態様によれば、命令を含むコンピュータ可読媒体が提供され、命令は、実行されると、人工現実システムのメモリ電力管理システムに、第１のメモリブロックコントローラを用いて、複数の電力モードのうち第１のメモリブロックが動作する電力モードを制御させ、メモリが、互いに独立して複数の電力モードで動作するように構成可能な第１のメモリブロックおよび第２のメモリブロックに分割され、第１のメモリブロックとは独立して、第２のメモリブロックコントローラを用いて、複数の電力モードのうち第２のメモリブロックが動作する電力モードを制御させ、第１および第２のメモリブロックがアクセスされていないとき、第１および第２のメモリブロックに対して複数の電力モードのうち１つを選択するように、第１および第２のメモリブロックにそれぞれ結合された第１および第２のメモリブロックコントローラのそれぞれの制御レジスタを制御させる。
【0029】
本明細書に開示する方法はコンピュータ実装されてもよい。
【0030】
本開示の技術における１つまたは複数の例の詳細を、添付図面および以下の記載において説明する。技術の他の特徴、目的、および利点は、説明および図面から、ならびに特許請求の範囲から明白となるであろう。
【図面の簡単な説明】
【0031】
【図1A】本開示に記載する技術による、ランダムアクセスメモリの階層型電力管理を可能にする一例のマルチデバイス人工現実システムを示す図である。
【図1B】本開示に記載する技術による、ランダムアクセスメモリの階層型電力管理を可能にする一例の人工現実システムを示す図である。
【図2】本開示に記載する技術による、ランダムアクセスメモリの階層型電力管理を可能にする一例のＨＭＤおよび一例の周辺デバイスを示す図である。
【図3】本開示に記載する技術による、１つまたは複数のデバイスが、各デバイス内の１つまたは複数のシステムオンチップ（ＳｏＣ）集積回路を使用して、ランダムアクセスメモリの階層型電力管理を有して実現される、マルチデバイス人工現実システムの分散アーキテクチャの一実現例を示すブロック図である。
【図4】本開示に記載する技術による、階層型電力管理システムのブロック図である。
【図6A】本開示に記載する技術による、階層型電力管理システムにおけるメモリブロックコントローラの一例の状態機械のブロック図である。
【図6B】本開示に記載する技術による、階層型電力管理システムにおけるメモリブロックコントローラの一例の状態機械のブロック図である。
【図6C】本開示に記載する技術による、階層型電力管理システムにおけるメモリブロックコントローラの一例の状態機械のブロック図である。
【図7】本開示に記載する技術による、メモリブロックの電力状態を制御する一例の動作モードのフローチャートである。
【図8】本開示に記載する技術による、階層型電力管理システムによって制御されているメモリにアクセスする一例の動作モードのフローチャートである。
【発明を実施するための形態】
【0032】
文書および図面全体を通して、同様の参照記号は同様の要素を指す。
【0033】
ランダムアクセスメモリ（ＲＡＭ）の電力管理は、電池作動システムの充電間の使用量を増加させることができる。ＲＡＭは、（ｉ）メモリがアクセス可能であるオペレーティング（ＯＰＲ）モード、（ｉｉ）クロックが使用不能にされるナップ（ＮＡＰ）モード、（ｉｉｉ）格納データの完全性は維持されるが、供給電圧がメモリの読取りもしくは書込みに対して指定された電圧を下回り、クロックが使用不能にされる保持（ＲＥＮ）モード、および／または（ｉｖ）格納データの完全性が維持されないように供給電圧が低減されるパワーダウン（ＰＳＯ）モードなど、異なる電力消費特性を有する離散的な電力モードをサポートする。モード間の移行には供給電圧としての遅延を要することがあり、アクセスされるメモリにはクロックが供給される。概して、メモリはバースト（例えば、高い読取り／書込み活性の期間およびそれに続く低活性の期間）で読み取られる。そのため、メモリの使用シナリオに応じて、消費される電力とメモリが送達する性能とのトレードオフを提供するように、メモリの異なる部分を選択的に異なる電力モードにすることができる。
【0034】
本明細書で使用するとき、「電力モード」は、メモリブロックの動作条件（例えば、供給電圧、駆動クロック周波数など）を説明する。例えば、高電力モードは、メモリブロックが、メモリブロックに対する読取りおよび書込みアクセスを可能にするのに十分な供給電圧および駆動クロック周波数を受信しており、メモリブロックと関連付けられた消費電力が他の電力モードに比べて比較的高い、電力モードを説明してもよい。別の例として、低電力モードは、メモリブロックが、メモリブロック性能が低下する、および／またはメモリブロックがアクセス不能であるような、供給電力および／または駆動クロック周波数を受信しており、メモリブロックと関連付けられた消費電力が高電力モードよりも比較的低い、電力モードを説明してもよい。本明細書で使用するとき、「電力状態」は、メモリブロックが対応する電力モードで操作されるようにする、状態機械の状態を指す。
【0035】
複合現実システムでは、異なるデバイス（例えば、ヘッドマウントディスプレイ、周辺デバイスなど）が協働して、複合現実体験を提供する。これらのデバイスは、対応するＳｏＣの機能性をサポートするランダムアクセスメモリ（ＲＡＭ）（例えば、スタティックＲＡＭ（ＳＲＡＭ）など）を含む、１つまたは複数のシステムオンチップ（ＳｏＣ）を含む。メモリは、階層構造へと組織化されて、広範囲の電力管理ポリシーを促進するとともに、メモリの利用シナリオを反映するように、より粒度の高い電力制御をサポートする。メモリは、例えば、アクセスしていないときのデフォルト電力状態で動作するように、（例えば、ＳｏＣ電力管理回路によって）制御されてもよい、１つまたは複数のセグメントへと組織化されてもよい。例えば、１０Ｍｂのメモリが１０個の１Ｍｂのメモリセグメントに分割されてもよい。かかる例では、ＳｏＣ電力管理回路は、一部のセグメントに電力投入し、他のセグメントはオフのままにしてもよい。一部のセグメントはＮＡＰ状態をデフォルト設定にし、他のセグメントはＲＥＮ状態をデフォルト設定にしてもよい。メモリセグメントは、互いに独立した電力モードで動作することができる、メモリブロックに分割されてもよい。例えば、１Ｍｂのメモリセグメントが１０個の６４ｋｂのメモリブロックに分割されてもよい。ソフトウェアおよび／またはハードウェア制御を通して、メモリブロックは、アクセスされたときはＯＰＲ状態に置かれ、アクセスされないときはデフォルト電力状態に置かれてもよい。メモリ電力モードは、メモリに対する直接ソフトウェア入力（例えば、直接ソフトウェア制御）によって直接制御することができる。しかしながら、このソフトウェア制御は（例えば、後述する階層構造と比較して）低速である場合が多い。例えば、直接ソフトウェア制御が、個々のメモリブロックのどれがどの電力モードに変化するかを決定し、個々のメモリブロックをアドレスして指定の電力モードにすることは、ソフトウェアのオーバーヘッドを要し、そのことが遅延を引き起こすことがある。これにより、メモリアクセス遅延の影響を低減するため、メモリアクセス遅延の増加、または一度に電力投入する必要があるメモリブロックの数の増加がもたらされることがある。
【0036】
後述するように、ＳｏＣのメモリの電力モードは、例えば、ＳｏＣのサブシステムの電力状態をやはり管理する電力管理回路の一部であってもよい、メモリ電力マネージャ（「クラスタマネージャ」と呼ばれることがある）によって制御される。メモリセグメントは、ＲＡＭドメインコントローラ（ＲＤＣ）（「メモリ電力コントローラ」と呼ばれることがある）によって制御される。メモリブロックは、ＲＡＭドメインブロック（ＲＤＢ）（「メモリブロックコントローラ」の例であって場合によってはそのように呼ばれる）によって制御される。メモリ電力マネージャは複数のＲＤＣを制御してもよく、複数のＲＤＣが複数のＲＤＢを制御してもよい。ＲＤＣおよびＲＤＢにより、メモリ電力マネージャは、階層型の方式でＳｏＣのＳＲＡＭに対して微調整または粗調整を適用してもよい。間接的なソフトウェア制御がハードウェア制御と組み合わされたこの階層構造により、メモリがアクセスされていない間、システム要件に応じてシステムが異なる粒度のメモリに対して電力モードを設定し、（ハードウェア制御を介して）メモリにアクセスする際にそれらの電力モードを実現することが容易になる。これにより、メモリアクセスを実質的に低速にすることなく、または必要以上の数のメモリブロックに電力投入することなく、アクセスする必要があるメモリブロックに対するより高速のメモリアクセスが容易にすることができる。したがって、ＲＤＣおよびＲＤＢは、直接ソフトウェア制御と比較して、アクセス時間の低減、および／またはより標的を定めたメモリアクセスをもたらすことができる。
【0037】
メモリ電力マネージャは、例えば、複合現実システムの電力管理状態を補足する、電力制御ポリシーを設けてもよい。例えば、メモリ管理および／または電力管理サブシステムは、特定のメモリブロックが他のメモリブロックよりも高頻度でアクセスされると決定してもよい。かかるシナリオでは、ＲＤＣは、高頻度でアクセスされるメモリブロックと関連付けられた制御レジスタを使用して、ＲＤＢが、それらのメモリブロックがアクセスされていないときは１つの低電力モードに入れるようにしてもよい。ＲＤＣは、低頻度でアクセスされるメモリブロックと関連付けられた制御レジスタを使用して、ＲＤＢが、それらのメモリブロックがアクセスされていないときは別の低電力モードに入れるようにしてもよい。ＲＤＣは、制御レジスタに書き込んで、かつ／またはＲＤＢの信号線を操作して、対応するメモリブロックの電力モードを制御する。いくつかの例では、ＲＤＢがソフトウェア制御を使用して動作するとき、ＲＤＣは、ＲＤＢ制御レジスタおよび／または信号線を使用して、対応するＲＤＢを介してメモリブロックの電力状態を制御する（例えば、ＲＤＣは、制御レジスタおよび／または信号線を介して状態遷移を行う）。例えば、ＳｏＣのサブシステムが、特定のメモリブロックがアクセスされる予定であることを積極的に示している場合、ＲＤＣは、制御レジスタおよび／または信号線を使用して、ＲＤＢをＲＥＴ状態からＯＰＲ状態へと遷移してもよい。加えてまたは代わりに、ＲＤＢがハードウェア制御を使用して動作するとき、ＲＤＣは、制御レジスタおよび／または信号線を使用して、対応するメモリブロックがアクセスされた後にどの状態に入るかを規定する（例えば、ＲＤＣは、ＲＤＢがＯＰＲ状態から遷移する低電力状態を制御する）。例えば、ＲＤＣは、ハードウェアがＲＤＢをＯＰＲ状態にするのを停止した後、ＲＤＢを制御してＲＥＴ状態に戻してもよい。
【0038】
ＲＤＢはそれぞれ、状態機械、イベント入力、ならびに制御レジスタおよび／または信号線を含む。制御レジスタおよび／または信号線はＲＤＣに通信可能に結合される。イベント入力はメモリデコーダに通信可能に結合される。ＲＤＢは、状態機械の現在の状態に基づいて、関連するメモリブロックの電力モードを制御する。状態機械の現在の状態は、イベント入力時の信号、および／または制御レジスタのコンテンツ、または信号線の値に基づく。ＲＤＢは、ハードウェア制御（イベントラインによってトリガされる状態遷移）および／またはソフトウェア制御（制御レジスタによってトリガされる状態遷移）で動作してもよい。例えば、イベントラインにおけるイベント信号は、状態機械をＯＰＲ状態へと遷移させてもよい。これにより、ＲＤＢが電圧およびクロック信号をメモリブロックに供給して、該メモリブロックと関連付けられたメモリアドレスにアクセスできるようになる。イベント信号が停止すると、制御レジスタのコンテンツが状態機械をＲＥＴ状態へと遷移させてもよく、これによってＲＤＢが供給電圧を低下させ、該メモリブロックに対してクロックを使用不能にする。
【0039】
図１Ａは、ヘッドマウントデバイス（ＨＭＤ）１０２および周辺デバイス１０４を含む、マルチデバイス人工現実システム１００を示す図である。図示されるように、ＨＭＤ１０２は、一般的に、ユーザ１０６によって装着され、人工現実コンテンツ１０８をユーザ１０６に対して提示するための、電子ディスプレイおよび光学アセンブリを含む。加えて、ＨＭＤ１０２は、ＨＭＤ１０２の運動を追跡する１つまたは複数のセンサ（例えば、加速度計）を含む。ＨＭＤ１０２は、１つまたは複数の画像キャプチャデバイス１１０、例えばカメラ、ラインスキャナ、眼底撮影ハードウェアなどを含んでもよい。画像キャプチャデバイス１１０は、周囲の物理的環境の画像データをキャプチャするために構成されてもよい。いくつかの例では、画像キャプチャデバイス１１０は、ユーザ認証および他の目的のため、ユーザ１０６の顔画像、網膜スキャン、虹彩スキャンなどをキャプチャするように構成された、内側に面するカメラハードウェアおよび／またはスキャニングハードウェアを含んでもよい。ＨＭＤ１０２は、この例では、（例えば、無線通信またはテザリングで）周辺デバイス１０４と通信するものとして示されている。周辺デバイス１０４は、ＨＭＤ１０２と通信する共同処理デバイスを表す。ＨＭＤ１０２および／または周辺デバイス１０４は、人工現実アプリケーションを実行して、ユーザ１０６に対して表示する人工現実コンテンツ１０８を構築してもよい。例えば、ＨＭＤ１０２および／または周辺デバイス１０４は、一般的にはＨＭＤ１０２の視野である、基準フレームに対する追跡姿勢情報および計算姿勢情報に基づいて、人工現実コンテンツを構築してもよい。
【0040】
図１Ａに示されるように、マルチデバイス人工現実システム１００の１つまたは複数のデバイスは、ネットワーク１１２などのコンピューティングネットワークに接続されてもよい。ネットワーク１１２は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、Ｗｉ－Ｆｉ（商標）ベースのネットワークもしくは５Ｇネットワーク、Ｅｔｈｅｒｎｅｔ（登録商標）ネットワーク、メッシュネットワーク、短距離無線（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信媒体、ならびに／または他の様々なコンピュータ相互接続インフラストラクチャおよび規格などの、有線ネットワークおよび／または無線ネットワークを組み込んでもよい。ネットワーク１１２は、公衆ネットワーク（例えば、インターネット）へ、私設ネットワーク（例えば、教育機関、企業、政府機関などによって実装されることがあるものなど）へ、または公衆ネットワークのインフラストラクチャを使用して実装された私設ネットワーク（例えば、インターネットを通じてトンネルされる仮想私設ネットワーク「ＶＰＮ」）など、様々なレベルのネットワークアクセスをサポートしてもよい。
【0041】
図１Ａはまた、マルチデバイス人工現実システム１００に含まれるか、またはネットワーク１１２を介してマルチデバイス人工現実システム１００に結合されてもよい、様々な任意のデバイスを示している。これらのデバイスの任意の性質は、破線の境界線を用いて図１Ａに示されている。図１Ａに示される任意のデバイスの一例はコンソール１１４である。コンソール１１４を含む実現例では、コンソール１１４は、周辺デバイス１０４と、（またそれにより、間接的にＨＭＤ１０２と）通信して、ＨＭＤ１０２がユーザ１０６に対して出力する人工現実コンテンツを処理してもよい。図１Ａに示される任意のハードウェアの別の例は、外部センサ１１６によって表される。マルチデバイス人工現実システム１００は、外部センサ１１６および／または外部カメラハードウェアを使用して、ユーザ１０６が位置する実世界の物理的環境内の三次元（３Ｄ）情報をキャプチャしてもよい。
【0042】
一般に、マルチデバイス人工現実システム１００は、実世界の３Ｄ物理的環境からキャプチャされた情報を使用して、人工現実コンテンツ１０８を描画してユーザ１０６に対して表示する。図１Ａの例では、ユーザ１０６は、ＨＭＤ１０２および周辺デバイス１０４の組み合わせで実行する人工現実アプリケーションによって構築され描画される人工現実コンテンツ１０８を見る。いくつかの例では、人工現実コンテンツ１０８は、実世界像（例えば、周辺デバイス表現１０４’の形態の周辺デバイス１０４、ユーザ１０６が現在位置している物理的環境の壁の表現、ユーザ１０６が周辺デバイス１０４を持っている手の表現など）を、仮想オブジェクト（例えば、仮想コンテンツアイテム１１８Ａおよび１１８Ｂ、仮想ユーザインターフェース１２０など）と重ね合わせた組み合わせを含んで、ＨＭＤ１０２のディスプレイハードウェアを介してユーザ１０６に表示される拡張現実体験または複合現実体験を作成してもよい。
【0043】
いくつかの例では、仮想コンテンツアイテム１１８Ａおよび１１８Ｂ（集合的に、仮想コンテンツアイテム１１８）は、人工現実コンテンツ１０８内の特定の位置にマッピングされてもよい。例として、仮想コンテンツアイテム１１８は、人工現実コンテンツ１０８内の特定の位置にピン止め、係止、または配置されてもよい。仮想コンテンツアイテムの位置は、例として、人工現実コンテンツ１０８で再現される実世界像の壁の１つに対して、または地面に対して固定されてもよい。仮想コンテンツアイテムの位置は、非現定例として、周辺デバイス表現１０４’に対して、またはユーザ１０６の追跡された視線もしくは視野（ＦｏＶ）に対して可変であってもよい。いくつかの例では、人工現実コンテンツ１０８内における仮想コンテンツアイテムの特定の位置は、ユーザ１０６が現在位置している実世界の物理的環境内（例えば、物理的オブジェクトの表面上）の位置と関連付けられる。
【0044】
この例では、周辺デバイス１０４は、マルチデバイス人工現実システム１００のコンピューティングプラットフォーム上で実行する人工現実アプリケーションが仮想ユーザインターフェース１２０を重ねる表面を有する、物理的な実世界デバイスである。周辺デバイス１０４は、存在感知表面に触れているかまたは存在感知表面の位置の上に浮いている１つまたは複数のオブジェクト（例えば、指、スタイラス）の存在を検出することによって、ユーザ入力を検出する、１つまたは複数の存在感知表面を含んでもよい。いくつかの例では、周辺デバイス１０４は、ディスプレイなど、周辺デバイス１０４の入出力（Ｉ／Ｏ）構成要素を形成する、存在感知表面に統合されたディスプレイなど、１つまたは複数の出力デバイスを含んでもよい。
【0045】
いくつかの例では、周辺デバイス１０４は、スマートフォン、タブレットコンピュータ、個人情報端末（ＰＤＡ）、または他の手持ち式デバイスなど、様々なポータブルデバイスの形状因子を有してもよい。他の例では、周辺デバイス１０４は、いわゆる「スマートウォッチ」、「スマートリング」、または他のウェアラブルデバイスなど、様々なウェアラブルデバイスの形状因子を有してもよい。いくつかの例では、周辺デバイス１０４は、キオスクまたは他の定置もしくは移動システムの一部であってもよい。ディスプレイハードウェアを統合するものとして上述しているが、周辺デバイス１０４は、すべての実現例において必ずしもディスプレイハードウェアを含まなくてもよい。
【0046】
図１Ａに示される例の人工現実体験では、仮想コンテンツアイテム１１８は、ユーザ１０６が位置する実世界の物理的環境の壁の視覚表現上における位置にマッピングされる。図１Ａの例はまた、仮想コンテンツアイテム１１８が、人工現実コンテンツ１０８内でのみ壁の視覚表現上に部分的に見えることを示しており、仮想コンテンツアイテム１１８が、ユーザ１０６が位置する実世界の物理的環境に存在する任意のアイテムを表さないことを示している。仮想ユーザインターフェース１２０は、周辺デバイス表現１０４’に表されるような、周辺デバイス１０４の表面にマッピングされる。マルチデバイス人工現実システム１００は、人工現実コンテンツ１０８の一部としてＨＭＤ１０２を介して表示する仮想ユーザインターフェース１２０を、周辺デバイス１０４の特定の表面の位置に対して係止されたユーザインターフェース位置に描画する。
【0047】
図１Ａは、仮想ユーザインターフェース１２０が、周辺デバイス表現１０４’上に重ねられて（またしたがって、人工現実コンテンツ１０８内でのみ）見えることを示しており、仮想ユーザインターフェース１２０に表される仮想コンテンツが、ユーザ１０６が位置する実世界の物理的環境に存在しないことを示している。マルチデバイス人工現実システム１００は、仮想コンテンツアイテムの位置の少なくとも一部分がユーザ１０６のＦｏＶ内にあるという決定に応答して、１つまたは複数の仮想コンテンツアイテムを描画してもよい。例えば、マルチデバイス人工現実システム１００は、周辺デバイス１０４がユーザ１０６のＦｏＶ内にある場合のみ、周辺デバイス１０４上に仮想ユーザインターフェース１２０を描画してもよい。
【0048】
マルチデバイス人工現実システム１００の様々なデバイスは、各デバイスが、１つまたは複数の物理的デバイス内の別個の物理的電子デバイスおよび／または別個の集積回路であってもよいように、人工現実環境内で併せて動作してもよい。この例では、周辺デバイス１０４はＨＭＤ１０２と動作がペアリングされて、人工現実体験を提供するように共同で動作してもよい。例えば、周辺デバイス１０４およびＨＭＤ１０２は、共同処理デバイスとして互いに通信してもよい。一例として、ユーザが、周辺デバイス表現１０４’上に重ねられた仮想ユーザインターフェース１２０の仮想ユーザインターフェース要素のうち１つに対応する位置において、仮想環境内でユーザインターフェースがトリガするジェスチャを実施すると、マルチデバイス人工現実システム１００は、ユーザインターフェースを検出し、ＨＭＤ１０２を介して描画され表示されるアクションを実施する。
【0049】
本開示に記載する技術によれば、周辺デバイス１０４およびＨＭＤ１０２はそれぞれ、コアプリケーションプロセッサ、暗号化エンジン、復号エンジン、センサアグリゲータ、ディスプレイコントローラなどとして動作するＳｏＣなど、上述した人工現実アプリケーションの態様をサポートするように構成された、１つまたは複数のＳｏＣ集積回路を含んでもよい。周辺デバイス１０４およびＨＭＤ１０２はそれぞれ複数のＳｏＣを含んでもよいが、図１Ａは、例示および考察を簡単にするため、ＨＭＤ１０２のＨＭＤ ＳｏＣ１２２および周辺デバイス１０４の周辺ＳｏＣ１２４のみを示している。デバイス（例えば、周辺デバイス１０４、ＨＭＤ１０２）の機能性を促進するため、ＳｏＣ１２２および１２４はＲＡＭなどのメモリを含む。ＳｏＣ１２２および１２４のどちらかまたは両方は、電力管理技術を運用して、メモリの消費電力を含む消費電力を低減してもよい。
【0050】
例えば、ＳｏＣ１２２（例えば）のメモリは、１つまたは複数のメモリセグメントに分割されてもよい。例えば、１０Ｍｂのメモリが１０個の１Ｍｂのメモリセグメントに分割されてもよい。メモリセグメントはそれぞれ異なるＲＤＣと関連付けられる。各メモリセグメントは、異なる電力モードで独立して動作することができるメモリブロックに分割される。例えば、１Ｍｂの各メモリセグメントが６４ｍｂのメモリブロックに分割されてもよい。メモリブロックはそれぞれ異なるＲＤＢと関連付けられる。メモリセグメントのＲＤＣは、関連するメモリブロックのＲＤＢに結合されて、ＲＤＢの状態機械の状態を制御する。ＳｏＣ１２２のサブシステムがメモリブロックの１つと関連付けられたメモリアドレスにアクセスすると、対応するＲＤＢはＯＰＲ状態へと遷移して、読取りおよび書込みアクセスを可能にするのに十分な供給電圧を提供する。サブシステムは、いくつかのメモリアドレスからデータを読み取ってもよい。サブシステムがメモリアドレスにアクセスする必要がなくなると（例えば、読取り動作が完了する、異なるメモリブロックと関連付けられたメモリアドレスへのアクセスを開始するなど）、ＲＤＢの状態機械は、（例えば、制御レジスタまたは信号線を介して）関連するＲＤＣによって提供される電力制御命令にしたがって、より低電力の状態（例えば、ＮＡＰ状態、ＲＥＮ状態、ＰＳＯ状態など）へと遷移する。
【0051】
このように、ＳｏＣ１２２、１２４は、ＲＤＢが、例えばメモリブロックへのメモリアクセスに基づいて、メモリブロックに対して独立した微細な制御を提供し、ＲＤＣが、例えば人工現実システムで実行するソフトウェアからの需要に基づいて、複数の異なるＲＤＢ（および対応するメモリブロック）に対して粗い制御を提供してもよい、階層型電力管理を提供してもよい。これは、システムのメモリによる消費電力を低減して、電池寿命を延長し、ユーザ体験を改善することができる。
【0052】
図１Ｂは、別の例のマルチデバイス人工現実システム１２６を示す図である。図１Ｂの例では、マルチデバイス人工現実システム１２６は、外部カメラ１２８Ａおよび１２８Ｂ（集合的に、「外部カメラ１２８」）と、ＨＭＤ１０２Ａ～１０２Ｃ（集合的に、「ＨＭＤ１０２」）と、コンソール１１４と、センサ１１６とを含む。図１Ｂに示されるように、マルチデバイス人工現実システム１２６は、それぞれのユーザ１０６に対応する基準フレームの現在の視点に基づいて、コンソール１１４および／またはＨＭＤ１０２で実行する人工現実アプリケーションが、ユーザ１０６Ａ～１０６Ｃ（集合的に、「ユーザ１０６」）それぞれに対して人工現実コンテンツを提示する、マルチユーザ環境を表す。すなわち、この例では、人工現実アプリケーションは、ＨＭＤ１０２それぞれに関して基準フレームに対する姿勢情報を追跡し計算することによって、人工現実コンテンツを構築する。マルチデバイス人工現実システム１２６は、外部カメラ１２８および／またはＨＭＤ１０２から受信した情報を使用して、ユーザ１０６による運動および／またはユーザ１０６に関する追跡情報など、実世界環境内の３Ｄ情報をキャプチャして、ＨＭＤ１０２の対応する基準フレームに対する更新された姿勢情報を計算するのに使用する。
【0053】
ＨＭＤ１０２は、マルチデバイス人工現実システム１２６内で同時に動作する。図１Ｂの例では、任意のユーザ１０６が、人工現実アプリケーションの「プレーヤー」または「参加者」であってもよく、任意のユーザ１０６が、人工現実アプリケーションの「観客」または「観察者」であってもよい。図１ＢのＨＭＤ１０２はそれぞれ、図１ＡのＨＭＤ１０２と実質的に類似の方式で動作してもよい。例えば、ＨＭＤ１０２Ａは、図１ＡのＨＭＤ１０２と実質的に同様に動作してもよく、ユーザ１０６Ａの手の移動を追跡することによってユーザ入力を受信してもよい。ＨＭＤ１０２Ａは統合された画像キャプチャデバイス１１０Ａを含む。
【0054】
ＨＭＤ１０２はそれぞれ、それぞれのユーザに面する人工現実プラットフォームを実装し（または、周辺デバイス１０４を有するＨＭＤ１０２Ａの場合のように、プラットフォームを共同処理デバイスと共実装し）、それぞれの人工コンテンツを出力するが、単に例示を簡単にする目的で、ＨＭＤ１０２Ａによって出力される人工現実コンテンツ１０８のみが図１Ｂに示される。図１Ｂに示されるように、必須ではないものの、ＨＭＤ１０２の２つ以上が同じ形状因子に適合してもよい。ゴーグルの形状因子および眼鏡の形状因子を含む、ＨＭＤ１０２の様々な形状因子が図１Ｂに示される。いくつかの使用例シナリオでは、ＨＭＤ１０２Ｂおよび／または１０２Ｃは、周辺デバイス１０４に関して記載したのとほぼ対応する特徴を実現する、ポータブルデバイスともペアリング（例えば、無線結合またはテザリング）されてもよい。
【0055】
図１Ａに記載した例と同様に、ＨＭＤ１０２Ｃ（またはＨＭＤ１０２のいずれか）は、暗号化パケットをＨＭＤ ＳｏＣ１２２から周辺ＳｏＣ１２４へと送信または受信する際の暗号化および復号動作の性能を改善する、無線通信システムを含んでもよい。
【0056】
本開示の技術によれば、ＨＭＤ ＳｏＣ１２２および周辺ＳｏＣ１２４はそれぞれ複数のサブシステムを含み、各サブシステムは、人工現実体験のための音声処理、人工現実体験のための動画処理、ユーザ１０６に対するセキュリティ情報、またはその他など、サポートしている特定の機能性専用である。上述したように、ＳｏＣ１２２および１２４は、これらのサブシステムがメモリにアクセスする際にメモリの階層型電力管理を提供する、ＲＤＣおよびＲＤＢを含む。
【0057】
図２は、周辺デバイス１０４と通信しているＨＭＤ１０２の一例を示す図である。この例では、ＨＭＤ１０２は、前部の剛体と、例えばユーザ１０６の耳の上に載せることによって、ＨＭＤ１０２をユーザ１０６に固定する２つのステムとを含む。加えて、ＨＭＤ１０２は、人工現実コンテンツをユーザ１０６に提示するように構成された、内側に面する電子ディスプレイ２００を含む。電子ディスプレイ２００は、液晶ディスプレイ（ＬＣＤ）、量子ドットディスプレイ、ドットマトリックスディスプレイ、発光ダイオード（ＬＥＤ）ディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、陰極線管（ＣＲＴ）ディスプレイ、電子インク、または視覚的出力を生成することができる単色、カラー、もしくは他の任意のタイプのディスプレイなど、任意の好適な表示技術を含むか、該技術であるか、または該技術の一部であってもよい。いくつかの例では、電子ディスプレイ２００は、ユーザ１０６の各目に対して別個の画像を提供する立体ディスプレイを含む。いくつかの例では、ＨＭＤ１０２の前部の剛体に対するディスプレイ２００の知られている向きおよび位置は、ＨＭＤ１０２およびユーザ１０６の現在の視点にしたがって人工現実コンテンツを描画するため、ＨＭＤ１０２の位置および向きを追跡するときの、ローカル原点とも呼ばれる基準フレームとして使用される。
【0058】
ＨＭＤ１０２は、図２の例では眼鏡の形状因子をとっている。いくつかの例では、電子ディスプレイ２００は、２つのセグメントなど、複数のセグメントに分けられてもよく、各セグメントは、ＨＭＤ１０２の前部の剛体に配設された別個のレンズに対応する。図２による他の例では、電子ディスプレイ２００は、ＨＭＤ１０２の前部の剛体の両方のレンズおよびレンズを接続するブリッジ（即ち、鼻上部分）にわたる、連続する表面を形成してもよい。図２に示される形状因子によるいくつかの例では、電子ディスプレイ２００はまた、前部の剛体のレンズをステムに、または任意にステム自体の部分に接続する、ＨＭＤ１０２の部分を包含してもよい。図２に示されるＨＭＤ１０２の形状因子の文脈における、電子ディスプレイ２００のこれらの様々な設計は、異なる視覚能力、眼球運動の特異性などを有するユーザに対してアクセス性を改善する。他の例では、ＨＭＤ１０２は、ＨＭＤ１０２をユーザ１０６の頭部に固定するバンドを備えたヘッドセットまたはゴーグルの一般的な形状因子など、他の形状因子をとってもよい。
【0059】
図２に示される例では、ＨＭＤ１０２は、ＨＭＤ１０２の現在の加速度を示すデータを出力する１つもしくは複数の加速度計（慣性測定装置「ＩＭＵ」とも呼ばれる）、ＨＭＤ１０２の場所を示すデータを出力するＧＰＳセンサ、様々なオブジェクトからのＨＭＤ１０２の距離を示すデータを出力するレーダーもしくはソナー、または物理的環境内におけるＨＭＤ１０２もしくは他のオブジェクトの場所もしくは向きの指示を提供する他のセンサなど、１つまたは複数のモーションセンサ２０２をさらに含む。図２に示される例では、ＨＭＤ１０２は、統合された画像キャプチャデバイス１１０Ａおよび１１０Ｂ（集合的に「画像キャプチャデバイス１１０」）を含む。画像キャプチャデバイス１１０は、静止画像カメラハードウェア、ビデオカメラハードウェア、レーザースキャナ、Ｄｏｐｐｌｅｒ（登録商標）レーダースキャナ、眼底撮影ハードウェア、赤外線イメージングカメラ、深度スキャナなどを含んでもよい。画像キャプチャデバイス１１０は、外側に面するおよび／または内側に面する画像キャプチャハードウェアを含んでもよく、周囲の物理的環境を表す画像データをキャプチャし、また任意に、キャプチャされた画像データを前処理および／または後処理するように構成された、任意のハードウェアを含んでもよい。画像キャプチャデバイス１４の外側に面するハードウェアは、ユーザ１０６が位置する実世界環境などであるがそれに限定されない、ＨＭＤ１０２外の物理的環境の画像データをキャプチャしてもよい。画像キャプチャデバイス１４の内側に面するカメラハードウェアは、ユーザ１０６の顔画像および／または網膜スキャンおよび／または体温情報など、ＨＭＤ１０２の着用者の画像データをキャプチャしてもよい。
【0060】
図２の例では、ＨＭＤ１０２はやはり一例の周辺デバイス１０４と通信している。周辺デバイス１０４は、無線通信リンク（例えば、Ｗｉ－Ｆｉ（商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの短距離無線通信の近距離通信など）、または有線通信リンクもしくはテザリング接続、あるいは無線および有線通信リンクの任意の組み合わせなどを通じて、多数の方式でＨＭＤ１０２に通信可能に結合されてもよい。周辺デバイス１０４は、ネットワーク１１２を通じてデータを受信しかつ送信してもよく、それにより、周辺デバイス１０４とＨＭＤ１０２とを含む、または周辺デバイス１０４とＨＭＤ１０２の組み合わせによって形成される、人工現実システムのネットワークインターフェースとして機能してもよい。周辺デバイス１０４の表面２０４は、周辺デバイス１０４の入力構成要素または組み合わされた入出力構成要素を表す。表面２０４は、タッチスクリーン（例えば、容量性タッチスクリーン、抵抗性タッチスクリーン、表面音響波（ＳＡＷ）タッチスクリーン、赤外線タッチスクリーン、光学イメージングタッチスクリーン、音響パルス認識タッチスクリーン、または他の任意のタッチスクリーン）、タッチパッド、ボタン、トラックボール、スクロールホイール、または容量性、導電性、抵抗性、音響、もしくは他の技術を使用してタッチ入力および／もしくはホバー入力を検出する他の存在感知ハードウェアなどの感知能力を含んでもよい。
【0061】
表面２０４は、周辺デバイス１０４が、表面２０４と直接接触することなくタッチ入力またはジェスチャ入力を受信できるようにしてもよい。ユーザ１０６は、これらのタッチ入力またはジェスチャ入力を周辺デバイス１０４に提供して、周辺デバイス１０４に直接、またはＨＭＤ１０２が配備されている人工現実システムのＨＭＤ１０２および／もしくは他の構成要素に間接的に、命令を提供してもよい。いくつかの例では、ＨＭＤ１０２の処理回路は、画像キャプチャデバイス１１０を利用して、周辺デバイス１０４、ユーザ１０６の手または指の構成、位置、移動、および／または向きを分析して、グラフィカルキーボードを介して提供される描画するジェスチャまたはタイプするジェスチャなどのジェスチャを使用して入力を提供できるようにしてもよい。
【0062】
このように、周辺デバイス１０４は、様々なハードウェアおよびリソース負担をＨＭＤ１０２から取り払って、ＨＭＤ１０２の低プロファイルの形状因子を可能にしてもよい。周辺デバイス１０４はまた、ネットワーク１１２を介して、ＨＭＤ１０２と遠隔位置にあるデバイスとの間の通信仲介装置としての役割を果たしてもよい。周辺デバイス１０４の追加の詳細は、米国特許出願第１６／５０６，６１８号（２０１９年７月９日付）に記載されており、その内容全体を参照により本明細書に組み込む。
【0063】
本開示の技術によれば、周辺デバイス１０４およびＨＭＤ１０２の一方または両方は、コアプリケーションプロセッサ、暗号化エンジン、復号エンジン、センサアグリゲータ、ディスプレイコントローラなどとして動作するＳｏＣなど、上述した人工現実アプリケーションの態様をサポートするように構成された、１つまたは複数のＳｏＣ集積回路を含んでもよい。加えて、ＨＭＤ ＳｏＣ１２２および周辺ＳｏＣ１２４はそれぞれ、１つまたは複数のサブシステムを含んでもよく、各サブシステムは、音声処理、画像およびフレーム処理、セキュリティ管理、無線通信など、サポートしている特定の機能性専用である。ＨＭＤ ＳｏＣ１２２および周辺ＳｏＣ１２４はそれぞれ、サブシステムの動作および協働を容易にするメモリ（例えば、共有メモリ）を含む。上述したように、ＳｏＣ１２２および１２４は、メモリの階層型電力管理を提供する、ＲＤＣおよびＲＤＢを含む。
【0064】
図３は、各デバイス内のそれぞれのＳｏＣ集積回路を使用して２つ以上のデバイスが実装される、マルチデバイス人工現実システム１００または１２６の一部分に対する分散アーキテクチャのさらに詳細な一例の実装を示すブロック図である。図３は、ＨＭＤ１０２が周辺デバイス１０４と併せて動作する一例を示している。やはり、周辺デバイス１０４は、マルチデバイス人工現実システム１００または１２６が仮想コンテンツを重ねる表面を有する、物理的な実世界デバイスを表す。周辺デバイス１０４は、存在感知表面２０４に触れているかまたは存在感知表面２０４の位置の上に浮いている１つまたは複数のオブジェクト（例えば、指、スタイラスなど）の存在を検出することによって、ユーザ入力を検出する、１つまたは複数の存在感知表面２０４を含んでもよい。いくつかの例では、周辺デバイス１０４は、スマートフォン、タブレットコンピュータ、個人情報端末（ＰＤＡ）、または他の手持ち式デバイスのいずれかに類似した形状因子を有してもよい。他の例では、周辺デバイス１０４は、スマートウォッチ、いわゆる「スマートリング」、または他のウェアラブルデバイスの形状因子を有してもよい。周辺デバイス１０４はまた、キオスクまたは他の定置もしくは移動システムの一部であってもよい。上述したように、ＨＭＤ１０２は、人工現実アプリケーションの実行を可能にするように設計され構成される。
【0065】
概して、図３に示されるＳｏＣは、分散アーキテクチャに配置される専用の集積回路の集合体を表し、各ＳｏＣ集積回路は、人工現実アプリケーションの動作環境を提供するように構成された様々な専用の機能性ブロックを含む。図３は、ＳｏＣ集積回路の単なる一例の配置である。マルチデバイス人工現実システムの分散アーキテクチャは、ＳｏＣ集積回路の任意の集合および／または配置を含んでもよい。
【0066】
この例では、ＨＭＤ１０２のＳｏＣ３００Ａは、追跡サブシステム３０４を含む機能性ブロックと、他の様々なサブシステム３０６Ａおよび３０６Ｂとを備える。サブシステム３０４、３０６Ａ、および３０６Ｂは、１つまたは複数の規定された機能をＳｏＣ３００Ａに提供する集積回路のグループである。ＳｏＣ３００ＡはＨＭＤ ＳｏＣ１２２の一例であってもよい。
【0067】
一例として、追跡サブシステム３０４は、視線追跡３１０、手追跡３１２、深度追跡３１４、ならびに／または同時ローカリゼーションおよびマッピング（ＳＬＡＭ）３１６のための機能性ブロックを提供する。例えば、ＨＭＤ１０２は、ＨＭＤ１０２の現在の加速度を示すデータを出力する１つもしくは複数の加速度計（慣性測定装置「ＩＭＵ」とも呼ばれる）、ＨＭＤ１０２の場所を示すデータを出力するＧＰＳセンサ、様々なオブジェクトからのＨＭＤ１０２の距離を示すデータを出力するレーダーもしくはソナー、または物理的環境内におけるＨＭＤ１０２もしくは他のオブジェクトの場所もしくは向きの指示を提供する他のセンサから、入力を受信してもよい。ＨＭＤ１０２はまた、１つまたは複数の画像キャプチャデバイス１１０から画像データを受信してもよい。画像キャプチャデバイス１１０は、物理的環境を表す画像データを出力するように構成された、ビデオカメラ、レーザースキャナ、Ｄｏｐｐｌｅｒレーダースキャナ、深度スキャナなどを含んでもよい。より具体的には、画像キャプチャデバイスは、ＨＭＤ１０２の視点と一般的に対応する、画像キャプチャデバイスの視野内にある、物理的環境内のオブジェクト（周辺デバイス１０４および／または手を含む）を表す画像データをキャプチャする。感知データおよび／または画像データに基づいて、追跡サブシステム３０４は、例えば、ＨＭＤ１０２の基準フレームに対する現在の姿勢を決定し、現在の姿勢にしたがって人工現実コンテンツを描画する。
【0068】
サブシステム３０６Ａおよび３０６Ｂは、ＨＭＤ１０２に対して専用の機能を提供する。サブシステム３０６Ａおよび３０６Ｂは、例えば、セキュリティ処理、グラフィック処理、インターフェース処理、音声処理、および／またはディスプレイ処理などを含んでもよい。セキュリティ処理サブシステムは、周辺デバイス１０４を、ＡＲ環境内で併用されるＨＭＤ１０２などのデバイスとペアリングするとき、安全なデバイス証明および相互認証を提供してもよい。例えば、セキュリティ処理サブシステムは、周辺デバイス１０４のＳｏＣのうち１つまたは複数を認証してもよい。グラフィック処理サブシステムは、ビデオ処理装置、グラフィック処理装置、デジタル信号プロセッサ、エンコーダ、および／またはデコーダなどの様々なプロセッサを含んで、周辺デバイス１０４から受信した表面データおよびテクスチャデータを処理してもよい。インターフェース処理サブシステムは、ジェスチャ認識を提供してジェスチャベースのインターフェースをユーザ１０６に提供するため、例えば、追跡サブシステム３０４および／または画像キャプチャデバイス１０４によって生成された信号を処理してもよい。音声処理サブシステムは、例えば、音声を処理し、ＨＭＤ１０２に組み込まれた音声出力デバイスに音声を出力する、コーデックおよび／またはドライバを含んでもよい。ディスプレイ処理サブシステムは、例えば、ＨＭＤ１０２のＳｏＣの間でテクスチャデータおよび表面データを通信するインターフェースを提供してもよい。
【0069】
本明細書に記載する技術によれば、ＳｏＣ３００Ａはランダムアクセスメモリ（ＲＡＭ）３１８を含む。いくつかの例では、ＲＡＭ３１８は共有メモリであって、サブシステム３０４、３０６Ａ、および３０６Ｂがそれぞれ、メモリデコーダ３２０を介するデータバス（「ネットワークオンチップ（ＮｏＣ）」であってもよい）を通して、ＲＡＭ３１８に通信可能に結合される。ＲＡＭ３１８はメモリブロック（ＭＢ）３２２Ａ～３２２Ｎに分割される。メモリブロック３２２Ａ～３２２Ｎはともにグループ化されてメモリセグメントとなる。単純にするため、図示される例では、メモリブロック３２２Ａ～３２２Ｎは単一のメモリセグメントである。メモリブロック３２２Ａ～３２２Ｎは異なる電力モードであることができる。各メモリブロック３２２Ａ～３２２Ｎは、メモリアドレスの逐次ブロックと関連付けられる。サブシステム３０４、３０６Ａ、および３０６Ｂが、メモリアドレスにアクセスすると（例えば、読取りまたは書込みアクションを実施すると）、メモリデコーダ３２０は、アドレス内の複数のビットを使用して、どのメモリブロック３２２Ａ～３２２Ｎがアクセスされるかを決定する。
【0070】
ＳｏＣ３００Ａは電力マネージャ３２４を含む。電力マネージャ３２４は、サブシステム３０４、３０６Ａ、および３０６Ｂ、ならびにＲＡＭ３１８を含むＳｏＣ３００Ａの消費電力を制御する、電力管理技術を実現する。図示される例では、ＲＡＭ３１８の消費電力を制御するため、電力マネージャ３２４は、ＲＡＭドメインコントローラ（ＲＤＣ）３２６およびＲＡＭドメインブロック（ＲＤＢ）３２８Ａ～３２８Ｎを含む。図示される例は１つのＲＤＣ３２６を含むが、電力マネージャ３２４は、メモリセグメントごとに１つのＲＤＣ３２６を含んでもよい。さらに詳細に後述するように、ＲＡＭドメインブロック（ＲＤＢ）３２８Ａ～３２８Ｎは、メモリブロック３２２Ａ～３２２Ｎのうち関連する１つの電力モードを制御する。ＲＤＣ３２６はＲＤＢ３２８Ａ～３２８Ｎのうち関連するものを制御する。
【0071】
ＳｏＣ３００Ｂおよび３００Ｃ（「ディスプレイＳｏＣ」と呼ばれることがある）はそれぞれ、人工現実コンテンツをそれぞれのディスプレイに、例えばディスプレイ３３０Ａおよび３３０Ｂ（集合的に「ディスプレイ３３０」）に出力する、ディスプレイコントローラを表す。この例では、ディスプレイＳｏＣ３００Ｂは、人工現実コンテンツをディスプレイ３３０Ａ上に出力するための復号ブロック３３６Ａ、デコーダブロック３３８Ａ、および／またはピクセルドライバ３４０Ａと併せて、ユーザ（例えば、図１Ａおよび図１Ｂのユーザ１０６）の左目３３４Ａに対して人工現実コンテンツを出力するディスプレイ３３０Ａのディスプレイコントローラ３３２Ａを含んでもよい。同様に、ディスプレイＳｏＣ３００Ｃは、人工現実コンテンツをディスプレイ３３０Ｂ上に出力するための復号ブロック３３６Ｂ、デコーダブロック３３８Ｂ、および／またはピクセルドライバ３４０Ｂと併せて、ユーザの右目３３４Ｂに対して人工現実コンテンツを出力するディスプレイ３３０Ｂのディスプレイコントローラ３３２Ｂを含んでもよい。ディスプレイ３３０は、発光ダイオード（ＬＥＤ）ディスプレイ、有機ＬＥＤ（ＯＬＥＤ）、量子ドットＬＥＤ（ＱＬＥＤ）、電子ペーパー（電子インク）ディスプレイ、液晶ディスプレイ（ＬＣＤ）、またはＡＲコンテンツを表示する他のタイプのディスプレイを含んでもよい。図示されないが、ＳｏＣ３００Ｂおよび３００Ｃは、ＳｏＣ３００Ａと同様のメモリおよび電力マネージャを含んでもよい。
【0072】
周辺デバイス１０４は、人工現実アプリケーションをサポートするように構成されたＳｏＣ３４２Ａおよび３４２Ｂを含む。この例では、ＳｏＣ３４２Ａは、追跡サブシステム３４４を含む機能性ブロックと、他の様々なサブシステム３４６Ａおよび３４６Ｂとを備える。サブシステム３４４ならびに３４６Ａおよび３４６Ｂは、１つまたは複数の規定された機能をＳｏＣ３４２Ａに提供する集積回路のグループである。ＳｏＣ３４２Ａは周辺ＳｏＣ１２４の一例であってもよい。
【0073】
追跡サブシステム３４４は、視線追跡３４８、手追跡３５０、深度追跡３５２、ならびに／または同時ローカリゼーションおよびマッピング（ＳＬＡＭ）３５４を提供する機能性ブロックである。例えば、周辺デバイス１０４は、周辺デバイス１０４の現在の加速度を示すデータを出力する１つもしくは複数の加速度計（慣性測定装置「ＩＭＵ」とも呼ばれる）、周辺デバイス１０４の場所を示すデータを出力するＧＰＳセンサ、様々なオブジェクトからの周辺デバイス１０４の距離を示すデータを出力するレーダーもしくはソナー、または物理的環境内における周辺デバイス１０４もしくは他のオブジェクトの場所もしくは向きの指示を提供する他のセンサから、入力を受信してもよい。周辺デバイス１０４はまた、いくつかの例では、物理的環境を表す画像データを出力するように構成された、ビデオカメラ、レーザースキャナ、Ｄｏｐｐｌｅｒレーダースキャナ、深度スキャナなどの、１つまたは複数の画像キャプチャデバイスから画像データを受信してもよい。感知データおよび／または画像データに基づいて、追跡システム３３６は、例えば、周辺デバイス１０４の基準フレームに対する現在の姿勢を決定し、現在の姿勢にしたがって人工現実コンテンツをＨＭＤ１０２に対して描画する。
【0074】
サブシステム３４６Ａおよび３４６Ｂは、周辺デバイス１０４に対して専用の機能を提供する。サブシステム３４６Ａおよび３４６Ｂは、例えば、セキュリティ処理サブシステム、ディスプレイサブシステム、グラフィックサブシステム、および／または音声サブシステムを含んでもよい。セキュリティ処理サブシステムは、ＨＭＤ１０２のＳｏＣのうち１つまたは複数を認証してもよい。グラフィック処理サブシステムは、ビデオ処理装置、グラフィック処理装置、デジタル信号プロセッサ、エンコーダ、および／またはデコーダなどの様々なプロセッサを含んで、ＳｏＣ３４２Ｂから受信した表面データおよびテクスチャデータを処理してもよい。インターフェース処理サブシステムは、例えば、追跡サブシステム３４４および／またはインターフェース２０４によって生成された信号を処理してもよい。音声処理サブシステムは、例えば、デジタル信号プロセッサ、エンコーダ、および／またはデコーダなどを含んで、ＨＭＤ１０２に送信される音声を処理してもよい。ディスプレイ処理サブシステムは、例えば、周辺デバイス１０４のＳｏＣの間でテクスチャデータおよび表面データを通信するインターフェースを提供してもよい。
【0075】
本明細書に記載する技術によれば、上述のＳｏＣ３００Ａと同様に、ＳｏＣ３４２Ａはランダムアクセスメモリ（ＲＡＭ）３１８を含む。いくつかの例では、ＲＡＭ３１８は共有メモリであって、サブシステム３４４、３４６Ａ、および３４６Ｂがそれぞれ、メモリデコーダ３２０を介するデータバス（「ネットワークオンチップ（ＮｏＣ）」であってもよい）を通して、ＲＡＭ３１８に通信可能に結合される。ＲＡＭ３１８はメモリブロック（ＭＢ）３２２Ａ～３２２Ｎに分割される。メモリブロック３２２Ａ～３２２Ｎはともにグループ化されてメモリセグメントとなる。単純にするため、図示される例では、メモリブロック３２２Ａ～３２２Ｎは単一のメモリセグメントである。メモリブロック３２２Ａ～３２２Ｎは異なる電力モードであることができる。各メモリブロック３２２Ａ～３２２Ｎは、メモリアドレスの逐次ブロックと関連付けられる。サブシステム３０４、３０６Ａ、および３０６Ｂが、メモリアドレスにアクセスすると（例えば、読取りまたは書込みアクションを実施すると）、メモリデコーダ３２０は、アドレス内の複数のビットを使用して、どのメモリブロック３２２Ａ～３２２Ｎがアクセスされるかを決定する。
【0076】
ＳｏＣ３４２Ａは電力マネージャ３２４を含む。電力マネージャ３２４は、サブシステム３４４、３４６Ａ、および３４６Ｂ、ならびにＲＡＭ３１８を含むＳｏＣ３４２Ａの消費電力を制御する、電力管理技術を実現する。図示される例では、ＲＡＭ３１８の消費電力を制御するため、電力マネージャ３２４は、ＲＡＭドメインコントローラ（ＲＤＣ）３２６およびＲＡＭドメインブロック（ＲＤＢ）３２８Ａ～３２８Ｎを含む。図示される例は１つのＲＤＣ３２６を含むが、電力マネージャ３２４は、メモリセグメントごとに１つのＲＤＣ３２６を含んでもよい。さらに詳細に後述するように、ＲＡＭドメインブロック（ＲＤＢ）３２８Ａ～３２８Ｎは、メモリブロック３２２Ａ～３２２Ｎのうち関連する１つの電力モードを制御する。ＲＤＣ３２６はＲＤＢ３２８Ａ～３２８Ｎのうち関連するものを制御する。
【0077】
ＳｏＣ３４２Ｂは、１つまたは複数のアプリケーションコプロセッサ３５２と１つまたは複数のアプリケーションプロセッサ３５４とを含む。この例では、コアプリケーションプロセッサ３５０は、視覚処理装置（ＶＰＵ）、グラフィック処理装置（ＧＰＵ）、および／または中央処理装置（ＣＰＵ）などの様々なプロセッサを含む。アプリケーションプロセッサ３５２は、１つまたは複数の人工現実アプリケーションを実行して、例えば、仮想ユーザインターフェースを生成し、周辺デバイス１０４の表面に描画する、かつ／または周辺デバイス１０４に対してユーザが行ったジェスチャを検出する、処理装置を含んでもよい。図示されないが、ＳｏＣ３４２Ｂは、ＳｏＣ３４２Ａと同様のメモリおよび電力マネージャを含んでもよい。
【0078】
図４は、本開示に記載する技術による、階層型電力管理システム４００のブロック図である。図示される例では、階層型電力管理システム４００は、電力マネージャ３２４と、メモリ３１８と、メモリデコーダ３２０とを含む。電力マネージャ３２４は、メモリセグメント４０２ごとに１つのＲＤＣ３２６と、メモリブロック３２２Ａ～３２２Ｎごとに１つのＲＤＢ３２８Ａ～３２８Ｎとを含む。後述するように、ＲＤＣ３２６は、対応するメモリセグメント４０２のメモリブロック３２２Ａ～３２２Ｎと関連付けられたＲＤＢ３２８Ａ～３２８Ｎに通信可能に結合される。ＲＤＢ３２８Ａ～３２８Ｎは、自身に関連付けられたメモリブロック３２２Ａ～３２２Ｎの電力モードを制御する。いくつかの例では、ＲＤＢ３２８Ａ～３２８Ｎは、メモリブロック３２２Ａ～３２２Ｎに対する供給電圧および／またはクロック信号を変更することによって、電力モードを制御する。
【0079】
いくつかの例では、電力マネージャ３２４はクラスタマネージャ４０４を含む。クラスタマネージャ４０４は、サブシステム（例えば、サブシステム３０４、３０６Ａ、および３０６Ｂなど）に対する電力を制御する電力ドメインコントローラ（ＰＤＣ）などの電力管理システムを併用せずに、１つまたは複数のＲＤＣ３２６に通信可能に結合して電力管理技術を実現する。いくつかの例では、クラスタマネージャ４０４は、低電力状態のどのサブセットをＲＤＣ３２６が使用可能にできるかを制御する。加えてまたは代わりに、いくつかの例では、クラスタマネージャ４０４は、ＲＤＣ３２６がＲＤＢ３２８Ａ～３２８Ｎのうち１つまたは複数をＯＰＲ状態に入れられることを要求してもよい。
【0080】
いくつかの例では、メモリデコーダ３２０はＲＤＢ３２８Ａ～３２８Ｎのイベントラインに通信可能に結合される。サブシステム（例えば、サブシステム３０４、３０６Ａ、および３０６Ｂなど）のうち１つのアプリケーションプロセッサ（ＣＰＵ）４０６またはグラフィックプロセッサ（ＧＰＵ）４０８が、データバス４１０を介してメモリブロック３２２Ａ～３２２Ｎのうち１つに対する読取りまたは書込みを要求すると、メモリデコーダ３２０は、読取り／書込みアクセスの持続時間の間、ＲＤＢ３２８Ａ～３２８Ｎのうち対応する１つのイベントライン上で信号を送信してもよい。例えば、ＧＰＵ４０８がメモリブロックＡ ３２２Ａと関連付けられた逐次アドレスからの読取りを要求した場合、メモリデコーダ３２０は、ＧＰＵ４０８によるアクセスの持続時間の間、信号（例えば、論理「イネーブル」に対応する電圧レベル）をＲＤＢ Ａ ３２８Ａのイベントラインに提供してもよい。かかるシナリオでは、ハードウェア制御が（例えば、ＲＤＣ３２６によって）使用可能にされると、ＲＤＢ Ａ ３２８ＡはＯＰＲ状態へと遷移してもよい。
【0081】
図５Ａ、図５Ｂ、および図５Ｃは、本開示に記載する技術による、図４の階層型電力管理システムの態様のさらなる詳細のブロック図である。図５Ａの図示される例では、ＲＤＢ３２８Ａ～３２８Ｎは、制御レジスタ（ＣＲ）５０２と、電力制御（ＰＣ）５０４、イベント入力５０６と、状態機械５０８とを含む。制御レジスタ５０２は、ＲＤＣ３２６からの入力を受信して、ＲＤＢ３２８Ａ～３２８Ｎの機能性を制御する。いくつかの例では、制御レジスタ５０２はそれぞれ、消去もしくは設定されると、状態機械５０８のデフォルト低電力状態を設定する、状態機械５０８の遷移を行う、かつ／またはＲＤＢ３２８Ａ～３２８Ｎのモードを使用可能にする、使用不能にする、かつ／もしくは構成する、１つまたは複数の論理スイッチまたは信号入力を含んでもよい。例えば、ＲＤＣ３２６は、データを制御レジスタ５０２に書き込んで、ハードウェア制御を使用可能もしくは使用不能にし、デフォルト低電力状態をＲＥＮ状態に設定し、ならびに／あるいは状態機械５０８をＯＰＲ状態へと遷移させてもよい。電力制御５０４は、状態機械の現在の状態にしたがって、関連するメモリブロック３２２Ａ～３２２Ｎの供給電圧（例えば、メモリブロック３２２Ａ～３２２Ｎへの供給電圧を制御するローカルドメインブロック（ＬＤＢ）などを介する）および／またはクロック周波数を制御する。イベント入力５０６は、メモリデコーダ３２０が、アクセスの持続時間の間に、対応するメモリブロック３２２Ａ～３２２Ｎと関連付けられたメモリアドレスを復号すると、信号（例えば、イネーブル信号）を受信する。後述するように、イベントライン５０６上のイネーブル信号は、状態機械５０８をＯＰＲ状態へと遷移させてもよい。
【0082】
状態機械５０８は、制御レジスタ５０２からの入力および／またはイベントライン５０６上の信号に基づいて、状態間で遷移する。状態機械５０８は制御レジスタ５０２からの入力を受信してもよく、制御レジスタは、（ｉ）ＯＰＲ状態６０２へと遷移するソフトウェア入力を提供するＯＰＲレジスタ、（ｉｉ）ＮＡＰ状態６０４へのソフトウェア入力を提供するＮＡＰレジスタ、（ｉｉｉ）ＲＥＮ状態６０６へと遷移するソフトウェア入力を提供するＲＥＮレジスタ、（ｉｖ）ＰＳＯ状態６０８へと遷移する入力を提供するＰＳＯレジスタ、（ｖ）遅延閾値を指定するＰＳＯ－ＯＰＲ遷移タイマー制御レジスタ、（ｖｉ）遅延閾値を指定するＲＥＮ－ＯＰＲ遷移タイマー制御レジスタ、（ｖｉｉ）遅延閾値を指定するＰＳＯ遷移タイマー制御レジスタ、および（ｖｉｉｉ）遅延閾値を指定するＲＥＮ遷移タイマー制御レジスタを含んでもよい。制御レジスタ５０２は、他の制御レジスタ（例えば、ＯＰＲレジスタなど）からの入力に基づいて、１つまたは複数の状態（例えば、ＯＰＲ状態など）への遷移を使用可能または使用不能にするＳＤＣイネーブルレジスタを含んでもよい。いくつかの例では、制御レジスタ５０２は、クラスタマネージャ４０４からの入力を提供するレジスタ（例えば、ＣＭ－ＯＰＲレジスタ、ＣＭ－ＲＥＮレジスタなど）と、ＣＭに関連する制御レジスタ（例えば、ＣＭ－ＯＰＲレジスタなど）からの入力に基づいて、１つまたは複数の状態（例えば、ＯＰＲ状態など）への遷移を使用可能または使用不能にするＣＭイネーブルレジスタとを含んでもよい。
【0083】
図５Ｂの図示される例は、ＭＢ５１２に通信可能に結合されたＲＤＢ５１０を含む。ＲＤＢ５１０は、図３のＲＤＢ３２８の一例であってもよい。図示される例では、ＲＤＢ５１０は、ＳＤＣに接続されることなく、電力管理システム（図４の管理クラスタ４０４など）に直接通信可能に結合される。例えば、いくつかのＳｏＣは、限定されたメモリ量を有してもよく、かつ／またはメモリ管理に関する回路を配置する限定された物理的空間を有してもよい。かかる例では、ＳｏＣは、利用可能な空間内で動作しながら階層型電力管理を所与として、ソフトウェアおよびハードウェア制御の少なくとも一部から依然として利益を得てもよい。
【0084】
図５Ｃの図示される例では、ＲＤＢ３２８Ａ～３２８Ｎは、制御ＣＲ５０２と、ＰＣ５０４と、イベント入力５０６と、状態機械５０８と、ソフトウェアレジスタ５１４とを含む。ソフトウェアレジスタ５１４は、ＳｏＣで動作するソフトウェアからの入力を受信して、ＲＤＢ３２８Ａ～３２８Ｎの機能性を制御する。例えば、ＳｏＣで動作するソフトウェアは、例えば、デフォルト低電力状態を設定する、かつ／または状態機械５０８にＯＰＲ状態へと遷移させるなど、ソフトウェアレジスタ５１４に書き込んでもよい。いくつかの例では、制御レジスタ５０２は、ＲＤＢ３２８が制御をソフトウェアレジスタ５１４にいつ実装できるかを制御する、ソフトウェアイネーブルレジスタを含んでもよい。加えて、いくつかの例では、コマンドがソフトウェアレジスタ５１４によって受信されると、コマンドが実現されるまでコマンドがラッチし、遷移の間は他のいずれのソフトウェア制御も許可しないように、ＲＤＢ３２８はＲＤＣ３２６と協調してもよい。いくつかの例では、ソフトウェアレジスタ５１４、制御レジスタ５０２、およびイベント入力５０６におけるコマンドが競合した場合、ＲＤＢ３２８は、イベント入力５０６、制御レジスタ５０２、次にソフトウェアレジスタ５１４の順で優先して競合を解消してもよい。
【0085】
図６Ａ、図６Ｂ、および図６Ｃは、状態機械５０８の例のブロック図である。図６Ａは、メモリデコーダ３２０からのハードウェア制御（例えば、イベントライン５０６を介する）およびＲＤＣ３２６からのソフトウェア制御（例えば、制御レジスタ５０２を介する）に基づいて、状態間で遷移する状態機械６００を示している。状態機械６００は状態機械５０８の一例である。図示される例では、状態機械６００は、オペレーティング（ＯＰＲ）状態６０２、ナップ（ＮＡＰ）状態６０４、保持（ＲＥＮ）状態６０６、およびパワーオフ（ＰＳＯ）状態６０８を含む。加えて、図示される例では、状態機械６００は、状態機械６００が高電力状態（例えば、ＯＰＲ状態６０２など）と低電力状態（例えば、ＮＡＰ状態６０４、ＲＥＮ状態６０６、およびＰＳＯ状態６０８など）との間で遷移する際に状態機械６００が遷移する、中間の遅延状態６１０Ａおよび６１０Ｂおよび６１２Ａおよび６１２Ｂを含む。いくつかの例では、状態機械６００は、高電力状態（例えば、ＯＰＲ状態６０２など）へと遷移することなく、１つの低電力状態（例えば、ＮＡＰ状態６０４など）から別の低電力状態（例えば、ＲＥＮ状態６０６およびＰＳＯ状態６０８など）へと遷移してもよい。
【0086】
状態機械６００はＰＳＯ状態６０８で始まってもよい。例えば、複合現実システムが電力投入されると、状態機械６００はデフォルトのＰＳＯ状態６０８になってもよい。ＰＳＯ制御レジスタ（例えば、制御レジスタ５０２の１つ）が使用可能にされたとき、状態機械６００はＰＳＯ状態６０８のままである（６１４）。状態機械６００は、イベントが検出されると、遅延状態６１２Ａへと遷移する。イベントは、制御レジスタ５０２（例えば、ＯＰＲレジスタ、ＲＥＮレジスタなどを介する）、イベント入力５０６、および／またはソフトウェアレジスタ５１４を介して検出されてもよい（６１６）。
【0087】
状態機械６００は、閾値数のクロックサイクル（例えば、８、１６、２４、３２、４０、４８、５６、６４クロックサイクルなど）の間、遅延状態６１２Ａのままである。クロックサイクルの数は、ＲＤＣ３２６によって（制御レジスタ５０２のＰＳＯ－ＯＰＲ遷移タイマー制御レジスタを介して）構成されてもよい。閾値数のサイクル後、状態機械６００はＯＰＲ状態６０２へと遷移する（６１８）。
【0088】
状態機械６００は、（ａ）ＯＰＲレジスタ５０２が使用可能にされるまで、または（ｂ）イベント入力５０６においてイネーブル信号がアクティブになるまで、ＯＰＲ状態６０２のままである（６２０）。状態機械６００は、（ａ）ＯＰＲレジスタ５０２が使用不能にされると、また（ｂ）イベント入力５０６においてイネーブル信号がアクティブでなくなると、制御レジスタ５０２のコンテンツに応じて異なる状態へと遷移する。ＮＡＰレジスタが使用可能にされ、ＲＥＮレジスタおよびＰＳＯレジスタが使用可能にされない場合、状態機械６００はＮＡＰ状態６０４へと遷移する（６２２）。ＲＥＮレジスタが使用可能にされ、ＰＳＯレジスタが使用可能にされない場合、状態機械６００は遅延状態６１０Ａへと遷移する（６２４）。ＰＳＯレジスタが使用可能にされると、状態機械６００は遅延状態６１０Ｂへと遷移する（６２６）。
【0089】
ＮＡＰレジスタが使用可能にされ、他の遷移基準が満たされない場合、状態機械６００はＮＡＰ状態６０４のままである（６２８）。イベントが検出されると、状態機械６００はＯＰＲ状態６０２へと遷移する（６３０）。ＲＥＮレジスタが使用可能にされ、ＰＳＯレジスタが使用不能にされると、状態機械６００は遅延状態６１０Ａへと遷移する（６３２）。ＰＳＯレジスタが使用可能にされると、状態機械６００は遅延状態６１０Ｂへと遷移する（６３４）。
【0090】
状態機械６００は、閾値数のクロックサイクル（例えば、８、１６、２４、３２、４０、４８、５６、６４クロックサイクルなど）の間、遅延状態６１０Ａのままである。クロックサイクルの数は、ＲＤＣ３２６によって（制御レジスタ５０２のＲＥＮ遷移タイマー制御レジスタを介して）構成されてもよい。閾値数のサイクル後、状態機械６００はＲＥＮ状態６０６へと遷移する（６３６）。
【0091】
ＲＥＮレジスタが使用可能にされ、他の遷移基準が満たされない場合、状態機械６００はＲＥＮ状態６０６のままである（６３８）。イベントが検出されると、状態機械６００は遅延状態６１２Ｂへと遷移する（６４０）。
【0092】
状態機械６００は、閾値数のクロックサイクル（例えば、８、１６、２４、３２、４０、４８、５６、６４クロックサイクルなど）の間、遅延状態６１２Ｂのままである。クロックサイクルの数は、ＲＤＣ３２６によって（制御レジスタ５０２のＲＥＮ－ＯＰＲ遷移タイマー制御レジスタを介して）構成されてもよい。閾値数のサイクル後、状態機械６００はＯＰＲ状態６０２へと遷移する（６４２）。
【0093】
状態機械６００は、閾値数のクロックサイクル（例えば、８、１６、２４、３２、４０、４８、５６、６４クロックサイクルなど）の間、遅延状態６１０Ｂのままである。クロックサイクルの数は、ＲＤＣ３２６によって（制御レジスタ５０２のＰＳＯ遷移タイマー制御レジスタを介して）構成されてもよい。閾値数のサイクル後、状態機械６００はＰＳＯ状態６０８へと遷移する（６４４）。
【0094】
一例のシナリオでは、複合現実システムが電力投入されると、メモリ３１８を準備するため、ＲＤＣ３２６は、ＯＰＲレジスタおよびＲＥＮレジスタを使用可能にして、状態機械６００を遅延状態６１２Ａへと遷移させてもよい。遅延の間、ＲＤＣ３２６はＯＰＲレジスタを使用不能にしてもよい。状態機械はＯＰＲ状態６０２へと遷移する。ＯＰＲ状態が使用不能にされ、ＲＥＮ状態が使用可能にされるので、状態機械６００は遅延状態６１０Ａへと遷移する。遅延後、状態機械６００はＲＥＮ状態６０６へと遷移する。
【0095】
図６Ｂは、メモリデコーダ３２０からのハードウェア制御（例えば、イベントライン５０６を介する）、ＲＤＣ３２６からのソフトウェア制御（例えば、制御レジスタ５０２を介する）、ソフトウェア制御ライン５１４を介するソフトウェア制御、およびＣＭ４０４に基づいて、状態間で遷移する状態機械６４６を示している。ＣＭ４０４は、ＳｏＣ電力管理ポリシーにしたがって、ＳｏＣの様々なサブシステムおよび他の構成要素をオンまたはオフにするように、状態機械６４６の状態を遷移するようにＲＤＣ３２６に命令してもよい。例えば、ＣＭ４０４は、ユーザからの入力に応答して、入力に反応するのに十分なメモリ量を提供するように、特定のメモリブロック３２２Ａ～３２２Ｎに電力投入するよう指示してもよい。状態機械６４６は状態機械５０８の一例である。ＣＭ４０４は、ＲＣＳ３２６を介してＲＤＢ３２８を直接制御して、例えば、メモリ３１８、メモリデコーダ３２０、ＣＰＵ４０６、およびＧＰＵ４０８などを含む、ＳｏＣに対する電力制御ポリシーを実現してもよい。図６Ｂに示される例では、状態機械６４６は、ＯＰＲ状態６０２、ＮＡＰ状態６０４、ＲＥＮ状態６０６、およびＰＳＯ状態６０８を含む。加えて、図示される例では、状態機械６４６は、状態機械６４６が高電力状態（例えば、ＯＰＲ状態６０２など）と低電力状態（例えば、ＮＡＰ状態６０４、ＲＥＮ状態６０６、およびＰＳＯ状態６０８など）との間で遷移する際に状態機械６４６が遷移する、中間の遅延状態６１０Ａおよび６１０Ｂおよび６１２Ａおよび６１２Ｂを含む。いくつかの例では、状態機械６４６は、高電力状態（例えば、ＯＰＲ状態６０２など）へと遷移することなく、１つの低電力状態（例えば、ＮＡＰ状態６０４など）から別の低電力状態（例えば、ＲＥＮ状態６０６およびＰＳＯ状態６０８など）へと遷移してもよい。状態機械６４６は、制御レジスタ５０２（例えば、ＣＭに関連するレジスタなどを含む）を介する入力、およびイベント入力５０６を受信する。
【0096】
状態機械６４６はＰＳＯ状態６０８で始まってもよい。例えば、複合現実システムが電力投入されると、状態機械６４６はデフォルトのＰＳＯ状態６０８になってもよい。ＰＳＯレジスタが使用可能にされたとき、状態機械６４６はＰＳＯ状態６０８のままである（６４８）。状態機械６４６は、イベントが検出されると、遅延状態６１２Ａへと遷移する。イベントは、制御レジスタ５０２（例えば、ＯＰＲレジスタ、ＲＥＮレジスタなどを介する）、イベント入力５０６、および／またはソフトウェアレジスタ５１４を介して検出されてもよい（６５０）。
【0097】
状態機械６４６は、閾値数のクロックサイクル（例えば、８、１６、２４、３２、４０、４８、５６、６４クロックサイクルなど）の間、遅延状態６１２Ａのままである。クロックサイクルの数は、ＲＤＣ３２６によって（制御レジスタ５０２のＰＳＯ遷移タイマー制御レジスタを介して）構成されてもよい。閾値数のサイクル後、状態機械６４６はＯＰＲ状態６０２へと遷移する（６５２）。
【0098】
状態機械６４６は、（ａ）ＯＰＲレジスタ５０２が使用可能にされるまで、または（ｂ）イベント入力５０６においてイネーブル信号が受信されるまで、ＯＰＲ状態６０２のままである（６５４）。状態機械６４６は、（ａ）ＯＰＲレジスタ５０２が使用不能にされると、また（ｂ）イベント入力５０６においてイネーブル信号が受信されないと、制御レジスタ５０２のコンテンツに応じて異なる状態へと遷移する。ＮＡＰレジスタまたはＣＭ－ＮＡＰレジスタが使用可能にされ、ＲＥＮレジスタおよびＰＳＯレジスタが使用可能にされない場合、状態機械６４６はＮＡＰ状態６０４へと遷移する（６５６）。ＲＥＮレジスタまたはＣＭ－ＲＥＮレジスタが使用可能にされ、ＰＳＯレジスタが使用可能にされない場合、状態機械６４６は遅延状態６１０Ａへと遷移する（６５８）。ＰＳＯレジスタが使用可能にされると、状態機械６４６は遅延状態６１０Ｂへと遷移する（６６０）。
【0099】
ＮＡＰレジスタが使用可能にされ、他の遷移基準が満たされない場合、状態機械６４６はＮＡＰ状態６０４のままである（６６２）。イベントが検出されると、状態機械６４６はＯＰＲ状態６０２へと遷移する（６６４）。ＲＥＮレジスタまたはＣＭ－ＲＥＮレジスタが使用可能にされ、ＰＳＯレジスタおよびＣＭ－ＰＳＯレジスタが使用不能にされると、状態機械６４６は遅延状態６１０Ａへと遷移する（６６６）。ＰＳＯレジスタまたはＣＭ－ＰＳＯレジスタが使用可能にされると、状態機械６４６は遅延状態６１０Ｂへと遷移する（６６８）。
【0100】
状態機械６４６は、閾値数のクロックサイクル（例えば、８、１６、２４、３２、４０、４８、５６、６４クロックサイクルなど）の間、遅延状態６１０Ａのままである。クロックサイクルの数は、ＲＤＣ３２６によって（制御レジスタ５０２のＲＥＮ遷移タイマー制御レジスタを介して）構成されてもよい。閾値数のサイクル後、状態機械６４６はＲＥＮ状態６０６へと遷移する（６７０）。
【0101】
ＲＥＮレジスタが使用可能にされ、他の遷移基準が満たされない場合、状態機械６４６はＲＥＮ状態６０６のままである（６３８）。イベントが検出されると、状態機械６４６は遅延状態６１２Ｂへと遷移する（６７４）。
【0102】
状態機械６４６は、閾値数のクロックサイクル（例えば、８、１６、２４、３２、４０、４８、５６、６４クロックサイクルなど）の間、遅延状態６１２Ｂのままである。クロックサイクルの数は、ＲＤＣ３２６によって（制御レジスタ５０２のＯＰＲ遷移タイマー制御レジスタを介して）構成されてもよい。閾値数のサイクル後、状態機械６４６はＯＰＲ状態６０２へと遷移する（６７６）。
【0103】
状態機械６４６は、閾値数のクロックサイクル（例えば、８、１６、２４、３２、４０、４８、５６、６４クロックサイクルなど）の間、遅延状態６１０Ｂのままである。クロックサイクルの数は、ＲＤＣ３２６によって（制御レジスタ５０２のＲＥＮ遷移タイマー制御レジスタを介して）構成されてもよい。閾値数のサイクル後、状態機械６４６はＰＳＯ状態６０８へと遷移する（６７８）。
【0104】
図６Ｃの状態機械６８０は状態機械５０８の一例である。図６Ｃに示される例では、状態機械６８０は、ＯＰＲ状態６０２、ＲＥＮ状態６０６、およびＰＳＯ状態６０８を含む。加えて、図示される例では、状態機械６８０は、状態機械６８０が高電力状態（例えば、ＯＰＲ状態６０２など）と低電力状態（例えば、ＮＡＰ状態６０４、ＲＥＮ状態６０６、およびＰＳＯ状態６０８など）との間で遷移する際に状態機械６８０が遷移する、中間の遅延状態６１０Ａおよび６１０Ｂおよび６１２Ａおよび６１２Ｂを含む。いくつかの例では、状態機械６８０は、高電力状態（例えば、ＯＰＲ状態６０２など）へと遷移することなく、１つの低電力状態（例えば、ＮＡＰ状態６０４など）から別の低電力状態（例えば、ＲＥＮ状態６０６およびＰＳＯ状態６０８など）へと遷移してもよい。状態機械６８０は、制御レジスタ５０２およびイベント入力５０６を介して入力を受信する。
【0105】
状態機械６８０はＰＳＯ状態６０８で始まってもよい。例えば、複合現実システムが電力投入されると、状態機械６８０はデフォルトのＰＳＯ状態６０８になってもよい。イベントが検出されたとき、状態機械６８０はＰＳＯ状態６０８のままである（６３０）。イベントは、制御レジスタ５０２（例えば、ＯＰＲレジスタ、ＲＥＮレジスタなどを介する）、イベント入力５０６、および／またはソフトウェアレジスタ５１４を介して検出されてもよい（６８４）。
【0106】
状態機械６８０は、閾値数のクロックサイクル（例えば、８、１６、２４、３２、４０、４８、５６、６４クロックサイクルなど）の間、遅延状態６１２Ａのままである。クロックサイクルの数は、ＲＤＣ３２６によって（制御レジスタ５０２のＰＳＯ－ＯＰＲ遷移タイマー制御レジスタを介して）構成されてもよい。閾値数のサイクル後、状態機械６８０はＯＰＲ状態６０２へと遷移する（６８６）。
【0107】
状態機械６８０は、（ａ）ＯＰＲレジスタ５０２が使用可能にされるまで、または（ｂ）イベント入力５０６においてイネーブル信号が受信されるまで、ＯＰＲ状態６０２のままである（６８８）。状態機械６８０は、（ａ）ＯＰＲレジスタ５０２が使用不能にされると、また（ｂ）イベント入力５０６においてイネーブル信号が受信されないと、制御レジスタ５０２のコンテンツに応じて異なる状態へと遷移する。ＲＥＮレジスタが使用可能にされ、ＰＳＯレジスタが使用可能にされない場合、状態機械６８０は遅延状態６１０Ａへと遷移する（６９０）。ＰＳＯレジスタが使用可能にされると、状態機械６８０は遅延状態６１０Ｂへと遷移する（６９２）。
【0108】
状態機械６８０は、閾値数のクロックサイクル（例えば、８、１６、２４、３２、４０、４８、５６、６４クロックサイクルなど）の間、遅延状態６１０Ａのままである。クロックサイクルの数は、ＲＤＣ３２６によって（制御レジスタ５０２のＲＥＮ遷移タイマー制御レジスタを介して）構成されてもよい。閾値数のサイクル後、状態機械６８０はＲＥＮ状態６０６へと遷移する（６９４）。
【0109】
ＲＥＮレジスタが使用可能にされ、他の遷移基準が満たされない場合、状態機械６８０はＲＥＮ状態６０６のままである（６９６）。イベントが検出されると、状態機械６８０は遅延状態６１２Ｂへと遷移する（６９７）。
【0110】
状態機械６８０は、閾値数のクロックサイクル（例えば、８、１６、２４、３２、４０、４８、５６、６４クロックサイクルなど）の間、遅延状態６１２Ｂのままである。クロックサイクルの数は、ＲＤＣ３２６によって（制御レジスタ５０２のＲＥＮ－ＯＰＲ遷移タイマー制御レジスタを介して）構成されてもよい。閾値数のサイクル後、状態機械６８０はＯＰＲ状態６０２へと遷移する（６９８）。
【0111】
状態機械６８０は、閾値数のクロックサイクル（例えば、８、１６、２４、３２、４０、４８、５６、６４クロックサイクルなど）の間、遅延状態６１０Ｂのままである。クロックサイクルの数は、ＲＤＣ３２６によって（制御レジスタ５０２のＰＳＯ遷移タイマー制御レジスタを介して）構成されてもよい。閾値数のサイクル後、状態機械６８０はＰＳＯ状態６０８へと遷移する（６９９）。
【0112】
図７は、本開示に記載する技術による、ハードウェア制御を使用してメモリブロック３２２Ａ～３２２Ｎｎｏ電力状態を制御する一例の動作モードのフローチャートである。動作モードは、例示の目的で、ＲＤＢ３２８Ａおよびメモリブロック３２２Ａに関して記載される。最初に、ＲＤＢ３２８Ａは、メモリデコーダ（例えば、図３および図４のメモリデコーダ３２０）からイネーブル信号を受信する（７０２）。イネーブル信号は、論理的真またはイネーブルと関連付けられた電圧レベル（例えば、３．３Ｖシステムの３．３Ｖ）であってもよい。メモリデコーダは、メモリブロック３２２Ａと関連付けられたメモリアドレスがＳｏＣのサブシステムによってアクセスされると、イネーブル信号を生成してもよい。状態機械５０８が高電力状態（例えば、図６Ａ、図６Ｂ、および図６ＣのＯＰＲ６０２）へと遷移する前に（７０２のはい）、状態機械５０８は、メモリブロック３２２を駆動するクロックの閾値数のクロックサイクルの間、中間遅延状態（例えば、図６Ａ、図６Ｂ、および図６Ｃの中間遅延状態６１２Ａおよび６１２Ｂ）へと遷移する（７０４）。
【0113】
ＲＤＢ３２８Ａは、メモリブロック３２２Ａを制御して動作電力モードにする（７０６）。いくつかの例では、ＲＤＢ３２８Ａは、メモリブロック３２２Ａからの読取りおよびメモリブロック３２２Ａへの書込みを可能にする、供給電圧およびクロック周波数を提供する。ＲＤＢ３２８Ａは、イベント入力５０６においてイネーブル信号を受信しなくなるまで待機する（７０８）。ＲＤＢ３２８Ａがイネーブル信号を受信しているとき（７０８のはい）、ＲＤＢ３２８Ａは、メモリからの読取りおよびメモリへの書込みに適した動作モードでメモリブロック３２２Ａの動作を継続する（７０６）。ＲＤＢ３２８Ａがイネーブル信号を受信しなくなると（７０８のいいえ）、状態機械５０８は、メモリブロック３２２を駆動するクロックのクロックサイクル数をカウントダウンする（７１０）。イベント入力５０６における信号が再びアクティブになる前にカウントダウンがゼロに達した場合（７１２のはい）、ＲＤＢ３２８Ａは、状態機械５０８の状態にしたがってメモリブロック３２２Ａを制御する。例えば、ＲＤＣ３２６は、制御レジスタ５０２を介して、イネーブル信号がイベントライン５０６に存在しなくなると、状態機械５０８がＲＥＮ状態６０６へと遷移することを示してもよい（７１４）。ＲＤＢ３２８Ａは次に、イベントライン５０６における別のイネーブル信号を待つ（７０２）。イベント入力５０６における信号が再びアクティブになる前にカウントダウンがゼロに達しなかった場合（７１２のいいえ）、ＲＤＢ３２８Ａは、メモリブロック３２２Ａを制御して動作電力モードにする（７０６）。
【0114】
図８は、本開示に記載する技術による、階層型電力管理システムによって制御されているメモリ３１２にアクセスする一例の動作モードのフローチャートである。動作モードは、例示の目的で、ＲＤＢ３２８Ａおよびメモリブロック３２２Ａに関して記載される。最初に、クラスタマネージャ４０４は、メモリセグメント（例えば、図４のメモリセグメント４０２）を制御するＲＤＣ３２６に対してパワーダウンポリシーを設定する（８０２）。ＲＤＣ３２６は、パワーダウンポリシーを実現するように、ＲＤＢ３２８Ａの制御レジスタ５０３を設定する（８０４）。ＲＤＣ３２６に通信可能に結合されたＲＤＢ（例えば、ＲＤＢ３２８Ａ）は、制御レジスタ設定を受信する（８０６）。
【0115】
その後、ＣＰＵ４０６は、１つまたは複数のメモリアドレスにアクセスすることを要求する（８０８）。メモリデコーダ３２０は、アドレスを復号して、どのメモリブロック（例えば、メモリブロック３２２Ａ）がＣＰＵ４０６によって要求されたメモリアドレスと関連付けられているかを決定する（８１０）。メモリアドレスがメモリブロック３２２Ａと関連付けられている場合、メモリデコーダ３２０は、イネーブル信号をＲＤＢ３２８Ａのイベント入力５０６に適用する（８１２）。ＲＤＢ３２８Ａの状態機械５０８は、直接または間接的にＯＰＲ状態へと遷移して、電力をメモリブロック３２２Ａに提供する（８１４）。
【0116】
ＣＰＵ４０６は、メモリブロック３２２Ａ内の複数のメモリアドレスにアクセスしてもよい。ＣＰＵ４０６は最終的に、メモリブロック３２２のメモリアドレスへのアクセスを終了する（８１６）。メモリデコーダ３２０は、イネーブル信号をイベント入力５０６に提供するのを停止する（８１８）。ＲＤＢ３２８Ａは、状態機械５０８の電力状態にしたがって、メモリブロック３２２Ａへの電力を制御する。状態機械５０８が遷移する低電力状態は、ＣＭ４０４によって設定され、ＲＤＣ３２６によって（例えば、制御レジスタ５０２を設定することによって）実現される、パワーダウンポリシーに基づく（８２０）。メモリアドレスは、連続して読み取られる場合が多く、１つのメモリブロックで始まって次のメモリブロックに進んでもよいので、メモリデコーダ３２０は、メモリアドレスを復号し、イネーブル信号を対応するＲＤＣ３２８のイベントライン５０６に提供し続ける（８２２）。
【0117】
本開示に記載する技術は、少なくとも部分的に、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組み合わせの形で実現されてもよい。例えば、記載する技術の様々な態様は、１つまたは複数のマイクロプロセッサ、ＤＳＰ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または他の任意の等価の集積もしくは離散論理回路類、ならびにかかる構成要素の任意の組み合わせを含む、１つまたは複数のプロセッサ内で実現されてもよい。「プロセッサ」または「処理回路類」という用語は、一般に、単独でまたは他の回路類との組み合わせで、上述の論理回路類、固定機能回路類、プログラマブル回路類のいずれか、あるいは他の任意の等価の回路類を指してもよい。ハードウェアを備える制御ユニットも、本開示の技術の１つまたは複数を実施してもよい。
【0118】
かかるハードウェア、ソフトウェア、およびファームウェアは、本開示に記載する様々な動作および機能をサポートするように、同じデバイス内に、または別個のデバイス内に実装されてもよい。それに加えて、記載するユニット、モジュール、または構成要素のいずれも、共にまたは離散的なものとして別個に実装されるが、相互運用可能な論理デバイスであってもよい。モジュールまたはユニットとしての異なる特徴の記載は、異なる機能的態様を強調するためのものであり、かかるモジュールまたはユニットが別個のハードウェアまたはソフトウェアコンポーネントとして実現されなければならないことを、必ずしも示唆するものではない。それよりもむしろ、１つまたは複数のモジュールまたはユニットと関連付けられた機能性は、別個のハードウェアもしくはソフトウェアコンポーネントによって実施されるか、または共通もしくは別個のハードウェアもしくはソフトウェアコンポーネントに統合されてもよい。
【0119】
本開示に記載する技術はまた、命令を収容した、コンピュータ可読記憶媒体などのコンピュータ可読媒体で具体化または符号化されてもよい。コンピュータ可読記憶媒体に埋め込まれるかまたは符号化された命令によって、例えば命令が実行されると、プログラマブルプロセッサまたは他のプロセッサが方法を実施してもよい。コンピュータ可読記憶媒体は、ランダムアクセスメモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、プログラマブル読出し専用メモリ（ＰＲＯＭ）、消去可能プログラマブル読出し専用メモリ（ＥＰＲＯＭ）、電気消去可能プログラマブル読出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、ハードディスク、ＣＤ－ＲＯＭ、フロッピーディスク、カセット、磁気媒体、光学媒体、または他のコンピュータ可読媒体を含んでもよい。
【0120】
本明細書の様々な例を用いて記載したように、本開示の技術は、人工現実システムを含むか、またはそれと併せて実現されてもよい。上述したように、人工現実は、ユーザに提示する前に何らかの形で調節されている１つの形態の現実であり、例えば、仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）、ハイブリッド現実、または上記の何らかの組み合わせおよび／もしくは派生物を含んでもよい。人工現実コンテンツは、全て生成されたコンテンツ、またはキャプチャされたコンテンツ（例えば、実世界写真）と組み合わされた生成コンテンツを含んでもよい。人工現実コンテンツは、映像、音声、触覚フィードバック、または上記の何らかの組み合わせを含んでもよく、それらのいずれかが、単一チャネルまたは複数チャネルで提示されてもよい（閲覧者に対する三次元効果を作成するステレオ映像など）。それに加えて、いくつかの実施形態では、人工現実は、アプリケーション、製品、アクセサリ、サービス、または例えば、人工現実でコンテンツを作り出すのに使用される、かつ／もしくは人工現実で使用される（例えば、アクティビティを実施する）、上記の何らかの組み合わせと関連付けられてもよい。人工現実コンテンツを提供する人工現実システムは、ホストコンピュータシステムに接続されたヘッドマウントデバイス（ＨＭＤ）、スタンドアロンＨＭＤ、モバイルデバイスもしくはコンピューティングシステム、または人工現実コンテンツを１人もしくは複数の閲覧者に提供することができる他の任意のハードウェアプラットフォームを含む、様々なプラットフォームで実現されてもよい。
【図1A】
【図1B】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図5C】
【図6A】
【図6B】
【図6C】
【図7】
【図8】
【国際調査報告】