特許 7562700 コヒーレントコンテキストを用いた、ピース毎の漸次的かつ持続的な較正

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-27

(45)【発行日】2024-10-07

(54)【発明の名称】コヒーレントコンテキストを用いた、ピース毎の漸次的かつ持続的な較正

(51)【国際特許分類】

   H04N 13/327 20180101AFI20240930BHJP

   H04N 13/293 20180101ALI20240930BHJP

   H04N 13/344 20180101ALI20240930BHJP

   H04N 13/324 20180101ALI20240930BHJP

   G09G 5/00 20060101ALI20240930BHJP

   G02B 27/02 20060101ALN20240930BHJP

【ＦＩ】

H04N13/327

H04N13/293

H04N13/344

H04N13/324

G09G5/00 X

G09G5/00 530M

G02B27/02 Z

【請求項の数】 20

(21)【出願番号】P 2022568564

(86)(22)【出願日】2021-05-06

(65)【公表番号】

(43)【公表日】2023-06-21

(86)【国際出願番号】 US2021031105

(87)【国際公開番号】W WO2021236345

(87)【国際公開日】2021-11-25

【審査請求日】2024-05-01

(31)【優先権主張番号】63/027,677

(32)【優先日】2020-05-20

(33)【優先権主張国・地域又は機関】US

【早期審査対象出願】

(73)【特許権者】

【識別番号】514108838

【氏名又は名称】マジック リープ， インコーポレイテッド

【氏名又は名称原語表記】Ｍａｇｉｃ Ｌｅａｐ，Ｉｎｃ．

【住所又は居所原語表記】７５００ Ｗ ＳＵＮＲＩＳＥ ＢＬＶＤ，ＰＬＡＮＴＡＴＩＯＮ，ＦＬ ３３３２２ ＵＳＡ

(74)【代理人】

【識別番号】100078282

【弁理士】

【氏名又は名称】山本 秀策

(74)【代理人】

【識別番号】100113413

【弁理士】

【氏名又は名称】森下 夏樹

(74)【代理人】

【識別番号】100181674

【弁理士】

【氏名又は名称】飯田 貴敏

(74)【代理人】

【識別番号】100181641

【弁理士】

【氏名又は名称】石川 大輔

(74)【代理人】

【識別番号】230113332

【弁護士】

【氏名又は名称】山本 健策

(72)【発明者】

【氏名】アルパ， アイディン

【審査官】中村 直行

(56)【参考文献】

【文献】特表２０１６－５３９３８４（ＪＰ，Ａ）

【文献】特開２０１６－１０５１７７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２０／０１８６７８６（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １３／００ ー １７／０６

Ｇ０９Ｇ ３／００ ー ５／４２

Ｇ０２Ｂ ２７／０２

(57)【特許請求の範囲】

【請求項1】

コンピュータ実装方法であって、
仮想コンテンツを備えるフレームを発生させることと、
前記フレーム内の前記仮想コンテンツの場所を判定することと、
前記フレーム内の前記仮想コンテンツと試験パターンとを畳み込むことによって、較正フレームを発生させることと、
前記仮想コンテンツを備える前記フレームに、前記較正フレームを適用することと
を含む、コンピュータ実装方法。

【請求項2】

前記フレーム内の前記仮想コンテンツの場所を判定することは、
縁検出または彩度パターン検出のうちの１つ以上を適用し、前記仮想コンテンツを備える前記フレーム内の領域を識別することと、
前記領域内のピクセルおよびピクセル値の場所を識別することと、
メモリ内に、前記ピクセルおよびピクセル値の場所を示すデータを記憶することと
を含む、請求項１に記載のコンピュータ実装方法。

【請求項3】

前記フレーム内の前記仮想コンテンツと前記試験パターンとを畳み込むことは、
代表的仮想コンテンツフレームを選択することと、
前記フレーム内の前記仮想コンテンツと前記代表的仮想コンテンツフレーム内の前記試験パターンとを畳み込むことと
を含む、請求項１に記載のコンピュータ実装方法。

【請求項4】

仮想または拡張現実システムのディスプレイのリフレッシュレートを判定することをさらに含み、
前記仮想コンテンツを備える前記フレームの数は、前記リフレッシュレートに基づく、請求項１に記載のコンピュータ実装方法。

【請求項5】

前記仮想コンテンツを備える前記フレームに、前記較正フレームを適用することは、前記仮想コンテンツを備える前記フレームのうちの２つの間に前記較正フレームを挿入することを含む、請求項１に記載のコンピュータ実装方法。

【請求項6】

前記較正フレームを発生させることは、
前記フレーム内の前記仮想コンテンツの強度レベルを判定することと、
前記フレーム内の前記仮想コンテンツの強度レベルが最小閾値強度レベル未満であることを判定することと、
前記最小閾値強度レベルに合致する強度レベルを有する、前記較正フレームを発生させることと
を含む、請求項１に記載のコンピュータ実装方法。

【請求項7】

前記フレームに前記較正フレームを適用することに応答して、１つ以上の較正パラメータを判定することと、
前記較正パラメータを使用して、前記仮想コンテンツをディスプレイに表示することと
を含む、請求項１に記載のコンピュータ実装方法。

【請求項8】

前記較正フレームを発生させることは、
試験画像を前記較正フレーム内の前記仮想コンテンツの縁の背後に隠蔽することと、
前記仮想コンテンツの色と同一の色を有する試験パターンを使用して、前記較正フレームを発生させることと
を含む、請求項１に記載のコンピュータ実装方法。

【請求項9】

仮想または拡張現実システムであって、
データを表示するように構成されるディスプレイデバイスを備える、フレーム構造と、
前記フレーム構造に結合される、プロセッサと
を備え、
前記プロセッサは、
仮想コンテンツを備えるフレームを発生させることと、
前記フレーム内の前記仮想コンテンツの場所を判定することと、
前記フレーム内の前記仮想コンテンツと試験パターンとを畳み込むことによって、較正フレームを発生させることと、
前記較正フレームと、前記仮想コンテンツを備える前記フレームとを前記ディスプレイデバイスに伝送することと
を行うように構成され、
前記較正フレームと、前記仮想コンテンツを備える前記フレームとを前記プロセッサから受信することに応答して、前記ディスプレイデバイスは、前記較正フレームと、前記仮想コンテンツを備える前記フレームとを表示するように構成される、仮想または拡張現実システム。

【請求項10】

前記フレーム内の前記仮想コンテンツの場所を判定するように構成されている前記プロセッサは、
縁検出または彩度パターン検出のうちの１つ以上を適用し、前記仮想コンテンツを備える前記フレーム内の領域を識別することと、
前記領域内のピクセルおよびピクセル値の場所を識別することと、
メモリ内に、前記ピクセルおよびピクセル値の場所を示すデータを記憶することと
を行うように構成されている前記プロセッサを備える、請求項９に記載の仮想または拡張現実システム。

【請求項11】

前記フレーム内の前記仮想コンテンツと前記試験パターンとを畳み込むように構成されている前記プロセッサは、
代表的仮想コンテンツフレームを選択することと、
前記フレーム内の前記仮想コンテンツと前記代表的仮想コンテンツフレーム内の前記試験パターンとを畳み込むことと
を行うように構成されている前記プロセッサを備える、請求項９に記載の仮想または拡張現実システム。

【請求項12】

前記プロセッサは、仮想または拡張現実システムのディスプレイのリフレッシュレートを判定するように構成され、
前記仮想コンテンツを備える前記フレームの数は、前記リフレッシュレートに基づく、請求項９に記載の仮想または拡張現実システム。

【請求項13】

前記仮想コンテンツを備える前記フレームに前記較正フレームを適用するように構成されている前記プロセッサは、前記仮想コンテンツを備える前記フレームのうちの２つの間に前記較正フレームを挿入するように構成されている前記プロセッサを備える、請求項９に記載の仮想または拡張現実システム。

【請求項14】

前記プロセッサは、前記較正フレームを前記フレームに適用することに応答して、１つ以上の較正パラメータを判定するように構成され、
前記ディスプレイデバイスは、前記較正パラメータを使用して前記仮想コンテンツを表示するように構成される、請求項９に記載の仮想または拡張現実システム。

【請求項15】

命令を備える非一過性コンピュータ可読記憶媒体であって、前記命令は、１つ以上のコンピュータプロセッサによって実行されると、前記１つ以上のコンピュータプロセッサに、
仮想コンテンツを備えるフレームを発生させることと、
前記フレーム内の前記仮想コンテンツの場所を判定することと、
前記フレーム内の前記仮想コンテンツと試験パターンとを畳み込むことによって、較正フレームを発生させることと、
前記仮想コンテンツを備える前記フレームに、前記較正フレームを適用することと
を含む動作を実施させる、非一過性コンピュータ可読記憶媒体。

【請求項16】

前記フレーム内の前記仮想コンテンツの場所を判定することは、
縁検出または彩度パターン検出のうちの１つ以上を適用し、前記仮想コンテンツを備える前記フレーム内の領域を識別することと、
前記領域内のピクセルおよびピクセル値の場所を識別することと、
メモリ内に、前記ピクセルおよびピクセル値の場所を示すデータを記憶することと
を含む、請求項１５に記載の非一過性コンピュータ可読記憶媒体。

【請求項17】

前記フレーム内の前記仮想コンテンツと前記試験パターンとを畳み込むことは、
代表的仮想コンテンツフレームを選択することと、
前記フレーム内の前記仮想コンテンツと前記代表的仮想コンテンツフレーム内の前記試験パターンとを畳み込むことと
を含む、請求項１５に記載の非一過性コンピュータ可読記憶媒体。

【請求項18】

仮想または拡張現実システムのディスプレイのリフレッシュレートを判定することをさらに含み、
前記仮想コンテンツを備える前記フレームの数は、前記リフレッシュレートに基づく、請求項１５に記載の非一過性コンピュータ可読記憶媒体。

【請求項19】

前記仮想コンテンツを備える前記フレームに前記較正フレームを適用することは、前記仮想コンテンツを備える前記フレームのうちの２つの間に前記較正フレームを挿入することを含む、請求項１５に記載の非一過性コンピュータ可読記憶媒体。

【請求項20】

前記動作はさらに、
前記フレームに前記較正フレームを適用することに応答して、１つ以上の較正パラメータを判定することと、
前記較正パラメータを使用して、前記仮想コンテンツをディスプレイに表示することと
を含む、請求項１５に記載の非一過性コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本願は、参照することによってその全体として本明細書に組み込まれる、２０２０年５月２０日に出願された、米国仮特許出願第６３／０２７，６７７号の利益を主張する。

【0002】

（分野）
本明細書は、概して、画像処理および表示較正に関する。

【背景技術】

【0003】

（背景）
ディスプレイデバイスは、ディスプレイインターフェース上に画像を投影し得る。しかしながら、画像は、ディスプレイまたはディスプレイインターフェースに問題が存在する場合、所望されるように見えない場合がある。例えば、画像は、ディスプレイインターフェースが変形または不整合にされている場合、所望されるように見えない場合がある。

【発明の概要】

【課題を解決するための手段】

【0004】

（要約）
本明細書において説明される主題の革新的側面は、仮想または拡張現実（ＶＡＲ）システム内で使用されるディスプレイデバイスの較正に関する。特に、ＶＡＲシステムは、物理的な現実ビューを拡張するために仮想コンテンツを表示するために使用されることができる。ＶＡＲシステムの１つ以上のディスプレイ関連構成要素が、変形される、または所望されるように動作していないとき、仮想コンテンツが正しく表示されていることを確実にするために、較正が、要求され得る。

【0005】

説明される実装によると、コンテキストコヒーレンスを用いたピース毎の暫時的な持続的較正方法が、仮想コンテンツの表示を改良するために利用される。フレームのセットが、仮想画像を描写するためにレンダリングされる。ＶＡＲシステムは、フレームのセット内の仮想コンテンツの場所を識別し得る。本システムは、仮想コンテンツの場所において試験パターンを畳み込み、較正フレームを発生させ得る。較正フレームは、較正フレームの露出がそのような短時間にわたるため、ユーザにとって知覚不可能である様式において、フレームのセット内に挿入される。

【0006】

説明される較正技法は、これが、仮想コンテンツがユーザに表示されているとき、およびその場所のみ、表示を較正する点で有利である。本較正方法は、仮想コンテンツが強コンテキストコヒーレンスおよび空間分布を有している場合、極めて良好に性能を発揮する。他の恩恵は、低計算負担と、眼追跡への低依存と、低い劣化リスクとを含む。そのような恩恵は、較正技法が、高周波数ディスプレイにおいて良好に性能を発揮することを可能にする。

【0007】

本側面の他の実装は、それぞれが本方法の動作を実施するように構成される、対応するシステムと、装置と、コンピュータ記憶デバイス上に記録されるコンピュータプログラムとを含む。

【0008】

本明細書に説明される主題の１つ以上の実装の詳細が、付随の図面および下記の説明に記載される。本主題の他の特徴、側面、および利点が、説明、図面、ならびに請求項から明白な状態になるであろう。
本明細書は、例えば、以下の項目も提供する。
（項目１）
コンピュータ実装方法であって、
仮想コンテンツを含むフレームを発生させることと、
前記フレーム内の前記仮想コンテンツの場所を判定することと、
プロセッサによって、前記仮想コンテンツの場所において試験パターンを畳み込むことと、
前記畳み込むことに基づいて、較正フレームを発生させることと、
前記仮想コンテンツを含む前記フレームに、前記較正フレームを適用することと
を含む、コンピュータ実装方法。
（項目２）
前記フレーム内の前記仮想コンテンツの場所を判定することは、
縁検出または彩度パターン検出のうちの１つ以上を適用し、前記仮想コンテンツを含む前記フレーム内の領域を識別することと、
前記領域内のピクセルおよびピクセル値の場所を識別することと、
メモリ内に、前記ピクセルおよびピクセル値の場所を示すデータを記憶することと
を含む、項目１に記載のコンピュータ実装方法。
（項目３）
前記仮想コンテンツの場所において前記試験パターンを畳み込むことは、
代表的仮想コンテンツフレームを選択することと、
前記代表的仮想コンテンツフレーム内の前記仮想コンテンツの場所において前記試験パターンを畳み込むことと
を含む、項目１に記載のコンピュータ実装方法。
（項目４）
仮想または拡張現実システムのディスプレイのリフレッシュレートを判定することをさらに含み、
前記仮想コンテンツを含む前記フレームの数は、前記リフレッシュレートに基づく、項目１に記載のコンピュータ実装方法。
（項目５）
前記仮想コンテンツを含む前記フレームに、前記較正フレームを適用することは、前記仮想コンテンツを含む前記フレームのうちの２つの間に前記較正フレームを挿入することを含む、項目１に記載のコンピュータ実装方法。
（項目６）
前記較正フレームを発生させることは、
前記フレーム内の前記仮想コンテンツの強度レベルを判定することと、
前記フレーム内の前記仮想コンテンツの強度レベルが最小閾値強度レベル未満であることを判定することと、
前記最小閾値強度レベルに合致する強度レベルを有する、前記較正フレームを発生させることと
を含む、項目１に記載のコンピュータ実装方法。
（項目７）
前記フレームに前記較正フレームを適用することに応答して、１つ以上の較正パラメータを判定することと、
前記較正パラメータを使用して、前記仮想コンテンツをディスプレイに表示することと
を含む、項目１に記載のコンピュータ実装方法。
（項目８）
前記較正フレームを発生させることは、
試験画像を前記較正フレーム内の前記仮想コンテンツの縁の背後に隠蔽することと、
前記仮想コンテンツの色と同一の色を有する試験パターンを使用して、前記較正フレームを発生させることと
を含む、項目１に記載のコンピュータ実装方法。
（項目９）
仮想または拡張現実システムであって、
データを表示するように構成されるディスプレイデバイスを備える、フレーム構造と、
前記フレーム構造に結合される、プロセッサと
を備え、
前記プロセッサは、
仮想コンテンツを含むフレームを発生させることと、
前記フレーム内の前記仮想コンテンツの場所を判定することと、
前記仮想コンテンツの場所において試験パターンを畳み込むことと、
前記畳み込むことに基づいて、較正フレームを発生させることと、
前記較正フレームと、前記仮想コンテンツを含む前記フレームとを前記ディスプレイデバイスに伝送することと
を行うように構成され、
前記較正フレームと、前記仮想コンテンツを含む前記フレームとを前記プロセッサから受信することに応答して、前記ディスプレイデバイスは、前記較正フレームと、前記仮想コンテンツを含む前記フレームとを表示するように構成される、仮想または拡張現実システム。
（項目１０）
前記フレーム内の前記仮想コンテンツの場所を判定するように構成されている前記プロセッサは、
縁検出または彩度パターン検出のうちの１つ以上を適用し、前記仮想コンテンツを含む前記フレーム内の領域を識別することと、
前記領域内のピクセルおよびピクセル値の場所を識別することと、
メモリ内に、前記ピクセルおよびピクセル値の場所を示すデータを記憶することと
を行うように構成されている前記プロセッサを備える、項目９に記載の仮想または拡張現実システム。
（項目１１）
前記仮想コンテンツの場所において前記試験パターンを畳み込むように構成されている前記プロセッサは、
代表的仮想コンテンツフレームを選択することと、
前記代表的仮想コンテンツフレーム内の前記仮想コンテンツの場所において前記試験パターンを畳み込むことと
を行うように構成されている前記プロセッサを備える、項目９に記載の仮想または拡張現実システム。
（項目１２）
前記プロセッサは、仮想または拡張現実システムのディスプレイのリフレッシュレートを判定するように構成され、
前記仮想コンテンツを含む前記フレームの数は、前記リフレッシュレートに基づく、項目９に記載の仮想または拡張現実システム。
（項目１３）
前記仮想コンテンツを含む前記フレームに前記較正フレームを適用するように構成されている前記プロセッサは、前記仮想コンテンツを含む前記フレームのうちの２つの間に前記較正フレームを挿入するように構成されている前記プロセッサを備える、項目９に記載の仮想または拡張現実システム。
（項目１４）
前記プロセッサは、前記較正フレームを前記フレームに適用することに応答して、１つ以上の較正パラメータを判定するように構成され、
前記ディスプレイデバイスは、前記較正パラメータを使用して前記仮想コンテンツを表示するように構成される、項目９に記載の仮想または拡張現実システム。
（項目１５）
命令を備える非一過性コンピュータ可読記憶媒体であって、前記命令は、１つ以上のコンピュータプロセッサによって実行されると、前記１つ以上のコンピュータプロセッサに、
仮想コンテンツを含むフレームを発生させることと、
前記フレーム内の前記仮想コンテンツの場所を判定することと、
プロセッサによって、前記仮想コンテンツの場所において試験パターンを畳み込むことと、
前記畳み込むことに基づいて、較正フレームを発生させることと、
前記仮想コンテンツを含む前記フレームに、前記較正フレームを適用することと
を含む動作を実施させる、非一過性コンピュータ可読記憶媒体。
（項目１６）
前記フレーム内の前記仮想コンテンツの場所を判定することは、
縁検出または彩度パターン検出のうちの１つ以上を適用し、前記仮想コンテンツを含む前記フレーム内の領域を識別することと、
前記領域内のピクセルおよびピクセル値の場所を識別することと、
メモリ内に、前記ピクセルおよびピクセル値の場所を示すデータを記憶することと
を含む、項目１５に記載の非一過性コンピュータ可読記憶媒体。
（項目１７）
前記仮想コンテンツの場所において前記試験パターンを畳み込むことは、
代表的仮想コンテンツフレームを選択することと、
前記代表的仮想コンテンツフレーム内の前記仮想コンテンツの場所において前記試験パターンを畳み込むことと
を含む、項目１５に記載の非一過性コンピュータ可読記憶媒体。
（項目１８）
仮想または拡張現実システムのディスプレイのリフレッシュレートを判定することをさらに含み、
前記仮想コンテンツを含む前記フレームの数は、前記リフレッシュレートに基づく、項目１５に記載の非一過性コンピュータ可読記憶媒体。
（項目１９）
前記仮想コンテンツを含む前記フレームに前記較正フレームを適用することは、前記仮想コンテンツを含む前記フレームのうちの２つの間に前記較正フレームを挿入することを含む、項目１５に記載の非一過性コンピュータ可読記憶媒体。
（項目２０）
前記動作はさらに、
前記フレームに前記較正フレームを適用することに応答して、１つ以上の較正パラメータを判定することと、
前記較正パラメータを使用して、前記仮想コンテンツをディスプレイに表示することと
を含む、項目１５に記載の非一過性コンピュータ可読記憶媒体。

【図面の簡単な説明】

【0009】

【図1】図１は、仮想または拡張現実（ＶＡＲ）システムの例示的実装を描写する。

【0010】

【図2A】図２Ａは、整合された左および右接眼レンズの平面図を描写する。

【0011】

【図2B】図２Ｂは、不整合にされた左および右接眼レンズの平面図を描写する。

【0012】

【図3A】図３Ａは、整合された左および右接眼レンズを伴う、フレーム構造の上面図を描写する。

【0013】

【図3B】図３Ｂは、不整合にされた左および右接眼レンズを伴う、フレーム構造の上面図を描写する。

【0014】

【図4】図４は、例示的較正フレームを含む、一連のフレームを描写する。

【0015】

【図5】図５は、較正フレームの図を描写する。

【0016】

【図6】図６は、試験パターンおよび仮想コンテンツを伴う較正フレームを含む、一連のフレームを描写する。

【0017】

【図7】図７は、表示較正を実装するための方法のフローチャートを描写する。

【発明を実施するための形態】

【0018】

種々の図面における同様の参照番号および記号は、同様の要素を示す。

【0019】

（詳細な説明）
図１は、ＶＡＲシステム１００を利用するユーザ５０の例示的実装を描写する。ＶＡＲシステム１００は、フレーム構造１０２と、ディスプレイサブシステム１０４と、スピーカ１０６と、接眼レンズ１１０と、ユーザ配向モジュール１１２と、コンピュータ処理ユニット（ＣＰＵ）１１４と、グラフィック処理ユニット（ＧＰＵ）１１６と、フレームバッファ１１８と、３次元（３Ｄ）データベース１２０と、光感知アセンブリ１２２とを含む。ＶＡＲシステム１００は、ユーザ５０の視野内に、物理オブジェクトと混合された仮想オブジェクトの画像を提供し得る、拡張現実システムとして動作され得る。

【0020】

図１に示されるように、フレーム構造１０２は、ユーザ５０の頭部上に装着され得る。フレーム構造１０２は、スピーカ１０６およびディスプレイサブシステム１０４に統合、接続、または結合されてもよい。ディスプレイサブシステム１０４は、左接眼レンズ１１０Ｌと、右接眼レンズ１１０Ｒと、左投影システム１０８Ｌと、右投影システム１０８Ｒとを含んでもよい。

【0021】

スピーカ１０６は、単一のスピーカまたはスピーカの対を含み得る。例えば、１つのスピーカが、一方の耳の中にオーディオデータを出力するように構成されてもよく、第２のスピーカが、ユーザ５０の第２の耳の中にオーディオデータを出力するように構成されてもよい。スピーカ１０６は、ユーザ５０の外耳道に隣接して位置付けられてもよい。一般に、種々のタイプのスピーカ、例えば、スピーカ、イヤホン、ＡｉｒＰｏｄｓ（登録商標）を伴うヘッドセットが、使用されてもよい。スピーカ１０６は、無線で、または有線接続を通して、ＶＡＲシステム１００の他の構成要素に接続されてもよい。例えば、いくつかの実装では、スピーカ１０６は、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の短距離通信プロトコルを通して、ＶＡＲシステム１００の他の構成要素に接続されてもよい。

【0022】

ディスプレイサブシステム１０４は、眼鏡のレンズの位置と同様に、ユーザ５０の鼻の上方に、かつその眼５２の正面に位置付けられてもよい。ディスプレイサブシステム１０４は、ユーザ５０の眼５２に、高品質な２次元（２Ｄ）または３次元（３Ｄ）の画像コンテンツを伴う、物理的現実に対する拡張として快適に知覚され得る、光ベースの放射パターンを提示するように構成されてもよい。ディスプレイサブシステム１０４は、種々の周波数においてフレームバッファ１１８から取得されたフレームのシーケンスを出力してもよい。ある場合には、ディスプレイサブシステム１０４は、高周波数におけるフレームを出力し、単一のコヒーレント場面の知覚を提供してもよい。

【0023】

接眼レンズ１１０は、部分的に透明な左接眼レンズ１１０Ｌと、部分的に透明な右接眼レンズ１１０Ｒとを含む。左および右接眼レンズ１１０Ｌおよび１１０Ｒは、事実上、画像がそれらの上に投影されると、ディスプレイ画面またはディスプレイインターフェースとして動作する。いくつかの実装では、左および右接眼レンズ（またはディスプレイ画面）１１０Ｌ、１１０Ｒディスプレイは、ユーザが、透明（または半透明）要素を介して実オブジェクトから直接光を視認し得る、「光学シースルー」ディスプレイであってもよい。透明要素は、ユーザの実世界のビューにわたって投影サブシステム１０８Ｌ、１０８Ｒからの光を重畳してもよい。

【0024】

いくつかの実装では、接眼レンズ１１０Ｌおよび１１０Ｒは、平面状光導波路と、平面状光導波路と関連付けられる、１つ以上の回折光学素子（ＤＯＥ）とを含む、導波管装置の形態をとってもよい。導波管装置は、複数の平面状光導波路と、それぞれ、平面状光導波路と関連付けられる、ＤＯＥとを備えてもよい。

【0025】

左および右投影サブシステム１０８Ｌ、１０８Ｒは、それぞれ、左および右接眼レンズ１１０Ｌ、１１０Ｒ上に左および右単眼画像を投影してもよい。接眼レンズ１１０Ｌ、１１０Ｒは、ユーザ５０の眼５２の正面に設置され、単眼画像を両眼画像として視認することができる。加えて、接眼レンズ１１０Ｌ、１１０Ｒは、周囲環境からの直接光が接眼レンズ１１０Ｌ、１１０Ｒを通してユーザ５０の眼５２まで進行するように、ユーザ５０の眼５２と周囲環境との間のユーザの５０視野内に設置されてもよい。

【0026】

投影アセンブリ１０８Ｌ、１０８Ｒは、それぞれ、走査された光を接眼レンズ１１０Ｌ、１１０Ｒに提供してもよい。いくつかの実装では、投影サブシステム１０８Ｌ、１０８Ｒは、光ファイバ走査ベース投影デバイスとして実装されてもよく、接眼レンズ１１０Ｌ、１１０Ｒは、個別の投影サブシステム１０８Ｌ、１０８Ｒからの走査された光が投入される、導波管ベースディスプレイとして実装されてもよい。投影サブシステム１０８Ｌ、１０８Ｒはそれぞれ、シリコン上液晶（「ＬＣｏＳ」）構成要素等の空間光変調器（「ＳＬＭ」）または微小電気機械（「ＭＥＭ」）走査ミラーを備えてもよい。

【0027】

ＶＡＲシステム１００はまた、ユーザ５０の頭部５４の位置付けおよび移動ならびに／もしくはユーザ５０の眼の位置および眼間距離を検出するための、フレーム構造１０２に搭載される、１つ以上のセンサを含んでもよい。そのようなセンサは、（カメラ等の）画像捕捉デバイス、マイクロホン、慣性測定ユニット、加速度計、コンパス、ＧＰＳユニット、無線デバイス、および／またはジャイロスコープを含み得る。

【0028】

ユーザ配向検出モジュール１１２は、ユーザ５０の頭部５４の瞬時位置を検出し、センサから受信された位置データに基づいて、ユーザ５０の頭部５４の位置を判定するように構成されてもよい。頭部５４の瞬時位置を検出することはまた、ユーザ５０が見ているオブジェクトの判定を促進し得る。ユーザ配向モジュール１１２はまた、センサから受信された追跡データに基づいて、ユーザ５０の眼５２を追跡してもよい。

【0029】

光感知アセンブリ１２２は、両方の接眼レンズ１１０Ｌ、１１０Ｒから出射する光線を感知してもよい。加えて、下記により詳細に解説されるように、光感知アセンブリ１２２は、両眼画像として表示された左単眼画像と右単眼画像との間の不整合を示す、少なくとも１つのパラメータを感知するように構成されてもよい。

【0030】

ＶＡＲシステム１００は、種々のソフトウェアおよびハードウェア構成要素を備える、制御サブシステムを含んでもよい。いくつかの実装では、制御サブシステムは、中央処理ユニット（ＣＰＵ）１１４と、グラフィック処理ユニット（ＧＰＵ）１１６と、１つ以上のフレームバッファ１１８と、３次元の場面データを記憶するための３Ｄデータベース１２０とを含んでもよい。ＣＰＵ１１４は、ＶＡＲシステム１００の全体的動作を制御し得る一方、ＧＰＵ１１６は、３Ｄデータベース１２０内に記憶された３Ｄデータからフレームをレンダリング（例えば、３Ｄ場面を２Ｄ画像に変換）し、これらのフレームをフレームバッファ１１８内に記憶する。

【0031】

一般に、制御サブシステムは、マイクロコントローラ、マイクロプロセッサ、ＣＰＵ、デジタル信号プロセッサ、ＧＰＵ、特定用途向け集積回路（ＡＳＩＣ）、プログラマブルゲートアレイ（ＰＧＡ）、フィールドＰＧＡ（ＦＰＧＡ）、および／またはプログラマブル論理コントローラ（ＰＬＵ）等の種々のコントローラを含んでもよい。制御サブシステムは、例えば、実行可能命令の実行を通して、本明細書に説明される動作を実施する、ＣＰＵ１１４およびＧＰＵ１１６等の１つ以上のプロセッサを含む、および／またはそれと通信してもよい。図示されていないが、１つ以上の集積回路が、フレームバッファ１１８からの１つ以上のフレームの読込および／または読出、およびディスプレイサブシステム１０４の左および右投影サブシステム１０８Ｌ、１０８Ｒの動作を制御するために使用されてもよい。

【0032】

ＶＡＲシステム１００は、異なるモードにおいて動作するように構成されてもよい。例えば、１つのモードにおいて、ＶＡＲシステム１００内のカメラが、周囲環境の画像を捕捉するために使用されてもよい。ＶＡＲシステム１００は、仮想画像をユーザが視認するための複合現実画像をレンダリングするために、周囲環境の画像を表すデータに混合させてもよい。別のモードにおいて、ＶＡＲシステム１００は、それを通して周囲環境が視認者によって見られ得る、１つ以上の部分的に透明な表面を含んでもよい。ＶＡＲシステム１００は、部分的に透明な表面上に転置される、仮想オブジェクトの画像を生産する。

【0033】

本明細書に開示される、ＶＡＲシステム１００および種々の技法はまた、拡張現実ならびに仮想現実サブシステム以外の用途においても採用され得る。ある実装が、拡張現実サブシステムまたは仮想現実サブシステムのコンテキストにおいて説明されているが、ＶＡＲシステム１００は、そのようなサブシステムに限定されない。

【0034】

拡張現実用途では、種々の仮想オブジェクトをユーザ５０の視野内の個別の物理オブジェクトに対して空間的に位置付けることが、望ましくあり得る。上記に記載されるように、投影アセンブリ１０８Ｌ、１０８Ｒは、表示のために、仮想オブジェクトを接眼レンズ１１０Ｌ、１１０Ｒ上に投影してもよい。仮想オブジェクトは、仮想タグ、タグ、またはコールアウトと称されてもよく、種々の形態に実装されてもよい。仮想オブジェクトの実施例は、限定ではないが、仮想テキストオブジェクト、仮想数字オブジェクト、仮想英数字オブジェクト、仮想タグオブジェクト、仮想フィールドオブジェクト、仮想チャートオブジェクト、仮想マップオブジェクト、仮想計器オブジェクト、または物理オブジェクトの仮想視覚表現を含み得る。

【0035】

上記に記載されるように、ＶＡＲシステム１００は、フレーム構造１０２と統合される、接眼レンズ１１０Ｌ、１１０Ｒを含む。フレーム構造が、重量がより軽く、より薄く、輸送を促進するようにより可撓性に、快適に、かつ審美的な状態になるにつれて、フレーム構造はまた、変形をより受けやすい状態になっている。これらの変形は、仮想の両眼画像に歪曲および他の誤差をもたらし得る。

【0036】

例えば、２Ａおよび２Ｂに図示されるように、仮想コンテンツ７２Ｌ、７２Ｒは、それぞれ、接眼レンズ７０Ｌ、７０Ｒの対を通して左眼および右眼に提示され、知覚され得る。図２Ａでは、２つの接眼レンズ７０Ｌ、７０Ｒが、理想的な様式において相互と整合される。２つの接眼レンズ７０Ｌ、７０Ｒの整合は、例えば、フレーム構造１０２の製造時以来、変更されていない。

【0037】

しかしながら、２つの接眼レンズ７０Ｌ、７０Ｒの整合が、変化することになった場合、両方の接眼レンズ７０Ｌ、７０Ｒによって提示される仮想コンテンツ７４が、歪曲され得る。例えば、図２Ｂは、ピッチ軸を中心とした接眼レンズ７０Ｌ、７０Ｒの対の整合が不整合にされた事例を描写する。他のタイプの不整合は、限定ではないが、ロール軸またはヨー軸に沿った不整合を含む。一般に、左接眼レンズ７０Ｌと右接眼レンズ７０Ｒとの間の不整合は、左仮想コンテンツ７２Ｌと右仮想コンテンツ７２Ｒとの間の知覚された平行移動および／または回転不整合をもたらし得る。不整合は、ユーザ５０の眼上に生理学的歪みを引き起こし得る。さらに、より一般的には、ヒトは、それぞれ、４、６、および１０分角までのピッチ、ロール、ならびにヨー軸を中心とした仮想画像の両眼回転不整合に対して感受性であることができる。

【0038】

図３Ａおよび３Ｂは、整合された接眼レンズ１１０Ｌおよび１１０Ｒおよび不整合にされた接眼レンズ１１０Ｌおよび１１０Ｒを伴う、フレーム構造１０２の別の実施例を描写する。フレーム構造１０２は、左および右の片持ち状アーム３１０Ｌ、３１０Ｒと、左および右のつるアーム３０２Ｌ、３０２Ｒと、左および右のヒンジ３０８Ｌ、３０８Ｒと、鼻ピース３０６と、ブリッジ３０４とを含む。左および右のつるアーム３０２Ｌ、３０２Ｒは、左および右接眼レンズ１１０Ｌ、１１０Ｒがユーザ５０の眼５２の正面に位置するように、ユーザ５０の頭部５４に係合するように設計される。つるアーム３０２Ｌ、３０２Ｒは、それぞれ、ユーザ５２の頭部５４へのフレーム構造１０２の適切な嵌合のためのアーム３０２Ｌ、３０２Ｒの撓曲を促進するための、左および右のヒンジ３０８Ｌ、３０８Ｒを含む。鼻ピース３０６は、ユーザ５２の鼻の上に設置されるように構成され、ユーザ５２の鼻の形状に共形化する、凸面を有してもよい。

【0039】

左および右の片持ち状アーム３１０Ｌ、３１０Ｒは、ブリッジ３０４から離れるように延在する、片持ち梁アーム部分３１２に接続される。添着アーム部分３１４が、エンドユーザ５２の眼５２の平面に対して平行な平面内の個別の片持ち梁アーム部分３１２から延在する。左および右接眼レンズ１１０Ｌ、１１０Ｒは、それぞれ、添着アーム部分３１４に添着される。左および右の投影サブアセンブリ１０８Ｌ、１０８Ｒは、それぞれ、添着アーム部分３１４の外側端部に添着され、それぞれ、左および右接眼レンズ１１０Ｌ、１１０Ｒの中への光ビームのプロビジョニングを促進する。このように、光線は、左および右接眼レンズ１１０Ｌ、１１０Ｒから出射し、ユーザ５０に、左および右単眼画像を両眼画像として表示し得る。

【0040】

ユーザ５０の鼻から離れるような左および右の片持ち状アーム３１０Ｌ、３１０Ｒの端部は、それぞれ、カメラ１０３Ｌ、１０３Ｒを含む。左カメラ１０３Ｌおよび右カメラ１０３Ｒは、ユーザの環境の画像、例えば、ユーザ５０の正面のオブジェクトを取得するように構成される。

【0041】

図３Ａを参照すると、状態Ａでは、ＶＡＲシステム１００が、左および右接眼レンズ１１０Ｌ、１１０Ｒの両方を通して仮想の単眼画像を表示する。左投影サブシステム１０８Ｌは、左接眼レンズ１１０Ｌに向かって仮想コンテンツを表す光を投影してもよく、これは、ひいては、直交瞳拡大（ＯＰＥ）および／または射出瞳拡大（ＥＰＥ）機能性を提供するように構成される、回折光学素子（ＤＯＥ）に向かって本光を内部結合させ、誘導する。誘導光の大部分が、光がＤＯＥを横断する（例えば、ユーザの左眼に向かって指向される）につれて、接眼レンズ１１０Ｌから出射し得る一方、本光の一部は、外部結合ＤＯＥ１９０Ｌに向かって継続し得、これは、（光線２０３によって表される）光として接眼レンズ１１０Ｌから外部結合され、光感知アセンブリ１２２によって少なくとも部分的に捕捉され得る。右接眼レンズ１１０ＲおよびそのＤＯＥ（例えば、外部結合要素１９０Ｒ、内部結合要素（ＩＣＥ）、ＯＰＥ、およびＥＰＥ）に加えて、右投影サブシステム１０８Ｒは、状態Ａにおいて、投影サブシステム１０８Ｌに類似する様式において動作し得る。例えば、投影サブシステム１０８Ｒ、右接眼レンズ１１０Ｒ、およびそのＤＯＥは、ユーザの右眼に仮想コンテンツを提示し、仮想コンテンツを表す光を外部結合ＤＯＥ１９０Ｒを通して光感知アセンブリ１２２に外部結合し、指向し得る。

【0042】

（図３Ｂに示される）状態Ｂでは、左および右接眼レンズ１１０Ｌ、１１０Ｒは、ヨー軸を中心として相互と回転的に不整合にされている。これは、例えば、右の片持ち状のアーム３１０Ｒのアーム部分３１２の変形または片持ち支持から結果として生じ得る。そのような不整合が、生じると、（光線２０３によって表される）光が状態Ｂにおける右接眼レンズ１１０Ｒの外部結合ＤＯＥ１９０Ｒから出射する角度は、（対応する光線２０３によって表される）光が状態Ａにおける右接眼レンズ１１０Ｒの外部結合ＤＯＥ１９０Ｒから出射する角度、および（光線２０３によって表される）光が状態ＡおよびＢの両方において左接眼レンズ１１０Ｌの外部結合ＤＯＥ１９０Ｌから出射する角度と異なる。光感知アセンブリ１２２から出力されるデータに基づいて、ＶＡＲシステム１００は、２つの接眼レンズ１１０Ｌ、１１０Ｒ間のそのような変形または不整合を検出することができる。

【0043】

特に、ＣＰＵ１１４は、光感知アセンブリ１２２によって取得されたデータを受信し、処理し得る。ＣＰＵ１１４は、フレーム構造１０２が状態Ａにあるときに光感知アセンブリ１２２上に入射する光から導出されたデータと、フレーム構造１０２が状態Ｂにあるときに光感知アセンブリ１２２上に入射する光に関して導出されたデータを比較し、左および右接眼レンズ１１０Ｌ、１１０Ｒの相対的変形状態を判定してもよい。仮想画像の相対的変形状態または不整合を検出することに応答して、ＶＡＲシステム１００は、変形／不整合に従って、仮想または表示される画像を補償するために、１つ以上の較正プロシージャを実施してもよい。

【0044】

図４－７は、較正を実施するために較正フレームおよびコヒーレントコンテキストを使用する、較正技法の例示的実装を描写する。本較正技法は、ＣＰＵ１１４またはＧＰＵ１１６等の（本明細書では、下記において単純にプロセッサと称される）１つ以上のプロセッサによって実行され得る。プロセッサは、ディスプレイサブシステム１０４のリフレッシュレートに従って、レンダリングするためのフレームの数を判定してもよい。例えば、ディスプレイサブシステム１０４のリフレッシュレートが、１２０Ｈｚである場合、ディスプレイサブシステム１０４は、１１９個のフレーム毎に１つの較正フレームを含む、合計で１２０個のフレームを発生させてもよい。より一般的には、図４に示されるように、Ｎが、リフレッシュレートである場合、ディスプレイサブシステム１０４は、Ｎ－１個のフレーム毎に１つの試験フレームを発生させてもよい。

【0045】

いくつかの実装では、算出的に効率的な様式において較正を実施するために、プロセッサは、代表的仮想コンテンツフレームとしてＮ－１個のフレームのうちの１つを選択してもよい。プロセッサは、代表的仮想コンテンツフレーム内のコンテンツの場所を判定してもよい。これを行うために、プロセッサは、種々のコンテンツ検出方法を使用してもよい。例えば、縁検出および彩度パターン検出技法が、フレーム内のコンテンツの場所を検出するために使用されてもよい。

【0046】

図４に示される実施例では、プロセッサは、仮想コンテンツがフレームの左上領域内に位置することを判定する。プロセッサは、フレーム内で検出されるコンテンツと関連付けられるピクセルおよびピクセル値の場所を識別してもよく、メモリ内にピクセル場所およびピクセル値を示すデータを記憶してもよい。いくつかの実装では、代表的仮想コンテンツフレームは、Ｎ－１個のレンダリングされたフレームを横断してピクセル値を平均化することによって判定されてもよい。ピクセル値は、強度値またはＲＧＢ色値等の値を含んでもよい。

【0047】

仮想コンテンツの場所を判定した後、プロセッサは、較正フレームを発生させてもよい。図５に示される、図示された実施例を参照すると、プロセッサは、代表的仮想コンテンツフレーム等のフレーム５１０を試験パターン５２０と畳み込み、較正フレーム５３０を発生させ得る。図５では、仮想コンテンツは、単一のプラス標識によって表されるが、仮想コンテンツは、種々の形状、サイズ、および数においてレンダリングされてもよい。加えて、図５は、試験パターン５２０としてチェッカーボードパターンの使用を描写するが、一般に、グリッドおよび十字等の種々のタイプの試験パターンが、使用され得る。較正フレームは、パターン化されたマスクを仮想コンテンツのフレームに適用することによって、発生され得る。結果として生じる較正フレームは、試験パターンがそこから差し引かれた状態の、仮想コンテンツのフレームに類似し得る。

【0048】

図６は、１つの較正フレームを含む、Ｎ個のコヒーレントフレームのある実施例を描写する。図６内の較正フレームは、複数のプラス標識の形態にある試験パターンと畳み込みされた立方体の形態にある、仮想コンテンツを示す。有利なこととして、画像処理は、仮想コンテンツが存在する領域内でのみ実施される。

【0049】

発生された較正フレームは、Ｎ－１個のフレームの中に挿入され得る。一般に、較正フレームは、複数のフレームのうちの任意のフレームの後に挿入され得る。例えば、較正フレームは、複数のフレームの中間に、または最初の１０個のフレームの後に挿入されてもよい。このように較正フレームを挿入することによって、ヒトの脳は、眼から受信された画像内の簡易な異常（例えば、「孔」）を充填、フィルタ除去、または無視する傾向にあるため、較正フレームは、ユーザにとってあまり目立つものではない。

【0050】

いくつかの実装では、ＶＡＲシステム１００は、ユーザに表示されている仮想コンテンツの色に関して較正されてもよい。例えば、青色の仮想コンテンツのみが、表示されている場合、プロセッサは、較正を実施するために青色の試験パターンを使用してもよい。赤色の仮想コンテンツのみが、表示されている場合、プロセッサは、較正を実施するために赤色の試験パターンを使用してもよい。緑色の仮想コンテンツのみが、表示されている場合、プロセッサは、較正を実施するために緑色の試験パターンを使用してもよい。赤色、青色、および緑色の組み合わせを有する仮想コンテンが、表示されている場合、プロセッサは、赤色、青色、および緑色の較正フレームの組み合わせを使用して較正を実施してもよい。

【0051】

較正フレームの知覚の差異をさらに低減させるために、較正フレームの強度等の種々の特性が、代表的仮想コンテンツフレームの特性に合致または類似するように構成されてもよい。例えば、仮想コンテンツの強度が、強度の最小閾値レベルを上回る、またはそれに等しいと判定された場合、較正フレームの強度は、対応する仮想コンテンツのものに等しくあってもよい。仮想コンテンツの強度が、強度の最小閾値レベルを下回ると判定された場合、較正フレームの強度は、強度の最小閾値レベルに設定されてもよい。

【0052】

いくつかの実装では、コントラスト比または輝度等の較正フレームの画像プロパティが、試験フレームの知覚性をさらに低減させるように構成され得る。いくつかの実装では、較正フレームは、仮想コンテンツの縁の背後に試験画像を隠蔽することによって、希薄化され得る。較正フレームはさらに、仮想コンテンツに類似するテクスチャおよび色を使用することによって、カモフラージュされ得る。

【0053】

図７は、表示較正を実装するための方法のフローチャートを描写する。上記に解説されるように、ＶＡＲシステムでは、仮想現実コンテンツは、ディスプレイ上に物理的現実のユーザのビューを表示または拡張させるように発生されてもよい。ディスプレイ上に仮想コンテンツを提供するために、ＶＡＲシステムのプロセッサは、仮想コンテンツを含む、複数のフレームを発生させてもよい（７１０）。発生されるフレームの数は、リフレッシュレートに依存してもよい。例えば、リフレッシュレートが、１２０Ｈｚである場合、プロセッサは、秒あたり１２０個のフレームを発生させてもよい。

【0054】

図４－６に関して上記に説明される技法を使用すると、プロセッサは、仮想コンテンツが位置する、発生されたフレーム内の領域を判定し得る（７２０）。例えば、縁検出および彩度パターン検出技法が、フレーム内のコンテンツの場所を検出するために使用されてもよい。

【0055】

仮想コンテンツの場所を判定した後、プロセッサは、較正フレームを発生させ得る（７３０）。上記に解説されるように、プロセッサは、いくつかの可能性として考えられる試験パターンのうちの１つを適用し、それを仮想コンテンツと畳み込んでもよい。プロセッサは、仮想コンテンツの場所をすでに識別しているため、畳み込みは、仮想コンテンツが位置する領域内のみで畳み込みを実施することによって、算出的に効率的な様式において実施され得る。試験パターンおよび仮想コンテンツの畳み込みは、試験パターンが仮想コンテンツから差し引かれた状態の仮想コンテンツに類似する、較正フレームをもたらす。いくつかの実装では、較正フレームの複数の複製物が、発生されてもよい。

【0056】

発生された較正フレームが、次いで、発生されたフレームに適用され、リフレッシュレートに従って仮想コンテンツを表示する（７４０）。較正フレームは、仮想コンテンツを含むフレーム内の任意の場所の中に挿入されてもよい。必要とされる場合、複数の較正フレームが、発生され、仮想コンテンツを含む、フレーム内に挿入されることができる。複数の較正フレームが、仮想コンテンツを含むフレームのセットの中に無作為に、またはＶＡＲシステム設計者によって設定された所定の基準に従って、挿入されてもよい。

【0057】

較正フレームに基づいて、プロセッサは、１つ以上の較正パラメータの値を判定し、左および右接眼レンズ１１０Ｌ、１１０Ｒ上の所望される場所における仮想コンテンツの表示を改良し得る（７５０）。例えば、プロセッサは、接眼レンズ１１０Ｌ、１１０Ｒのための平行移動および／または回転パラメータ（例えば、ピッチ、ロール、および／またはヨー軸に対する調節値）、ならびに左および右投影サブシステム１０８Ｌ、１０８Ｒのための平行移動および／または回転パラメータを判定してもよく、これは、仮想コンテンツが所望の様式において表示されることをもたらすであろう。

【0058】

較正パラメータを判定した後、ＶＡＲシステムは、較正パラメータを使用してそのディスプレイサブシステム１０４を調節した後、仮想コンテンツを表示し得る（７６０）。例えば、仮想コンテンツの投影または接眼レンズ１１０Ｌ／１１０Ｒの位置が、較正パラメータに従って調節され、仮想コンテンツの表示を改良し得る。付加的な較正が、要求される場合、ＶＡＲシステムは、上記に説明される較正方法を繰り返してもよい。いくつかの実装では、仮想コンテンツディスプレイが、単一の較正フレームが使用されているとき、所望に応じてレンダリングされていない場合、プロセッサは、複数の較正フレームを発生させ、仮想コンテンツを含む、発生された複数のフレーム内に複数の較正フレームを挿入してもよい。

【0059】

本上記に説明される較正技法は、これが、仮想コンテンツがユーザに表示されているとき、およびその場所のみ、表示を較正する点で有利である。本較正方法は、仮想コンテンツが強コンテキストコヒーレンスおよび空間分布を有している場合、極めて良好に性能を発揮する。他の恩恵は、低計算負担と、眼追跡への低依存と、低い劣化リスクとを含む。そのような恩恵は、較正技法が、高周波数ディスプレイにおいて良好に性能を発揮することを可能にする。

【0060】

説明されるシステム、方法、および技法は、デジタル電子回路網、コンピュータハードウェア、ファームウェア、ソフトウェア内に、またはこれらの要素の組み合わせにおいて実装されてもよい。これらの技法を実装する装置は、適切な入力および出力デバイスと、コンピュータプロセッサと、プログラマブルプロセッサによる実行のために機械可読記憶デバイス内に有形に具現化される、コンピュータプログラム製品とを含んでもよい。これらの技法を実装するプロセスが、命令のプログラムを実行する、プログラマブルプロセッサによって実施され、入力データに作用し、適切な出力を発生させることによって、所望の機能を実施してもよい。技法は、データ記憶システム、少なくとも１つの入力デバイス、および少なくとも１つの出力デバイスからデータならびに命令を受信し、それにデータならびに命令を伝送するために結合される、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステム上で実行可能である、命令を含む、１つ以上のコンピュータプログラムまたは非一過性コンピュータ可読記憶媒体を使用して、実装されてもよい。

【0061】

各コンピュータプログラムは、所望に応じて、高次プロシージャまたはオブジェクト指向プログラミング言語内、もしくはアセンブリまたは機械言語において実装されてもよく、いずれの場合においても、言語は、コンパイラ型言語またはインタープリタ型言語であってもよい。好適なプロセッサは、実施例として、汎用目的マイクロプロセッサおよび特殊目的マイクロプロセッサの両方を含む。概して、プロセッサは、読取専用メモリおよび／またはランダムアクセスメモリから命令ならびにデータを受信するであろう。コンピュータプログラム命令およびデータを有形に具現化するために好適な記憶デバイスは、実施例として、消去可能プログラマブル読取専用メモリ（ＥＰＲＯＭ）、電気的に消去可能プログラマブル読取専用メモリ（ＥＥＰＲＯＭ）、ならびにフラッシュメモリデバイス等の半導体メモリデバイス、内部ハードディスクおよびリムーバブルディスク等の磁気ディスク、光磁気ディスク、ならびにコンパクトディスク読取専用メモリ（ＣＤ－ＲＯＭ）を含む、あらゆる形態の不揮発性メモリを含む。前述のもののいずれも、特別に設計されたＡＳＩＣ（特定用途向け集積回路）によって補完される、またはその中に組み込まれてもよい。

【0062】

コンピュータ可読媒体は、機械可読記憶デバイス、機械可読ストレージ基板、メモリデバイス、機械可読伝搬信号をもたらす組成物、またはそれらのうちの１つ以上の組み合わせであってもよい。用語「データ処理装置」は、実施例として、プログラマブルプロセッサ、コンピュータ、または複数のプロセッサまたはコンピュータを含む、データを処理するための全ての装置、デバイス、および機械を包含する。本装置は、ハードウェアに加えて、当該コンピュータプログラムのための実行環境を生成するコード、例えば、プロセッサファームウエア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはそれらのうちの１つ以上の組み合わせを成すコードを含んでもよい。伝搬される信号は、人工的に発生される信号、例えば、好適な受信機装置への伝送のための情報をエンコードするように発生される、機械発生型電気、光学、または電磁信号である。

【0063】

プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、プラグイン、またはコードとしても公知である、コンピュータプログラムは、コンパイラ型またはインタープリタ型言語を含む、任意の形態のプログラミング言語において記述されてもよく、これは、独立型プログラムとして、またはコンピュータ環境内での使用のために好適なモジュール、コンポーネント、サブルーチン、もしくは他のユニットとしてのものを含む、任意の形態において展開されてもよい。コンピュータプログラムは、必ずしもファイルシステム内のファイルに対応するわけではない。プログラムが、他のプログラムまたはデータを保持するファイルの一部内に、当該プログラム専用の単一のファイル内に、もしくは複数の協調的ファイル内に記憶されてもよい。コンピュータプログラムが、１つのコンピュータ上で、または１つの敷地に位置する、もしくは複数の敷地を横断して分散され、通信ネットワークによって相互接続される複数のコンピュータ上で、実行されてもよい。

【0064】

本明細書に説明されるプロセスおよび論理フローは、入力データに作用し、出力を発生させることによってアクションを実施するように、１つ以上のコンピュータプログラムを実行する、１つ以上のプログラマブルプロセッサによって、実施され得る。プロセスおよび論理フローはまた、特殊目的論理回路網、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）によって実施され得、装置もまた、それとして実装され得る。

【0065】

コンピュータプログラムの実行のために好適なプロセッサは、実施例として、汎用目的マイクロプロセッサおよび特殊目的マイクロプロセッサの両方と、任意の種類のデジタルコンピュータの任意の１つ以上のプロセッサとを含む。概して、プロセッサは、読取専用メモリまたはランダムアクセスメモリもしくは両方から命令およびデータを受信するであろう。

【0066】

コンピュータの要素は、命令を実施するためのプロセッサと、命令およびデータを記憶するための１つ以上のメモリデバイスとを含んでもよい。概して、コンピュータはまた、データを受信する、またはデータを伝達する、もしくは両方のために、データを記憶するための１つ以上の大容量記憶デバイス、例えば、磁気、光磁気ディスク、もしくは光ディスクを含む、またはそれに動作可能に結合されるであろう。しかしながら、コンピュータは、そのようなデバイスを有していなくてもよい。また、コンピュータは、別のデバイス、例えば、いくつかのみを挙げると、タブレット型コンピュータ、携帯電話、携帯情報端末（ＰＤＡ）、モバイルオーディオプレーヤ、ＶＡＲシステム内に埋設されてもよい。コンピュータプログラム命令およびデータを記憶するために好適なコンピュータ可読媒体は、実施例として、半導体メモリデバイス、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ならびにフラッシュメモリデバイス、磁気ディスク、例えば、内部ハードディスクまたはリムーバブルディス、光磁気ディスク、およびＣＤＲＯＭならびにＤＶＤ－ＲＯＭディスクを含む、あらゆる形態の不揮発性メモリ、媒体、およびメモリデバイスを含む。プロセッサおよびメモリは、特殊目的論理回路網によって補完される、またはその中に組み込まれてもよい。

【0067】

本明細書は、多くの詳細を含有するが、これらは、本開示または請求され得るものの範囲に関する限定としてではなく、むしろ、特定の実施形態に特有の特徴の説明として解釈されるべきである。別個の実施形態のコンテキストにおいて本明細書に説明されるある特徴はまた、単一の実施形態における組み合わせにおいて実装され得る。逆に、単一の実施形態のコンテキストにおいて説明される種々の特徴もまた、複数の実施形態において別個に、または任意の好適な副次的組み合わせにおいて実装され得る。また、特徴がある組み合わせにおいて作用するものとして上記に説明され、さらに、そのようなものとして請求され得るが、請求される組み合わせからの１つ以上の特徴は、いくつかの場合では、その組み合わせから削除され得、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせの変形例を対象とし得る。例えば、マッピング動作は、一連の離散動作として説明されるが、種々の動作が、所望の実装に応じて、付加的な動作に分割される、より少ない動作に組み合わせられる、実行の順序において変動される、または排除されてもよい。

【0068】

同様に、上記で説明される実施形態における種々のシステムコンポーネントの分離は、全ての実施形態においてそのような分離を要求するものとして理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムが、概して、単一のソフトウェア製品内でともに統合される、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。例えば、いくつかの動作が、処理サーバによって実施されているものとして説明されるが、動作のうちの１つ以上が、スマートメータまたは他のネットワークコンポーネントによって実施されてもよい。

【0069】

本明細書、特に添付の請求項（例えば、添付の請求項の本文）において使用される用語は、概して、「非限定的」用語として意図される（例えば、用語「～を含む（ｉｎｃｌｕｄｉｎｇ）」は、「限定ではないが、～を含む（ｉｎｃｌｕｄｉｎｇ ｂｕｔ ｎｏｔ ｌｉｍｉｔｅｄ ｔｏ）」として解釈されるべきであり、用語「～を有する（ｈａｖｉｎｇ）」は、「少なくとも～を有する（ｈａｖｉｎｇ ａｔ ｌｅａｓｔ）」として解釈されるべきであり、用語「～を含む（ｉｎｃｌｕｄｅｓ）」は、「限定ではないが、～を含む（ｉｎｃｌｕｄｅｓ ｂｕｔ ｉｓ ｎｏｔ ｌｉｍｉｔｅｄ ｔｏ）」として解釈されるべきである等となる）。

【0070】

加えて、具体的な数の導入される請求項列挙が、意図される場合、そのような意図は、請求項内に明示的に列挙され、そのような列挙の不在下では、いかなるそのような意図も、存在しない。例えば、理解の一助として、以下の添付される請求項は、請求項列挙を導入するための導入語句「少なくとも１つ」および「１つ以上」の使用を含有し得る。しかしながら、そのような語句の使用は、同一の請求項が、導入語句「１つ以上」または「少なくとも１つ」および「ａ」または「ａｎ」等の不定冠詞（例えば、「ａ」ならびに／もしくは「ａｎ」は、「少なくとも１つ」または「１つ以上」を意味するように解釈されるべきである）を含むときであっても、不定冠詞「ａ」または「ａｎ」による請求項列挙の導入が、そのような導入される請求項列挙を含有する任意の特定の請求項を、１つのそのような列挙のみを含有する実施形態に限定することを含意するように解釈されるべきではなく、同じことが、請求項列挙を導入するために使用される、定冠詞の使用にも当てはまる。

【0071】

加えて、具体的な数の導入される請求項列挙が、明示的に列挙される場合であっても、当業者は、そのような列挙が、少なくとも列挙される数を意味する（例えば、他の修飾語句を伴わない「２つの列挙」のそのままの列挙が、少なくとも２つの列挙または２つ以上の列挙を意味する）ように解釈されるべきであることを認識するであろう。さらに、「Ａ、Ｂ、およびＣ等のうちの少なくとも１つ」または「Ａ、Ｂ、およびＣ等のうちの１つ以上」に類似する表記法が使用される、それらの事例では、一般に、そのような構造は、「Ａを単独で」、「Ｂを単独で」、「Ｃを単独で」、「Ａと、Ｂとをともに」、「Ａと、Ｃとをともに」、「Ｂと、Ｃとをともに」、または「Ａと、Ｂと、Ｃとをともに」含むことを意図する。用語「および／または」もまた、このように解釈されることを意図する。

【0072】

用語「第１」、「第２」、「第３」等の使用は、本明細書においては、必ずしも要素の具体的順序または数を暗示するために使用されるものではない。概して、用語「第１」、「第２」、「第３」等は、一般的な識別子として、異なる要素を区別するために使用される。用語「第１」、「第２」、「第３」等が、具体的な順序を暗示することを示すものがない状態では、これらの用語は、具体的順序を暗示すると理解されるべきではない。さらに、用語「第１」、「第２」、「第３」等が、要素の具体的な数を暗示することを示すものがない状態では、これらの用語は、要素の具体的な数を暗示するものと理解されるべきではない。例えば、第１のウィジェットは、第１の側を有するものとして説明され得、第２のウィジェットは、第２の側を有するものとして説明され得る。第２のウィジェットに対する、用語「第２の側」の使用は、第２のウィジェットのそのような側を第１のウィジェットの「第１の側」から区別するためのものであり、第２のウィジェットが２つの側を有することを暗示するものではない場合がある。

【図1】

【図2A】

【図2B】

【図3A】

【図3B】

【図4】

【図5】

【図6】

【図7】