特許 7367689 情報処理装置、情報処理方法、及び記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-16

(45)【発行日】2023-10-24

(54)【発明の名称】情報処理装置、情報処理方法、及び記録媒体

(51)【国際特許分類】

   G06T 19/00 20110101AFI20231017BHJP

   G09G 5/00 20060101ALI20231017BHJP

   G09G 5/38 20060101ALI20231017BHJP

【ＦＩ】

G06T19/00 600

G09G5/00 550C

G09G5/38 100

G09G5/00 510G

【請求項の数】 20

(21)【出願番号】P 2020550211

(86)(22)【出願日】2019-09-02

(86)【国際出願番号】 JP2019034353

(87)【国際公開番号】W WO2020071029

(87)【国際公開日】2020-04-09

【審査請求日】2022-07-22

(31)【優先権主張番号】P 2018189081

(32)【優先日】2018-10-04

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】西部 満

(72)【発明者】

【氏名】石原 敦

【審査官】村松 貴士

(56)【参考文献】

【文献】国際公開第２０１７／１８３３４６（ＷＯ，Ａ１）

【文献】特開２０１３－６５９９１（ＪＰ，Ａ）

【文献】特表２０１８－５０３１１４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８ － ３／０４８９５

Ｇ０９Ｇ ５／００ － ５／４２

(57)【特許請求の範囲】

【請求項1】

視点と表示情報との間の相対的な動きに関する第１の情報と、表示領域への前記表示情報の提示のための発光期間に関する第２の情報と、を取得する取得部と、
前記第１の情報及び前記第２の情報に基づき、前記表示情報が前記表示領域に提示されるように制御する制御部と、
を備え、
前記制御部は、前記発光期間における前記視点と前記表示情報との間の相対的な動きに応じて、前記表示領域における前記表示情報の提示位置を補正する、
情報処理装置。

【請求項2】

前記制御部は、前記第２の情報に応じた前記発光期間の中心に基づき、前記表示領域における前記表示情報の提示位置を補正する、請求項１に記載の情報処理装置。

【請求項3】

前記制御部は、ユーザに知覚される前記提示位置のずれを予測するための基点として設定されたタイミングと前記発光期間の中心との間の予測時間を算出し、当該予測時間における前記視点と前記表示情報との間の相対的な位置の変化に基づき、前記表示領域における前記表示情報の提示位置を補正する、請求項２に記載の情報処理装置。

【請求項4】

前記制御部は、前記予測時間に応じて、前記表示領域における前記表示情報の提示位置の補正量を制御する、請求項３に記載の情報処理装置。

【請求項5】

前記制御部は、前記視点の位置及び姿勢のうち少なくともいずれかに応じた、前記表示情報の提示位置の補正に係る遅延と、前記表示情報の描画に係る遅延と、のうちの少なくともいずれかに基づき、前記予測時間を算出する、請求項３に記載の情報処理装置。

【請求項6】

前記制御部は、前記視点と前記表示情報との間の相対的な位置の変化方向に沿って、前記表示領域における当該表示情報の提示位置を補正する、請求項１に記載の情報処理装置。

【請求項7】

前記制御部は、前記視点と前記表示情報との間の相対的な位置の変化量に応じて、前記表示領域における当該表示情報の提示位置の補正量を制御する、請求項１に記載の情報処理装置。

【請求項8】

前記発光期間は、外光の明るさに応じて制御される、請求項１に記載の情報処理装置。

【請求項9】

前記発光期間は、外光の影響の調整量に応じて制御される、請求項８に記載の情報処理装置。

【請求項10】

前記発光期間は、前記表示領域への前記表示情報の提示のための発光出力に応じて制御される、請求項１に記載の情報処理装置。

【請求項11】

前記第１の情報は、前記視点の位置及び姿勢のうち少なくともいずれかの変化に応じた情報である、請求項１に記載の情報処理装置。

【請求項12】

前記第１の情報は、前記表示情報として表示されるオブジェクトの動きに応じた情報である、請求項１に記載の情報処理装置。

【請求項13】

前記表示領域は、透過型の出力部の表示領域である、請求項１に記載の情報処理装置。

【請求項14】

ユーザの頭部に対して装着された状態において、前記出力部の前記表示領域が当該ユーザの眼前に位置するように支持する支持部を備える、請求項１３に記載の情報処理装置。

【請求項15】

前記制御部は、前記第１の情報に基づき、実空間内の物体に対して前記表示情報が重畳するように制御する、請求項１に記載の情報処理装置。

【請求項16】

前記制御部は、前記表示領域に含まれる部分領域のそれぞれについて、当該部分領域に対する前記表示情報の提示に係る前記発光期間における前記視点と前記表示情報との間の相対的な動きに基づき、当該部分領域における当該表示情報の提示位置を補正する、請求項１に記載の情報処理装置。

【請求項17】

コンピュータが、
視点と表示情報との間の相対的な動きに関する第１の情報と、表示領域への前記表示情報の提示のための発光期間に関する第２の情報と、を取得することと、
前記第１の情報及び前記第２の情報に基づき、前記表示情報が前記表示領域に提示されるように制御することと、
を含み、
前記発光期間における前記視点と前記表示情報との間の相対的な動きに応じて、前記表示領域における前記表示情報の提示位置が補正される、
情報処理方法。

【請求項18】

コンピュータに、
視点と表示情報との間の相対的な動きに関する第１の情報と、表示領域への前記表示情報の提示のための発光期間に関する第２の情報と、を取得することと、
前記第１の情報及び前記第２の情報に基づき、前記表示情報が前記表示領域に提示されるように制御することと、
を実行させ、
前記発光期間における前記視点と前記表示情報との間の相対的な動きに応じて、前記表示領域における前記表示情報の提示位置が補正される、
プログラムが記録された記録媒体。

【請求項19】

頭部装着型の表示装置の光学的透過性を有する表示部に、当該表示装置を装着したユーザから見て、実空間の所定の絶対座標に仮想オブジェクトが位置するように前記表示部を制御する表示制御部と、
照度センサから外光の照度に関する情報を取得する照度情報取得部と、
を備え、
前記表示制御部は、前記外光の照度が高いほど、発光期間がより長くなるように前記表示部を制御し、
前記表示制御部は、前記仮想オブジェクトが前記表示部の表示領域内で一方向に向けて移動する場合において、
前記外光の照度が第１の照度である場合に、前記ユーザから見て、前記表示領域内の第１の位置に前記仮想オブジェクトを表示させ、
前記外光の照度が前記第１の照度よりも高い第２の照度である場合に、前記ユーザから見て、前記表示領域内の前記第１の位置よりも前記一方向側の第２の位置に前記仮想オブジェクトを表示させる、
情報処理装置。

【請求項20】

前記ユーザの視点と前記仮想オブジェクトとの間の相対的な動きに関する情報を取得する認識処理部をさらに備え、
前記表示制御部は、前記発光期間における前記視点と前記仮想オブジェクトとの間の相対的な動きに応じて、前記表示部における前記仮想オブジェクトの提示位置を補正する、
請求項１９に記載の情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置、情報処理方法、及び記録媒体に関する。

【背景技術】

【0002】

近年、画像認識技術の高度化に伴い、撮像装置により撮像された画像に含まれる実オブジェクト（即ち、実空間内の物体）の位置及び姿勢を認識することが可能となっている。このような物体認識の応用例の一つとして、拡張現実（ＡＲ：Augmented Reality）と称される技術が挙げられる。ＡＲ技術を利用することで、実空間内の物体（以下、「実オブジェクト」とも称する）に対して、テキスト、アイコン、またはアニメーション等の様々な態様の仮想的なコンテンツ（以降では、「仮想オブジェクト」とも称する）を重畳させてユーザに提示することが可能となる。例えば、特許文献１には、ＡＲ技術を利用して仮想的なコンテンツをユーザに提示する技術の一例が開示されている。

【0003】

ＡＲ技術を利用してユーザに情報を提示する手法の一例として、所謂透過型のディスプレイを利用する方法が挙げられる。具体的には、ユーザの眼前に透過型のディスプレイが支持され、当該ディスプレイに表示情報（例えば、表示画像）が提示されることで、当該ユーザに対して、実空間の光学像に対して当該表示情報が重畳した画像を視認させることが可能となる。

【先行技術文献】

【特許文献】

【0004】

【文献】国際公開第２０１７／１８３３４６号

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、ディスプレイ等のような出力部を利用して情報を提示するような状況下では、周囲の環境の明るさ（照度）が、提示される表示情報の視認性に影響を及ぼす場合がある。具体的な一例として、周囲の環境の照度が変化し得る条件下では、同じ明るさで表示情報が提示されたとしても、屋外のような照度が比較的高い場合には、屋内のように照度が比較的低い場合に比べて提示される表示情報の視認性が低下し、ひいては視認が困難となる場合もある。このような背景から、例えば、表示情報の提示に係る発光期間を制御してユーザに視認される表示情報の明るさを制御することで、当該表示情報の視認性を向上させることが可能なディスプレイも提案されている。

【0006】

一方で、表示情報の提示に係る発光期間の制御に伴い、当該表示情報の提示位置が、実際に提示されている位置からずれているようにユーザに知覚される場合がある。特に、ＡＲ技術を利用して、表示情報を実オブジェクトに重畳させてユーザに提示するような状況下では、上述のような表示情報の提示位置のずれがよりユーザに知覚されやすくなる傾向にある。

【0007】

そこで、本開示では、表示情報の提示に係る発光期間が変化し得る状況下においても、より好適な態様で当該表示情報を提示可能とする技術を提案する。

【課題を解決するための手段】

【0008】

本開示によれば、視点と表示情報との間の相対的な動きに関する第１の情報と、表示領域への前記表示情報の提示のための発光期間に関する第２の情報と、を取得する取得部と、前記第１の情報及び前記第２の情報に基づき、前記表示情報が前記表示領域に提示されるように制御する制御部と、を備え、前記制御部は、前記発光期間における前記視点と前記表示情報との間の相対的な動きに応じて、前記表示領域における前記表示情報の提示位置を補正する、情報処理装置が提供される。

【0009】

また、本開示によれば、コンピュータが、視点と表示情報との間の相対的な動きに関する第１の情報と、表示領域への前記表示情報の提示のための発光期間に関する第２の情報と、を取得することと、前記第１の情報及び前記第２の情報に基づき、前記表示情報が前記表示領域に提示されるように制御することと、を含み、前記発光期間における前記視点と前記表示情報との間の相対的な動きに応じて、前記表示領域における前記表示情報の提示位置が補正される、情報処理方法が提供される。

【0010】

また、本開示によれば、コンピュータに、視点と表示情報との間の相対的な動きに関する第１の情報と、表示領域への前記表示情報の提示のための発光期間に関する第２の情報と、を取得することと、前記第１の情報及び前記第２の情報に基づき、前記表示情報が前記表示領域に提示されるように制御することと、を実行させ、前記発光期間における前記視点と前記表示情報との間の相対的な動きに応じて、前記表示領域における前記表示情報の提示位置が補正される、プログラムが記録された記録媒体が提供される。

【0011】

また、本開示によれば、頭部装着型の表示装置の光学的透過性を有する表示部に、当該表示装置を装着したユーザから見て、実空間の所定の絶対座標に仮想オブジェクトが位置するように前記表示部を制御する表示制御部と、照度センサから外光の照度に関する情報を取得する照度情報取得部と、を備え、前記表示制御部は、前記外光の照度が高いほど、発光期間がより長くなるように前記表示部を制御し、前記表示制御部は、前記仮想オブジェクトが前記表示部の表示領域内で一方向に向けて移動する場合において、前記外光の照度が第１の照度である場合に、前記ユーザから見て、前記表示領域内の第１の位置に前記仮想オブジェクトを表示させ、前記外光の照度が前記第１の照度よりも高い第２の照度である場合に、前記ユーザから見て、前記水平方向において前記表示領域内の前記第１の位置よりも前記一方向側の第２の位置に前記仮想オブジェクトを表示させる、情報処理装置が提供される。

【発明の効果】

【0012】

以上説明したように本開示によれば、表示情報の提示に係る発光期間が変化し得る状況下においても、より好適な態様で当該表示情報を提示可能とする技術が提供される。

【0013】

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

【図面の簡単な説明】

【0014】

【図1】本開示の一実施形態に係る情報処理システムの概略的な構成の一例について説明するための説明図である。

【図2】同本実施形態に係る入出力装置の概略的な構成の一例について説明するための説明図である。

【図3】発光期間の制御により、ユーザに視認される表示情報の明るさを制御する方法について概要を説明するための説明図である。

【図4】ＡＲ技術の概要について説明するための説明図である。

【図5】ＡＲ技術に基づく表示情報の提示態様の一例について示した図である。

【図6】発光期間中に視点の位置や姿勢が変化することで、表示情報の提示位置がずれたように知覚されるような状況の一例について説明するための説明図である。

【図7】発光期間中に視点の位置や姿勢が変化することで、表示情報の提示位置がずれたように知覚される仕組みについて概要を説明するための説明図である。

【図8】発光期間中に視点の位置や姿勢が変化することで、表示情報の提示位置がずれたように知覚される仕組みについて概要を説明するための説明図である。

【図9】同実施形態に係る情報処理システムの技術的特長の基本原理について説明するための説明図である。

【図10】同実施形態に係る情報処理システムにおいて、発光期間に応じた表示情報の提示位置の補正方法について説明するための説明図である。

【図11】同実施形態に係る情報処理システムの機能構成の一例を示したブロック図である。

【図12】予測時間の算出に係る処理の概要について説明するための説明図である。

【図13】同実施形態に係る情報処理システムの一連の処理の流れの一例について示したフローチャートである。

【図14】変形例２に係る情報処理システムによる表示情報の提示に係る処理の概要について説明するための説明図である。

【図15】変形例２に係る情報処理システムによる表示情報の提示に係る処理の概要について説明するための説明図である。

【図16】変形例２に係る情報処理システムによる表示情報の提示に係る処理の概要について説明するための説明図である。

【図17】本開示の一実施形態に係る情報処理システムを構成する情報処理装置のハードウェア構成の一例を示す機能ブロック図である。

【図18】本開示の一実施形態に係る情報処理システムを構成する情報処理装置をチップとして実現した場合のハードウェア構成の一例を示す機能ブロック図である。

【発明を実施するための形態】

【0015】

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【0016】

なお、説明は以下の順序で行うものとする。
１．概要
１．１．概略構成
１．２．入出力装置の構成
１．３．自己位置推定の原理
２．周囲の環境の明るさの変化に応じた表示制御に関する検討
３．技術的特徴
３．１．基本原理
３．２．機能構成
３．３．処理
３．４．変形例
３．４．１．変形例１：スキャンライン発光への適用例
３．４．２．変形例２：表示情報の移動を想定した制御の一例
４．ハードウェア構成
４．１．独立して動作可能な装置としての構成例
４．２．チップとして実現する場合の構成例
５．むすび

【0017】

＜＜１．概要＞＞
＜１．１．概略構成＞
まず、図１を参照して、本開示の一実施形態に係る情報処理システムの概略的な構成の一例について説明する。図１は、本開示の一実施形態に係る情報処理システムの概略的な構成の一例について説明するための説明図である。図１において、参照符号Ｍ１１は、実空間内に位置する物体（即ち、実オブジェクト）を模式的に示している。また、参照符号Ｖ１３及びＶ１５は、実空間に重畳するように提示される仮想的なコンテンツ（即ち、仮想オブジェクト）を模式的に示している。即ち、本実施形態に係る情報処理システム１は、所謂ＡＲ（Augmented Reality）技術に基づき、例えば、実オブジェクトＭ１１等の実空間内の物体に対して、仮想オブジェクトを重畳してユーザに提示する。なお、図１では、本実施形態に係る情報処理システムの特徴をよりわかりやすくするために、実オブジェクトと仮想オブジェクトとの双方をあわせて提示している。

【0018】

図１に示すように、本実施形態に係る情報処理システム１は、情報処理装置１０と、入出力装置２０とを含む。情報処理装置１０と入出力装置２０とは、所定のネットワークを介して互いに情報を送受信可能に構成されている。なお、情報処理装置１０と入出力装置２０とを接続するネットワークの種別は特に限定されない。具体的な一例として、当該ネットワークは、Ｗｉ－Ｆｉ（登録商標）規格に基づくネットワークのような、所謂無線のネットワークにより構成されていてもよい。また、他の一例として、当該ネットワークは、インターネット、専用線、ＬＡＮ（Local Area Network）、または、ＷＡＮ（Wide Area Network）等により構成されていてもよい。また、当該ネットワークは、複数のネットワークを含んでもよく、少なくとも一部が有線のネットワークとして構成されていてもよい。また、情報処理装置１０は、例えば、スマートフォン等のような無線の通信経路を介して他の装置と通信可能に構成された装置であってもよい。この場合には、入出力装置２０は、例えば、当該スマートフォンの付属アクセサリとして提供されるようなウェアラブルディスプレイとして構成されていてもよい。即ち、入出力装置２０は、スマートフォン等として構成された情報処理装置１０と上述のようにネットワークを介して接続されることで、当該情報処理装置１０と連動して動作するデバイス（例えば、ウェアラブルデバイス等）として構成されていてもよい。

【0019】

入出力装置２０は、各種入力情報の取得や、当該入出力装置２０を保持するユーザに対して各種出力情報を提示するための構成である。また、入出力装置２０による出力情報の提示は、情報処理装置１０により、当該入出力装置２０により取得された入力情報に基づき制御される。例えば、入出力装置２０は、実オブジェクトＭ１１を認識するための情報を入力情報として取得し、取得した情報を情報処理装置１０に出力する。情報処理装置１０は、入出力装置２０から取得した情報に基づき、実空間内における実オブジェクトＭ１１の位置（即ち、実オブジェクトＭ１１の絶対座標）を認識し、当該認識結果に基づき、入出力装置２０に仮想オブジェクトＶ１３及びＶ１５を提示させる。このような制御により、入出力装置２０は、所謂ＡＲ技術に基づき、実オブジェクトＭ１１に対して仮想オブジェクトＶ１３及びＶ１５が重畳するように、当該仮想オブジェクトＶ１３及びＶ１５をユーザに提示することが可能となる。なお、図１では、入出力装置２０と情報処理装置１０とが互いに異なる装置として示されているが、入出力装置２０及び情報処理装置１０は一体的に構成されていてもよい。また、入出力装置２０及び情報処理装置１０の構成及び処理の詳細については別途後述する。

【0020】

以上、図１を参照して、本開示の一実施形態に係る情報処理システムの概略的な構成の一例について説明した。

【0021】

＜１．２．入出力装置の構成＞
続いて、図２を参照して、図１に示した本実施形態に係る入出力装置２０の概略的な構成の一例について説明する。図２は、本実施形態に係る入出力装置の概略的な構成の一例について説明するための説明図である。

【0022】

本実施形態に係る入出力装置２０は、ユーザが頭部の少なくとも一部に装着して使用する、所謂頭部装着型デバイスとして構成されている。例えば、図２に示す例では、入出力装置２０は、所謂アイウェア型（メガネ型）のデバイスとして構成されており、レンズ２９３ａ及び２９３ｂのうち少なくともいずれかが透過型のディスプレイ（出力部２１１）として構成されている。また、入出力装置２０は、第１撮像部２０１ａ及び２０１ｂと、第２撮像部２０３ａ及び２０３ｂと、操作部２０７と、メガネのフレームに相当する保持部２９１とを備える。保持部２９１は、入出力装置２０がユーザの頭部に装着されたときに、出力部２１１と、第１撮像部２０１ａ及び２０１ｂと、第２撮像部２０３ａ及び２０３ｂと、操作部２０７とを、当該ユーザの頭部に対して所定の位置関係となるように保持する。また、図２には図示していないが、入出力装置２０は、ユーザの音声を集音するための集音部を備えていてもよい。

【0023】

ここで、入出力装置２０のより具体的な構成について説明する。例えば、図２に示す例では、レンズ２９３ａが、右眼側のレンズに相当し、レンズ２９３ｂが、左眼側のレンズに相当する。即ち、保持部２９１は、入出力装置２０が装着された場合に、出力部２１１（換言すると、レンズ２９３ａ及び２９３ｂ）がユーザの眼前に位置するように、当該出力部２１１を保持する。換言すると、当該保持部２９１により、出力部２１１がユーザの眼前に位置するように支持される。即ち、保持部２９１が、「支持部」の一例に相当する。

【0024】

第１撮像部２０１ａ及び２０１ｂは、所謂ステレオカメラとして構成されており、入出力装置２０がユーザの頭部に装着されたときに、当該ユーザの頭部が向いた方向（即ち、ユーザの前方）を向くように、保持部２９１によりそれぞれ保持される。このとき、第１撮像部２０１ａが、ユーザの右眼の近傍に保持され、第１撮像部２０１ｂが、当該ユーザの左眼の近傍に保持される。このような構成に基づき、第１撮像部２０１ａ及び２０１ｂは、入出力装置２０の前方に位置する被写体（換言すると、実空間に位置する実オブジェクト）を互いに異なる位置から撮像する。これにより、入出力装置２０は、ユーザの前方に位置する被写体の画像を取得するとともに、第１撮像部２０１ａ及び２０１ｂそれぞれにより撮像された画像間の視差に基づき、当該入出力装置２０から、当該被写体までの距離を算出することが可能となる。なお、本開示において「画像」と記載した場合には、特に説明がない限りは「静止画像」と「動画像」とを含み得るものとする。

【0025】

なお、入出力装置２０と被写体との間の距離を測定可能であれば、その構成や方法は特に限定されない。具体的な一例として、マルチカメラステレオ、移動視差、ＴＯＦ（Time Of Flight）、Structured Light等の方式に基づき、入出力装置２０と被写体との間の距離が測定されてもよい。ここで、ＴＯＦとは、被写体に対して赤外線等の光を投光し、投稿した光が当該被写体で反射して戻るまでの時間を画素ごとに測定することで、当該測定結果に基づき被写体までの距離（深度）を含めた画像（所謂距離画像）を得る方式である。また、Structured Lightは、被写体に対して赤外線等の光によりパターンを照射しそれを撮像することで、撮像結果から得られる当該パターンの変化に基づき、被写体までの距離（深度）を含めた距離画像を得る方式である。また、移動視差とは、所謂単眼カメラにおいても、視差に基づき被写体までの距離を測定する方法である。具体的には、カメラを移動させることで、被写体を互いに異なる視点から撮像し、撮像された画像間の視差に基づき被写体までの距離を測定する。なお、このとき各種センサによりカメラの移動距離及び移動方向を認識することで、被写体までの距離をより精度良く測定することが可能となる。なお、距離の測定方法に応じて、撮像部の構成（例えば、単眼カメラ、ステレオカメラ等）を変更してもよい。

【0026】

また、第２撮像部２０３ａ及び２０３ｂは、入出力装置２０がユーザの頭部に装着されたときに、それぞれの撮像範囲内に当該ユーザの眼球が位置するように、保持部２９１によりそれぞれ保持される。具体的な一例として、第２撮像部２０３ａは、撮像範囲内にユーザの右眼が位置するように保持される。このような構成に基づき、第２撮像部２０３ａにより撮像された右眼の眼球の画像と、当該第２撮像部２０３ａと当該右眼との間の位置関係と、に基づき、当該右眼の視線が向いている方向を認識することが可能となる。同様に、第２撮像部２０３ｂは、撮像範囲内に当該ユーザの左眼が位置するように保持される。即ち、第２撮像部２０３ｂにより撮像された左眼の眼球の画像と、当該第２撮像部２０３ｂと当該左眼との間の位置関係と、に基づき、当該左眼の視線が向いている方向を認識することが可能となる。なお、図２に示す例では、入出力装置２０が第２撮像部２０３ａ及び２０３ｂの双方を含む構成について示しているが、第２撮像部２０３ａ及び２０３ｂのうちいずれかのみが設けられていてもよい。

【0027】

操作部２０７は、入出力装置２０に対するユーザからの操作を受け付けるための構成である。操作部２０７は、例えば、タッチパネルやボタン等のような入力デバイスにより構成されていてもよい。操作部２０７は、保持部２９１により、入出力装置２０の所定の位置に保持されている。例えば、図２に示す例では、操作部２０７は、メガネのテンプルに相当する位置に保持されている。

【0028】

また、本実施形態に係る入出力装置２０は、例えば、加速度センサや、角速度センサ（ジャイロセンサ）が設けられ、当該入出力装置２０を装着したユーザの頭部の動き（換言すると、入出力装置２０自体の動き）を検出可能に構成されていてもよい。具体的な一例として、入出力装置２０は、ユーザの頭部の動きとして、ヨー（yaw）方向、ピッチ（pitch）方向、及びロール（roll）方向それぞれの成分を検出することで、当該ユーザの頭部の位置及び姿勢のうち少なくともいずれかの変化を認識してもよい。

【0029】

以上のような構成に基づき、本実施形態に係る入出力装置２０は、ユーザの頭部の動きに応じた、実空間内における自身の位置や姿勢の変化を認識することが可能となる。また、このとき入出力装置２０は、所謂ＡＲ技術に基づき、実空間に位置する実オブジェクトに対して、仮想的なコンテンツ（即ち、仮想オブジェクト）が重畳するように、出力部２１１に当該コンテンツを提示することも可能となる。なお、入出力装置２０が、実空間内における自身の位置及び姿勢を推定するための方法（即ち、自己位置推定）の一例については、詳細を別途後述する。

【0030】

なお、入出力装置２０として適用可能な頭部装着型の表示装置（ＨＭＤ：Head Mounted Display）の一例としては、例えば、シースルー型ＨＭＤ、ビデオシースルー型ＨＭＤ、及び網膜投射型ＨＭＤが挙げられる。

【0031】

シースルー型ＨＭＤは、例えば、ハーフミラーや透明な導光板を用いて、透明な導光部等からなる虚像光学系（即ち、光学的透過性を有する表示部）をユーザの眼前に保持し、当該虚像光学系の内側に画像を表示させる。そのため、シースルー型ＨＭＤを装着したユーザは、虚像光学系の内側に表示された画像を視聴している間も、外部の風景を視野に入れることが可能となる。このような構成により、シースルー型ＨＭＤは、例えば、ＡＲ技術に基づき、当該シースルー型ＨＭＤの位置及び姿勢のうち少なくともいずれかの認識結果に応じて、実空間に位置する実オブジェクトの光学像に対して仮想オブジェクトの画像を重畳させることも可能となる。なお、シースルー型ＨＭＤの具体的な一例として、メガネのレンズに相当する部分を虚像光学系として構成した、所謂メガネ型のウェアラブルデバイスが挙げられる。例えば、図２に示した入出力装置２０は、シースルー型ＨＭＤの一例に相当する。

【0032】

ビデオシースルー型ＨＭＤは、ユーザの頭部または顔部に装着された場合に、ユーザの眼を覆うように装着され、ユーザの眼前にディスプレイ等の表示部が保持される。また、ビデオシースルー型ＨＭＤは、周囲の風景を撮像するための撮像部を有し、当該撮像部により撮像されたユーザの前方の風景の画像を表示部に表示させる。このような構成により、ビデオシースルー型ＨＭＤを装着したユーザは、外部の風景を直接視野に入れることは困難ではあるが、表示部に表示された画像により、外部の風景を確認することが可能となる。また、このときビデオシースルー型ＨＭＤは、例えば、ＡＲ技術に基づき、当該ビデオシースルー型ＨＭＤの位置及び姿勢のうち少なくともいずれかの認識結果に応じて、外部の風景の画像に対して仮想オブジェクトを重畳させてもよい。

【0033】

網膜投射型ＨＭＤは、ユーザの眼前に投影部が保持されており、当該投影部からユーザの眼に向けて、外部の風景に対して画像が重畳するように当該画像が投影される。より具体的には、網膜投射型ＨＭＤでは、ユーザの眼の網膜に対して、投影部から画像が直接投射され、当該画像が網膜上で結像する。このような構成により、近視や遠視のユーザの場合においても、より鮮明な画像を視聴することが可能となる。また、網膜投射型ＨＭＤを装着したユーザは、投影部から投影される画像を視聴している間も、外部の風景を視野に入れることが可能となる。このような構成により、網膜投射型ＨＭＤは、例えば、ＡＲ技術に基づき、当該網膜投射型ＨＭＤの位置や姿勢のうち少なくともいずれかの認識結果に応じて、実空間に位置する実オブジェクトの光学像に対して仮想オブジェクトの画像を重畳させることも可能となる。

【0034】

また、上記に説明した例以外にも、没入型ＨＭＤと呼ばれるＨＭＤが挙げられる。没入型ＨＭＤは、ビデオシースルー型ＨＭＤと同様に、ユーザの眼を覆うように装着され、ユーザの眼前にディスプレイ等の表示部が保持される。そのため、没入型ＨＭＤを装着したユーザは、外部の風景（即ち、現実世界の風景）を直接視野に入れることが困難であり、表示部に表示された画像のみが視界に入ることとなる。このような構成により、没入型ＨＭＤは、画像を視聴しているユーザに対して没入感を与えることが可能となる。そのため、没入型ＨＭＤは、例えば、主にＶＲ（Virtual Reality）技術に基づき情報を提示する場合に適用され得る。

【0035】

以上、図２を参照して、本開示の一実施形態に係る入出力装置の概略的な構成の一例について説明した。

【0036】

＜１．３．自己位置推定の原理＞
次いで、入出力装置２０が、実オブジェクトに対して仮想オブジェクトを重畳させる際に、実空間内における自身の位置及び姿勢を推定するための手法（即ち、自己位置推定）の原理の一例について説明する。

【0037】

自己位置推定の具体的な一例として、入出力装置２０は、実空間内の実オブジェクト上に提示されたサイズが既知のマーカ等を、自身に設けられたカメラ等の撮像部により撮像する。そして、入出力装置２０は、撮像された画像を解析することで、マーカ（ひいては、当該マーカが提示された実オブジェクト）に対する自身の相対的な位置及び姿勢のうち少なくともいずれかを推定する。なお、以降の説明では、入出力装置２０が自身の位置及び姿勢を推定する場合に着目して説明するが、当該入出力装置２０は、自身の位置及び姿勢のうちいずれかのみを推定してもよい。

【0038】

具体的には、画像中に撮像されたマーカの向き（例えば、マーカの模様等の向き）に応じて、当該マーカに対する撮像部（ひいては、当該撮像部を備える入出力装置２０）の相対的な方向を推定することが可能である。また、マーカのサイズが既知の場合には、画像中におけるマーカのサイズに応じて、当該マーカと撮像部（即ち、当該撮像部を備える入出力装置２０）との間の距離を推定することが可能である。より具体的には、マーカをより遠くから撮像すると、当該マーカは、より小さく撮像されることとなる。また、このとき画像中に撮像される実空間内の範囲は、撮像部の画角に基づき推定することが可能である。以上の特性を利用することで、画像中に撮像されたマーカの大きさ（換言すると、画角内においてマーカが占める割合）に応じて、当該マーカと撮像部との間の距離を逆算することが可能である。以上のような構成により、入出力装置２０は、マーカに対する自身の相対的な位置及び姿勢を推定することが可能となる。

【0039】

また、所謂ＳＬＡＭ（simultaneous localization and mapping）と称される技術が、入出力装置２０の自己位置推定に利用されてもよい。ＳＬＡＭとは、カメラ等の撮像部、各種センサ、エンコーダ等を利用することにより、自己位置推定と環境地図の作成とを並行して行う技術である。より具体的な一例として、ＳＬＡＭ（特に、Ｖｉｓｕａｌ ＳＬＡＭ）では、撮像部により撮像された動画像に基づき、撮像されたシーン（または、被写体）の３次元形状を逐次的に復元する。そして、撮像されたシーンの復元結果を、撮像部の位置及び姿勢の検出結果と関連付けることで、周囲の環境の地図の作成と、当該環境における撮像部（ひいては、入出力装置２０）の位置及び姿勢の推定とが行われる。なお、撮像部の位置及び姿勢については、例えば、入出力装置２０に加速度センサや角速度センサ等の各種センサを設けることで、当該センサの検出結果に基づき相対的な変化を示す情報として推定することが可能である。もちろん、撮像部の位置及び姿勢を推定可能であれば、その方法は、必ずしも加速度センサや角速度センサ等の各種センサの検知結果に基づく方法のみには限定されない。

【0040】

以上のような構成のもとで、例えば、撮像部による既知のマーカの撮像結果に基づく、当該マーカに対する入出力装置２０の相対的な位置及び姿勢の推定結果が、上述したＳＬＡＭにおける初期化処理や位置補正に利用されてもよい。このような構成により、入出力装置２０は、マーカが撮像部の画角内に含まれない状況下においても、従前に実行された初期化や位置補正の結果を受けたＳＬＡＭに基づく自己位置推定により、当該マーカ（ひいては、当該マーカが提示された実オブジェクト）に対する自身の位置及び姿勢を推定することが可能となる。

【0041】

また、上記では、主にマーカの撮像結果に基づき自己位置推定を行う場合の例に着目して説明したが、自己位置推定の基準として利用可能であれば、当該マーカ以外の他の対象の検知結果が当該自己位置推定に利用されてもよい。具体的な一例として、上記マーカに替えて、実空間内の物体（実オブジェクト）の形状や模様等のような当該物体の特徴的な部分の検出結果が、ＳＬＡＭにおける初期化処理や位置補正に利用されてもよい。

【0042】

以上、入出力装置２０が、実オブジェクトに対して仮想オブジェクトを重畳させる際に、実空間内における自身の位置及び姿勢を推定するための手法（即ち、自己位置推定）の原理の一例について説明した。なお、以降においては、例えば、上述した原理に基づき、実空間内の物体（実オブジェクト）に対する入出力装置２０の位置及び姿勢を推定することが可能であるものして説明する。

【0043】

＜＜２．周囲の環境の明るさの変化に応じた表示制御に関する検討＞＞
続いて、所謂透過型のディスプレイが利用される場合のように周囲の環境の明るさが情報の提示に影響し得るような状況下で、当該環境の明るさの変化に応じた表示制御に関して概要を説明したうえで、本開示の一実施形態に係る情報処理システムの技術的課題について説明する。なお、本開示において「表示情報」と記載した場合には、特に説明がない限りは、画像（例えば、静止画像や動画像）や文字情報等のように、ディスプレイ等の出力部を介してユーザに視覚的に提示される情報を示すものとする。

【0044】

所謂ディスプレイ等のような出力部を利用して情報を提示するような状況下では、周囲の環境の明るさ（照度）が、提示される表示情報の視認性に影響を及ぼす場合がある。具体的な一例として、屋内のように周囲の環境の照度が比較的低い場合と、屋外のように周囲の環境の照度が比較的高い場合とでは、照度が大きく異なる（例えば、１００ｌｘ～数万ｌｘ）。このように周囲の環境の照度が変化し得る条件下では、同じ明るさで表示情報が提示されたとしても、屋外のような照度が比較的高い場合には、屋内のように照度が比較的低い場合に比べて提示される表示情報の視認性が低下し、ひいては視認が困難となる場合もある。このような周囲の環境の明るさの違いによる影響は、例えば、透過型のディスプレイが利用される場合にはより顕在化しやすい傾向にある。

【0045】

このような背景から、例えば、周囲の環境の明るさ（照度）の変化に応じて、以下に示すような制御を適用することで、出力部を介して提示される表示情報（表示画像）の視認性の向上を図る場合がある。
・出力部を介した表示情報（表示画像）の提示に係る発光出力を制御する
・出力部を介した表示情報（表示画像）の提示に係る発光期間を制御する
・ユーザに視認される外部の環境の光を調光する

【0046】

「出力部を介した表示情報（表示画像）の提示に係る発光出力を制御する」方法では、出力部を介して情報を提示するための発光体（例えば、バックライト）の輝度を上げることで、ユーザに視認される表示情報の明るさが制御される。これに対して、「出力部を介した表示情報（表示画像）の提示に係る発光期間を制御する」方法では、上記発光体の発光期間を長くすることで、ユーザに視認される表示情報の明るさが制御される。なお、以降の説明では、単に「発光期間」と記載した場合には、特に説明が無い限りは、出力部を介した表示情報の提示に係る発光期間（例えば、ディスプレイ等の出力部の発光期間）を示すものとする。また、単に「消灯期間」と記載した場合には、上記発光期間に対する消灯期間（例えば、ディスプレイ等の出力部の消灯期間）を示すものとする。

【0047】

また、「ユーザに視認される外部の環境の光を調光する」方法では、例えば、出力部に対して偏光素子等を適用することで、当該出力部を透過してユーザに視認される外部の環境の光（以下、「外光」とも称する）の影響を調整する。このような調光制御により、屋外のように外部の照度がより高い状況下においても、ユーザが表示情報を視認する環境の照度を抑えることが可能となるため、出力部を介して提示される表示情報の視認性を向上させることが可能となる。

【0048】

以上のように、上述した表示情報の提示に係る制御のうちのいずれか、または複数の制御の組み合わせの適用により、周囲の環境の照度が比較的高い状況下においても、表示情報の視認性を向上させる効果が期待される。

【0049】

一方で、図１を参照して説明した所謂ＡＲ技術が適用される場合のように、視点の位置や姿勢の変化に応じて表示情報が提示されるような状況下では、上記発光期間の制御に応じて、表示情報の提示位置が本来想定される位置からずれたように知覚される場合がある。

【0050】

ここで、本開示に係る情報処理システムの技術的課題をよりわかりやすくするために、発光期間の制御、換言すると、発光期間と消灯期間との間のデューティー比の制御により、ユーザに視認される表示情報の明るさを制御する方法について概要を説明する。

【0051】

例えば、図３は、発光期間の制御により、ユーザに視認される表示情報の明るさを制御する方法について概要を説明するための説明図である。図３において、Ｖｓｙｎｃは、ディスプレイ等のような出力部の垂直同期信号のタイミングを模式的に示している。即ち、Ｖ＿ＴＯＴＡＬは、上記垂直同期信号の周期を示しており、換言すると、ディスプレイ等のような出力部のリフレッシュレートに相当する。

【0052】

ＶＡＬＩＤ＿ＳＴは、上記出力部を介して提示される画像が置換されるタイミングを模式的に示している。即ち、図３に示すように、垂直同期信号の周期に連動して画像置換が行われる。

【0053】

ＥＭＩＴ＿Ｎは、上記出力部を介して表示情報を提示するための発光期間と消灯期間との間の関係を模式的に示しており、換言すると、垂直同期信号の周期ごとに時系列に沿って設定される発光期間及び消灯期間を示している。具体的には、ＥＭＩＴ＿Ｎ＿Ｄで示されたタイミングは発光タイミングを示しており、ＥＭＩＴ＿Ｎ＿Ｕで示されたタイミングは消灯タイミングを示している。発光タイミングＥＭＩＴ＿Ｎ＿Ｄ及び消灯タイミングＥＭＩＴ＿Ｎ＿Ｕのそれぞれは、垂直同期信号の周期ごとの画像置換が行われるタイミング間に設定される。また、画像置換が行われるタイミング間の期間のうち、発光タイミングＥＭＩＴ＿Ｎ＿Ｄから消灯タイミングＥＭＩＴ＿Ｎ＿Ｕまでの期間が発光期間に相当し、その他の期間が消灯期間に相当する。

【0054】

発光期間の長さは、直前の画像置換により設定された提示対象となる画像（即ち、表示情報）の明るさに応じて制御され得る。なお、図３に示す例では、発光タイミングＥＭＩＴ＿Ｎ＿Ｄが画像置換のタイミングの直後に固定されており、消灯タイミングＥＭＩＴ＿Ｎ＿Ｕが適宜制御されることで発光期間の長さが制御される。もちろん、図３に示す例はあくまで一例であり、必ずしも発光期間の制御方法を限定するものではない。即ち、発光タイミングＥＭＩＴ＿Ｎ＿Ｄと消灯タイミングＥＭＩＴ＿Ｎ＿Ｕとのうち少なくともいずれかを制御することで、発光期間を制御することが可能である。

【0055】

続いて、発光期間の制御に応じて、表示情報の提示位置が本来想定される位置からずれたように知覚される仕組みについて、所謂ＡＲ技術に基づき実空間内の物体（実オブジェクト）に重畳するように（換言すると、実空間の所定の絶対座標に位置するように）表示情報を提示する場合を例に概要を説明する。

【0056】

例えば、図４は、ＡＲ技術の概要について説明するための説明図であり、表示情報が実空間内の物体に重畳するように当該表示情報を提示する仕組みについて模式的に示している。図４において、参照符号Ｐ１０１は、視点の位置及び姿勢を模式的に示しており、具体的な一例として、入出力装置２０の位置及び姿勢（より厳密には、入出力装置２０を装着したユーザの眼の位置及び姿勢）に相当する。参照符号Ｍ１２１は、実空間内の物体（実オブジェクト）を模式的に示している。参照符号Ｖ１００は、表示情報が提示される表示領域を模式的に示しており、例えば、入出力装置２０の出力部２１１の表示領域に相当し得る。参照符号Ｖ１１１は、出力部２１１を介してユーザに提示される表示情報（例えば、仮想オブジェクト）を模式的に示している。なお、以降の説明では、便宜上、視点Ｐ１０１から見た場合における横方向、縦方向、及び奥行き方向をそれぞれ、「Ｘ方向」、「Ｙ方向」、及び「Ｚ方向」と称する場合がある。

【0057】

ＡＲ技術に基づき表示情報Ｖ１１１が提示される場合には、例えば、観察点（視点Ｐ１０１）を基準として、当該観察点からの視野（画角）に応じて規定されるスクリーン面に対して、対象となるオブジェクトを投影する。即ち、スクリーン面が投影面に相当する。例えば、図４に示す例の場合には、表示領域Ｖ１００中の少なくとも一部の領域をスクリーン面（投影面）として、提示対象となるオブジェクト（例えば、仮想オブジェクト等）が投影される。そして、当該オブジェクトの投影結果が２次元的な情報として描画され、当該描画の結果が表示情報Ｖ１１１として表示領域Ｖ１００に提示される。このとき、表示領域Ｖ１００中における表示情報Ｖ１１１の提示位置が、例えば、視点Ｐ１０１と実オブジェクトＭ１２１との間の相対的な位置や姿勢の関係に応じて制御される。このような制御により、実オブジェクトＭ１２１に対して表示情報Ｖ１１１が重畳するように、当該表示情報Ｖ１１１を提示することが可能となる。

【0058】

例えば、図５は、ＡＲ技術に基づく表示情報の提示態様の一例について示した図であり、図４に示す例において、実オブジェクトＭ１２１に対して重畳するように表示情報Ｖ１１１が提示された状態のうち、特に理想的な状態を模式的に示している。具体的には、図５は、図４に示すような状況下で、図２に示す出力部２１１（即ち、透過型のディスプレイ）の表示領域Ｖ１００に対して表示情報Ｖ１１１が提示されている状態で、ユーザに視認される結合された像（即ち、実オブジェクトＭ１２１の光学像及び表示情報Ｖ１１１）を模式的に示している。即ち、図４に示す例においては、理想的には、図５に示すように実オブジェクトＭ１２１に対して表示情報Ｖ１１１が重畳した画像がユーザに視認されることとなる。

【0059】

一方で、前述したように発光期間の長さの制御によりユーザに視認される表示情報の明るさを制御する場合には、例えば、当該発光期間中に視点の位置や姿勢が変化することで、表示情報の提示位置が本来想定される位置からずれたように知覚される場合がある。

【0060】

例えば、図６は、発光期間中に視点の位置や姿勢が変化することで、表示情報の提示位置がずれたように知覚されるような状況の一例について説明するための説明図である。具体的には、図６は、図４に示す例において、発光期間中に視点の位置や姿勢が変化する状況を模式的に示している。図６において、参照符号Ｐ１０１、Ｖ１１１、及びＭ１２１は、図４に示す例において同様の符号が付された対象を示している。また、図６に示すＸ方向、Ｙ方向、及びＺ方向は、図４に示す例におけるＸ方向、Ｙ方向、及びＺ方向にそれぞれ対応している。即ち、図６では、図４に示す例において、発光期間中に視点Ｐ１０１の位置や姿勢が横方向（Ｘ方向）に変化するような状況を模式的に示している。

【0061】

また、図７及び図８は、発光期間中に視点の位置や姿勢が変化することで、表示情報の提示位置がずれたように知覚される仕組みについて概要を説明するための説明図である。

【0062】

具体的には、図７は、図６に示すような状況下で、透過型のディスプレイとして構成された出力部（例えば、図２に示す出力部２１１）を介して、撮像部により結合像（即ち、実空間の光学像及び出力部に提示された表示情報）を再撮することで得られる画像の一例を示している。なお、図７に示す例では、再撮に利用される当該撮像部は、ユーザの眼を模しており、視点Ｐ１０１の位置や姿勢が変化した場合に、当該視点Ｐ１０１と一体的に位置や姿勢が変化するものとする。また、図７に示す例では、発光期間（ホールド期間）を「１ｍｓ」、「８ｍｓ」、及び「１６ｍｓ」に設定した場合について、再撮結果（換言すると、視点Ｐ１０１から視認される結合像）をそれぞれ示している。また、ディスプレイ等の出力部が情報を提示する方式として、例えば、画面全体を同時に書き換える方式（グローバル発光）と、画面をライン単位で逐次的に書き換える方式（スキャンライン発光）と、が挙げられるが、説明をよりわかりやすくするためにグローバル発光が適用されているものとする。

【0063】

発光期間中に視点Ｐ１０１の位置や姿勢が変化するような状況下では、再撮に利用される撮像部と表示情報Ｖ１１１との間の相対的な位置や姿勢の関係は固定され、当該撮像部と実オブジェクトＭ１２１との間の相対的な位置や姿勢の関係が変化する。そのため、例えば、図７に示すように、発光期間中の視点Ｐ１０１の移動に伴い、当該移動の方向（即ち、視点の位置や姿勢の変化方向）に沿って実オブジェクトＭ１２１にブレ（例えば、モーションブラー）が生じたような再撮結果が得られる。このような、実オブジェクトＭ１２１のブレは、例えば、視点Ｐ１０１の位置や姿勢の変化の度合い（例えば、視点Ｐ１０１の位置や姿勢の変化速度）が大きいほどより大きくなり、発光期間がより長いほどより大きくなる傾向にある。そのため、例えば、発光期間に関わらず視点Ｐ１０１の位置や姿勢の変化の度合いが同じである場合には、図７に示すように、発光期間がより長くなるほど、実オブジェクトＭ１２１のブレはより大きくなる。

【0064】

上記のように、実オブジェクトＭ１２１にブレが生じるような状況下においては、図７に示すように、当該実オブジェクトＭ１２１の再撮結果の中心（即ち、ブレが生じた実オブジェクトＭ１２１の中心）と、表示情報Ｖ１１１の再撮結果の中心（即ち、表示情報Ｖ１１１の中心）と、の間に、視点Ｐ１０１の位置や姿勢の変化方向に沿ってずれが生じる場合がある。

【0065】

これに対して、図８は、図６に示すような状況下で、透過型のディスプレイとして構成された出力部（例えば、図２に示す出力部２１１）を介して、ユーザに視認される結合像を模式的に示している。図８において、参照符号Ｖ１００、Ｖ１１１、及びＭ１２１のそれぞれは、図７に示す例において同様の符号が付された対象を示している。

【0066】

具体的には、ＡＲ技術に基づき実オブジェクトＭ１２１に重畳するように表示情報Ｖ１１１を提示する状況下では、例えば、輻輳角が実オブジェクトＭ１２１側に合うように出力部を介した表示情報Ｖ１１１の提示が制御される。より具体的には、ユーザが両眼を利用して表示情報Ｖ１１１を視認するような状況下において、例えば、左右の眼それぞれで視認される表示情報Ｖ１１１の提示位置を調整することで、輻輳角が視点Ｐ１０１から実オブジェクトＭ１２１までの距離に略一致するように調整される。また、このとき出力部が表示情報を提示する方式に応じて、焦点距離が調整されてもよい。

【0067】

このように、輻輳角が視点Ｐ１０１から実オブジェクトＭ１２１までの距離に略一致するように調整されるような状況下では、例えば、図８に示すように、実オブジェクトＭ１２１にはブレが生じず、表示情報Ｖ１１１にブレ（モーションブラー）が生じたような結合像がユーザに視認され得る。なお、この場合においても、図８に示すように、実オブジェクトＭ１２１の光学像の中心と、ユーザに視認される表示情報Ｖ１１１の中心（即ち、ブレが生じた表示情報Ｖ１１１の中心）と、の間に、視点Ｐ１０１の位置や姿勢の変化方向にずれが生じる場合がある。また、図８に示す、実オブジェクトＭ１２１の光学像の中心と、ユーザに視認される表示情報Ｖ１１１の中心と、の間のずれの量は、理論的には、図７に示す、実オブジェクトＭ１２１の再撮結果の中心と、表示情報Ｖ１１１の再撮結果の中心と、の間のずれの量と一致することとなる。

【0068】

図７及び図８に示すように、実オブジェクトＭ１２１の中心と、表示情報Ｖ１１１の中心と、の間にずれが生じているような状況下では、ユーザには、あたかも表示情報Ｖ１１１の提示位置がずれたように知覚されることとなる。また、このような視点Ｐ１０１の位置や姿勢の変化に伴いユーザに知覚される表示情報Ｖ１１１の提示位置のずれは、上述の通り、発光期間がより長くなるほどより大きくなる傾向にある。

【0069】

以上のような状況を鑑み、本開示では、表示情報の提示に係る発光期間が変化し得るような状況下においても、より好適な態様で当該表示情報を提示可能とする技術を提案する。具体的には、視点の位置や姿勢の変化に伴い、発光期間に応じた画像のブレが生じるような状況下においても、表示情報の提示位置のずれがユーザに知覚されるような状態の顕在化を抑制可能とする技術を提案する。

【0070】

＜＜３．技術的特徴＞＞
以下に、本開示の一実施形態に係る情報処理システム１の技術的特徴について説明する。

【0071】

＜３．１．基本原理＞
まず、本開示の一実施形態に係る情報処理システム１が、視点の位置や姿勢の変化に伴い、発光期間に応じた画像のブレが生じるような状況下において、表示情報の提示位置のずれがユーザに知覚されるような状態の顕在化を抑制するための技術の基本原理について説明する。例えば、図９は、本開示の一実施形態に係る情報処理システム１の技術的特長の基本原理について説明するための説明図である。

【0072】

図７を参照して前述したように、視点の位置や姿勢の変化に伴い、実オブジェクトＭ１２１に対して発光期間に応じたブレが生じるような状況下においては、ブレが生じた実オブジェクトＭ１２１の中心と、表示情報Ｖ１１１の中心と、の間にずれが生じる。そこで、本実施形態に係る情報処理システム１では、視点の位置や姿勢の変化や発光期間に応じて生じる、ブレが生じた実オブジェクトＭ１２１の中心と、表示情報Ｖ１１１の中心と、の間のずれを推測し、当該ずれが解消されるように表示情報Ｖ１１１の提示位置を補正する。

【0073】

例えば、図９において、参照符号Ｖ１００及びＭ１２１は、図７に示す例において同様の符号が付された対象をそれぞれ示している。また、参照符号Ｖ１１５は、補正が適用される前の表示情報Ｖ１１１の提示位置を模式的に示している。また、参照符号Ｖ１１３は、提示位置が補正された後の表示情報Ｖ１１１を模式的に示している。また、図９に示す例では、上記補正の適用結果の一例を、発光期間（ホールド期間）を「１ｍｓ」、「８ｍｓ」、及び「１６ｍｓ」に設定した場合のそれぞれについて示している。なお、実際には、視点の位置や姿勢の変化や発光期間に応じて、図８に示すように表示情報Ｖ１１１側にブレが生じるようにユーザには知覚されるが、説明をよりわかりやすくするために、便宜上、図７に示すように、実オブジェクトＭ１２１側にブレが生じるものとして説明する。

【0074】

図７を参照して前述したように、実オブジェクトＭ１２１のブレは、例えば、視点Ｐ１０１の位置や姿勢の変化の度合いが大きいほどより大きくなり、発光期間がより長いほどより大きくなる傾向にある。そこで、本実施形態に係る情報処理システム１では、視点Ｐ１０１の動き（例えば、視点Ｐ１０１の位置や姿勢の変化）の検知結果と、発光期間と、に基づき、ブレが生じた実オブジェクトＭ１２１の中心と、表示情報Ｖ１１１の中心と、の間にずれを推測する。そして、情報処理システム１は、当該ずれの推測結果に基づき、表示領域Ｖ１００中における表示情報Ｖ１１１の提示位置を補正することで、当該ずれを解消する。

【0075】

ここで、図１０を参照して、発光期間に応じて表示情報Ｖ１１１の提示位置を補正する方法についてより詳しく説明する。図１０は、本開示の一実施形態に係る情報処理システムにおいて、発光期間に応じた表示情報Ｖ１１１の提示位置の補正方法について説明するための説明図である。図１０において、Ｖｓｙｎｃ、ＶＡＬＩＤ＿ＳＴ、及びＥＭＩＴ＿Ｎは、図３に示す例と同様に、垂直同期信号のタイミング、出力部を介して提示される画像が置換されるタイミング、及び発光期間及び消灯期間の開始タイミングをそれぞれ示している。

【0076】

また、図１０において、参照符号Ｔ１０１及びＴ１０３は、垂直同期信号のｎ番目の周期（ｎＶ）について設定された発光期間及び消灯期間を示している。同様に、参照符号Ｔ１１１及びＴ１１３は、垂直同期信号のｎ＋１番目の周期（ｎ＋１Ｖ）について設定された発光期間及び消灯期間を示している。

【0077】

情報処理システム１は、外光の明るさや表示情報Ｖ１１１の明るさに応じて発光期間を決定すると、時間軸上における当該発光期間の中心に相当するタイミング（以降では、単に「発光期間の中心」とも称する）を特定する。なお、当該発光期間の中心は、例えば、図９に示す例において、発光期間中の視点の位置や姿勢の変化に伴いブレが生じた実オブジェクトＭ１２１が視認される状況下で、ブレが生じた実オブジェクトＭ１２１の中心に相当する位置に、実際に当該実オブジェクトＭ１２１が位置するように視認されるタイミングに相当する。

【0078】

次いで、情報処理システム１は、表示情報Ｖ１１１の提示位置の補正量を算出するために設定された予測の基点（即ち、ブレが生じることでユーザに知覚される表示情報の提示位置のずれを予測するための基点）となるタイミングと、特定した発光中心と、の間の期間の長さを予測時間として算出する。即ち、予測時間は、予測の基点となるタイミングから、対象となる表示情報が表示領域に提示されユーザに視認されるまでの遅延に相当する。より厳密には、上記予測時間は、予測の基点となるタイミングから、発光期間中の視点の位置や姿勢の変化に伴いブレが生じたように視認される実オブジェクトＭ１２１の中心に相当する位置に、実際に当該実オブジェクトＭ１２１が位置するように視認されるタイミングまでの期間に相当する。

【0079】

例えば、図１０において、参照符号Ｔ１０５は、発光期間Ｔ１０１に基づき算出された、垂直同期信号のｎ番目の周期（ｎＶ）に対応する予測時間を示している。また、参照符号Ｔ１１５は、発光期間Ｔ１１１に基づき算出された、垂直同期信号のｎ＋１番目の周期（ｎ＋１Ｖ）に対応する予測時間を示している。

【0080】

なお、予測時間の算出に係る予測の基点となるタイミングについては、表示情報Ｖ１１１の提示位置を補正する契機ごと（例えば、垂直同期信号の周期ごと）に、当該契機に対応した発光期間の開始以前のタイミングとして設定されればよい。また、当該予測の基点となるタイミングについては、表示情報Ｖ１１１の提示位置の補正に際し、当該表示情報Ｖ１１１の提示に係る一連の処理の流れのうちいずれの処理による遅延を考慮するかに応じて設定すればよい。なお、上記予測の基点となるタイミングの設定方法のより詳細については、情報処理システム１の機能構成の説明とあわせて別途後述する。

【0081】

そして、情報処理システム１は、算出した予測時間において、視点Ｐ１０１と表示情報Ｖ１１１との間の相対的な位置や姿勢の関係の変化を推測し、当該推測の結果に応じて表示領域Ｖ１００中における当該表示情報Ｖ１１１の提示位置を補正する。

【0082】

より具体的には、情報処理システム１は、例えば、視点Ｐ１０１の位置や姿勢の変化や、アニメーション等による表示情報Ｖ１１１自体の動き等に応じて、予測時間における視点Ｐ１０１と表示情報Ｖ１１１との間の相対的な位置や姿勢の関係の変化を推測する。なお、以降では、説明をより簡略化するために、図６に示す例のように、表示情報Ｖ１１１自体は動かず、視点Ｐ１０１の位置や姿勢の変化する場合に着目して説明し、表示情報Ｖ１１１自体が動く場合の例については変形例として別途後述する。

【0083】

情報処理システム１は、算出した予測時間に基づき、当該予測時間における視点Ｐ１０１の位置や姿勢の変化に応じて、ユーザに提示される画像にブレが生じる方向や、当該ブレの量を算出する。例えば、図６に示すように、視点Ｐ１０１の位置や姿勢がＸ方向に変化するような状況下では、画像（または光学像）のブレ（例えば、図７及び図９に示す実オブジェクトＭ１２１のブレ）は、当該Ｘ方向に沿って生じる。また、このとき生じるブレの量は、視点Ｐ１０１の位置や姿勢の変化量と、上記予測時間（換言すると、発光期間）と、に依存することとなる。

【0084】

以上のようにして、情報処理システム１は、視点Ｐ１０１の位置や姿勢の変化に伴いブレが生じた実オブジェクトＭ１２１の中心と、表示情報Ｖ１１１の中心と、の間のずれを算出する。そして、情報処理システム１は、図９に示すように表示領域Ｖ１００中における当該表示情報Ｖ１１１の提示位置を補正することで、ブレが生じた実オブジェクトＭ１２１の中心と、表示情報Ｖ１１１の中心との間のずれを解消する。即ち、表示領域Ｖ１００中において当該ずれが生じた方向に沿って、表示情報Ｖ１１１の提示位置が補正されることで、当該ずれが解消される。より具体的な一例として、図９に示す例の場合には、視点Ｐ１０１の位置や姿勢の変化に応じて、入出力装置２０を装着するユーザから見て、表示情報Ｖ１１１の提示位置が一方向に向けて移動するように提示されることとなる。なお、本開示において上記「一方向」とは、特定の方向性をもったベクトル的な性質を有するものである。具体的な一例として、図９に示す例の場合には、視点Ｐ１０１の位置や姿勢が右方向に向けて移動することで、入出力装置２０を装着するユーザから見て、表示情報Ｖ１１１の提示位置が左方向に移動することとなる。このとき、表示情報Ｖ１１１の提示位置が移動する方向（左方向）が、上記「一方向」の一例に相当する。また、このとき、発光期間がより長くなるほど、表示情報Ｖ１１１の提示位置の補正量は上記一方向に向けてより大きくなる。即ち、発光期間がより長くなるほど、表示情報Ｖ１１１が上記一方向側（例えば、図９に示す例の場合には左方向側）に位置するように、当該表示情報Ｖ１１１の提示位置が補正されることとなる。なお、このとき表示情報のＶ１１１の提示位置が補正される方向は、例えば、視点の位置や姿勢の変化に伴う上記ブレ（モーションブラー）が発生する方向（即ち、上記ブレが視認される方向）に応じて推測すればよい。また、上記予測時間における視点Ｐ１０１の位置や姿勢の変化に応じて算出される上記ずれの量が、表示情報Ｖ１１１の提示位置の補正量に相当する。

【0085】

以上、図９及び図１０を参照して、本開示の一実施形態に係る情報処理システム１が、視点の位置や姿勢の変化に伴い、発光期間に応じた画像のブレが生じるような状況下において、表示情報の提示位置のずれがユーザに知覚されるような状態の顕在化を抑制するための技術の基本原理について説明した。

【0086】

＜３．２．機能構成＞
続いて、本開示の一実施形態に係る情報処理システム１の機能構成の一例について説明する。例えば、図１１は、本実施形態に係る情報処理システム１の機能構成の一例を示したブロック図である。具体的には、図１１は、図１に示す情報処理システム１の機能構成の一例ついて、特に、情報処理装置１０が、入出力装置２０の位置や姿勢の変化に応じて、当該入出力装置２０の出力部２１１を介してユーザに情報を提示するための構成に着目して示している。

【0087】

図１１に示すように、本実施形態に係る情報処理システム１は、撮像部２０１と、出力部２１１と、第１検知部２５１と、第２検知部２５３と、情報処理装置１０とを含む。なお、出力部２１１は、例えば、図２を参照して説明した出力部２１１に相当する。

【0088】

撮像部２０１は、図２においてステレオカメラとして構成された第１撮像部２０１ａ及び２０１ｂに相当する。撮像部２０１は、実空間内の物体（被写体）の画像を撮像し、撮像した当該画像を情報処理装置１０に出力する。

【0089】

第１検知部２５１は、入出力装置２０の位置や姿勢の変化（ひいては、当該入出力装置２０を装着したユーザの頭部の動き）を検出するための情報の取得に係る部分を模式的に示している。換言すると、第１検知部２５１は、視点の位置や姿勢の変化（換言すると、入出力装置２０の位置や姿勢の変化）を検出するための情報を取得する。具体的な一例として、第１検知部２５１は、加速度センサや角速度センサ等のような物体の動きの検出に係る各種センサを含んでもよい。第１検知部２５１は、取得した情報を情報処理装置１０に出力する。これにより、情報処理装置１０は、入出力装置２０の位置や姿勢の変化を認識することが可能となる。

【0090】

第２検知部２５３は、入出力装置２０の周囲の環境の状態（換言すると、当該入出力装置２０を装着したユーザの周囲の環境の状態）に関する情報の取得に係る部分を模式的に示している。具体的な一例として、第２検知部２５３は、入出力装置２０の周囲の環境の明るさ（照度）に関する情報を取得してもよい。この場合には、例えば、第２検知部２５３は、照度センサ等のような周囲の環境の明るさの検出に係る各種センサを含んでもよい。第２検知部２５３は、取得した情報を情報処理装置１０に出力する。これにより、情報処理装置１０は、入出力装置２０の周囲の環境の状態（例えば、入出力装置２０の周囲の環境の明るさ）を認識することが可能となる。なお、以降の説明では、第２検知部２５３は、入出力装置２０の周囲の環境の状態に関する情報として、少なくとも当該入出力装置２０の周囲の明るさに関する情報（例えば、外光の照度の検出結果等）を取得するものとする。

【0091】

次いで、情報処理装置１０の構成について説明する。図１１に示すように、情報処理装置１０は、認識処理部１０１と、描画処理部１０３と、補正処理部１０５と、出力制御部１０７と、演算部１０９とを含む。

【0092】

認識処理部１０１は、撮像部２０１から撮像された画像を取得し、取得した画像に対して解析処理を施すことで、当該画像に撮像された実空間内の物体（被写体）を認識する。具体的な一例として、認識処理部１０１は、ステレオカメラとして構成された撮像部２０１から、互いに異なる複数の視点から撮像された画像（以降では、「ステレオ画像」とも称する）を取得し、取得した画像間の視差に基づき、画像中に撮像された物体までの距離を、当該画像の画素ごとに測定する。これにより、認識処理部１０１は、当該画像が撮像されたタイミングにおける、撮像部２０１（ひいては、入出力装置２０）と、当該画像に撮像された各物体との間の、実空間内における相対的な位置関係（特に、奥行き方向の位置関係）を推定または認識することが可能となる。もちろん上記はあくまで一例であり、実空間内の物体を認識することが可能であれば、その方法やそのための構成は特に限定されない。即ち、実空間内の物体の認識方法に応じて、撮像部２０１等の構成が適宜変更されてもよい。

【0093】

また、認識処理部１０１は、例えば、自己位置推定の技術に基づき、視点の位置や姿勢を認識してもよい。具体的な一例として、認識処理部１０１は、ＳＬＡＭに基づき自己位置推定と環境地図の作成とを行うことで、入出力装置２０（換言すると、視点）と、画像中に撮像された物体との間の、実空間内における位置関係を認識してもよい。この場合には、例えば、認識処理部１０１は、第１検知部２５１から入出力装置２０の位置及び姿勢の変化の検知結果に関する情報を取得し、当該情報をＳＬＡＭに基づく自己位置推定に利用してもよい。なお、上記はあくまで一例であり、視点の位置や姿勢を認識することが可能であれば、その方法やそのための構成は特に限定されない。即ち、視点の位置や姿勢の認識方法に応じて、撮像部２０１や第１検知部２５１等の構成が適宜変更されてもよい。

【0094】

そして、認識処理部１０１は、入出力装置２０の自己位置推定の結果（即ち、視点の位置や姿勢の認識結果）に関する情報を後述する描画処理部１０３や補正処理部１０５に出力する。なお、当該自己位置推定の結果に関する情報が逐次取得されることで、例えば、入出力装置２０の位置や姿勢の変化（即ち、視点の位置や姿勢の変化）を認識することが可能である。即ち、当該自己位置推定の結果に関する情報、即ち、視点の位置及び姿勢のうち少なくともいずれかの認識結果に関する情報が、「第１の情報」の一例に相当する。

【0095】

また、認識処理部１０１は、画像中に撮像された各物体（即ち、実オブジェクト）の実空間内における位置を認識し、当該認識結果に関する情報を描画処理部１０３や補正処理部１０５に出力してもよい。具体的な一例として、認識処理部１０１は、画像中の画素ごとに測定された深度（物体までの距離）を示す情報（即ち、デプスマップ）を、描画処理部１０３や補正処理部１０５に出力してもよい。これにより、描画処理部１０３や補正処理部１０５は、当該情報に基づき、実空間内の物体を認識することが可能となる。

【0096】

なお、前述したように、被写体までの距離の測定方法は、上述したステレオ画像に基づく測定方法のみには限定されない。そのため、撮像部２０１に相当する構成を、距離の測定方法にあわせて適宜変更してもよい。具体的な一例として、ＴＯＦに基づき被写体までの距離を測定する場合には、撮像部２０１に替えて、赤外線を投光する光源と、当該光源から投光され被写体で反射した赤外線を検知するための受光素子とを設けてもよい。また、物体までの距離を測定する際に、複数の測定方法が利用されてもよい。この場合には、利用される測定方法に応じて、当該測定に利用する情報を取得するための構成が、入出力装置２０または情報処理装置１０に設けられていてもよい。もちろん、画像中に撮像された各物体の実空間内における位置の認識結果を示す情報（例えば、デプスマップ）の内容についても、適用される測定方法に応じて適宜変更されてもよいことは言うまでもない。

【0097】

以上のようにして、認識処理部１０１は、視点の位置や姿勢を逐次認識し、当該視点の位置や姿勢の認識結果に関する情報（換言すると、当該視点の動きに関する情報）を、後述する描画処理部１０３や補正処理部１０５に出力する。

【0098】

描画処理部１０３は、視点の位置や姿勢の認識結果に関する情報（例えば、自己位置推定の結果に関する情報）を認識処理部１０１から取得し、取得した当該情報に基づく視点の位置や姿勢に応じて、提示対象となる表示情報を所定のバッファ（例えば、フレームバッファ）に描画する。このとき、描画処理部１０３は、例えば、視点の位置や姿勢に応じて、対象となるオブジェクト（例えば、３次元的な情報を有する仮想オブジェクト）を表示領域に投影し、当該投影の結果に応じた表示情報（即ち、２次元的な表示情報）を上記バッファに描画してもよい。

【0099】

また、描画処理部１０３は、認識処理部１０１から実空間内の物体の位置の認識結果に関する情報を取得してもよい。この場合には、例えば、描画処理部１０３は、実空間内の物体（実オブジェクト）の認識結果に応じて表示情報の描画を行ってもよい。具体的な一例として、描画処理部１０３は、実空間内の物体と、提示対象となるオブジェクトと、の間の位置や姿勢の関係に応じて、当該オブジェクトを表示領域に投影し、当該投影の結果に応じた表示情報を上記バッファに描画してもよい。

【0100】

また、描画処理部１０３は、上記バッファに描画する表示情報の色や明るさを、各種条件に応じて制御してもよい。具体的な一例として、描画処理部１０３は、対象となるオブジェクトを表示領域に投影した際に、３次元空間上に規定された光源と当該オブジェクトとの間の位置関係に応じて、当該オブジェクトを表示情報として描画する際の色や明るさ制御してもよい。また、描画処理部１０３は、ＡＲ技術に基づき実空間内の物体に重畳するように表示情報を提示する場合に、当該物体と当該表示情報との間の位置関係に応じて、当該表示情報を描画する際の色や明るさを制御してもよい。また、描画処理部１０３は、上記のように描画する表示情報の色や明るさを制御する場合には、当該表示情報の色や明るさに関する情報を後述する演算部１０９に出力してもよい。これにより、演算部１０９は、提示対象となる表示情報の色や明るさを鑑みて、各種演算（例えば、発光期間の算出）を実行することが可能となる。

【0101】

演算部１０９は、情報処理装置１０が各種処理の実行に利用する各種情報の演算を実行するための構成を模式的に示している。具体的な一例として、演算部１０９は、各種条件に応じて、後述するする出力制御部１０７が、出力部２１１を介して表示情報をユーザに提示する際の発光期間を算出する。この場合には、演算部１０９は、第２検知部２５３から周囲の環境の明るさ（照度）に関する情報を取得し、当該情報に基づき発光期間を算出してもよい。なお、演算部１０９のうち、第２検知部２５３（例えば、照度センサ）から周囲の環境の明るさ（即ち、外光の照度）に関する情報を取得する部分が、「照度情報取得部」の一例に相当する。また、他の一例として、演算部１０９は、撮像部２０１による周囲の環境（即ち、実空間）の撮像結果に応じた画像を取得し、当該画像を解析することで周囲の環境の明るさを認識してもよい。また、演算部１０９は、描画処理部１０３から提示対象となる表示情報の色や明るさに関する情報を取得し、当該情報に基づき発光期間を算出してもよい。

【0102】

また、前述したように、ユーザに視認される表示情報の明るさについては、発光期間の制御のみに限らず、表示情報の提示に係る発光出力の制御や、周囲の環境の影響の調整に係る制御（即ち、調光機能の制御）により制御することも可能である。そのため、演算部１０９は、当該発光出力や、当該調光機能の制御量（即ち、外光の明るさの影響の調整量）に応じて、発光期間を算出してもよい。より具体的な一例として、演算部１０９は、発光出力がより高くなるように制御することで、発光期間がより短くなるように制御してもよい。また、他の一例として、演算部１０９は、調光機能により周囲の環境の明るさの影響を低減する（即ち、ユーザに視認される外光を低減する）ことで、発光期間がより短くなるように制御してもよい。

【0103】

そして、演算部１０９は、各種演算結果に応じた情報を、当該情報を利用する各部に出力する。具体的な一例として、演算部１０９は、上述の通り算出した発光期間に関する情報を、補正処理部１０５及び出力制御部１０７に出力する。なお、発光期間に関する情報としては、当該発光期間の特定に利用可能な情報が含まれていればよく、例えば、発光期間の開始タイミングや終了タイミングに関する情報や、当該発光期間の長さに関する情報等が含まれ得る。

【0104】

補正処理部１０５は、描画処理部１０３によりバッファに描画された表示情報に対して各種補正を施す。具体的な一例として、補正処理部１０５は、描画処理部１０３によりバッファに描画された表示情報が、後述する出力制御部１０７により出力部２１１に提示されるまでに、視点の位置や姿勢が変化した場合に、当該視点の位置や姿勢の変化に応じて当該表示情報の補正（所謂リプロジェクション）を行ってもよい。この場合には、補正処理部１０５は、認識処理部１０１から視点の動きに関する情報（例えば、視点の位置や姿勢の認識結果に応じた情報）を取得し、当該情報に基づき表示情報を補正してもよい。なお、認識処理部１０１から取得される視点の動きに関する情報が、「第１の情報」の一例に相当する。

【0105】

具体的な一例として、補正処理部１０５は、認識処理部１０１から取得した情報に基づき、視点の動きに応じて当該視点からの視野が変化する方向や変化量（換言すると、当該視点と当該物体との間の相対的な位置や姿勢の変化）を算出してもよい。これにより、補正処理部１０５は、表示情報が重畳される実空間内の物体の、当該視野内における位置の変化（換言すると、表示領域内における位置の変化）を認識し、当該認識の結果に応じて、表示情報の提示位置の補正を行うことが可能となる。

【0106】

また、補正処理部１０５は、図８及び図９を参照して前述したように、視点の位置や姿勢の変化に伴い、発光期間に応じて生じる画像のブレを鑑みて、表示領域中における表示情報の提示位置を補正してもよい。

【0107】

具体的には、補正処理部１０５は、演算部１０９から発光期間に関する情報を取得し、当該情報に基づき発光期間の中心を算出する。なお、演算部１０９から取得される発光期間に関する情報が、「第２の情報」の一例に相当する。

【0108】

そして、補正処理部１０５は、予測の基点となるタイミングと、算出した発光期間の中止と、の間の期間を予測時間として算出する。このとき、予測の基点となるタイミングについては、視点の位置や変化に伴う影響の算出に考慮する遅延に応じて決定されるとよい。

【0109】

例えば、図１２は、予測時間の算出に係る処理の概要について説明するための説明図であり、予測の基点となるタイミングの決定方法の一例について示している。

【0110】

図１２において、「発光」として示した期間が、図１０に示す各発光期間に相当し、当該期間において出力部の表示領域に表示情報が提示される。即ち、対象となるオブジェクトが表示情報として提示される場合には、図１２に示すように、視点の位置や姿勢に応じた当該オブジェクトの投影結果が表示情報として描画され、当該表示情報に対して補正（リプロジェクション）が行われた後に、補正後の当該表示情報が出力部を介して提示される。そのため、例えば、発光の直前に実行される表示情報に対する補正（リプロジェクション）に関する処理遅延や、当該補正の前に実行される表示情報の描画に関する処理遅延が、表示情報の提示位置がずれたようにユーザに知覚される現象の顕在化の一要因となり得る。例えば、図１２において、dt_renderとして示された期間は、描画に係る処理遅延を模式的に示している。また、dt_reproとして示された期間は、リプロジェクションに係る処理遅延を模式的に示している。また、dt_emitとして示された期間は、発光期間を示している。

【0111】

上述のような背景から、例えば、図９に示すように表示情報の提示位置の補正を行う際に、リプロジェクションに係る処理遅延と、描画及びリプロジェクションの双方に係る処理遅延と、のいずれを考慮するかに応じて、予測の基点となるタイミングが決定されるとよい。

【0112】

例えば、リプロジェクションに係る処理遅延を考慮し、描画に係る処理遅延については考慮しない場合には、当該リプロジェクションに係る処理の開始タイミングに応じて予測の基点となるタイミングを決定すればよい。また、この場合における予測時間をＴ_１とすると、当該予測時間Ｔ_１は、以下に（式１）として示す計算式で表される。

【0113】

【数1】

【0114】

また、他の一例として、描画及びリプロジェクションの双方に係る処理遅延を考慮する場合には、当該描画に係る処理の開始タイミングに応じて予測の基点となるタイミングを決定すればよい。また、この場合における予測時間をＴ_２とすると、当該予測時間Ｔ_２は、以下に（式２）として示す計算式で表される。

【0115】

【数2】

【0116】

以上のようにして、補正処理部１０５は、予測時間を算出すると、認識処理部１０１から取得した視点の動きに関する情報と、当該予測時間の算出結果と、に基づき、当該予測時間中の当該視点の動きを推測する。これにより、予測時間中における視点からの視野の変化（例えば、視野の変化方向や変化量）を推測することが可能となる。即ち、図９に示す例における、視点Ｐ１０１の位置や姿勢の変化に伴いブレが生じた実オブジェクトＭ１２１の中心と、表示情報Ｖ１１１の中心と、の間のずれを、当該視野の変化の推測結果に基づき算出することが可能となる。

【0117】

そして、補正処理部１０５は、予測時間中の視点の動きの推測結果に基づき、表示領域中の表示情報の提示位置を補正する。具体的には、表示情報の提示位置を補正する方向については、視点の動きに応じて当該視点からの視野が変化する方向に基づき算出することが可能である。また、表示情報の提示位置の補正量については、視点の動きに応じて当該視点からの視野が変化する量に基づき算出することが可能である。即ち、当該補正量は、予測時間に依存することとなる。

【0118】

以上のようにして、補正処理部１０５によりバッファに描画された表示情報に対して各種補正が行われると、出力制御部１０７は、出力部２１１に情報を表示するタイミング（即ち、発光タイミング）にあわせて、当該バッファに保持された補正後の表示情報を当該出力部２１１に表示させる。このとき、出力制御部１０７は、演算部１０９から発光期間に関する情報を取得し、当該情報に基づき、上記表示情報の提示に係る出力部２１１の発光期間を制御してもよい。これにより、出力部２１１を介してユーザに視認される当該表示情報の明るさが制御される。

【0119】

なお、図１１に示した情報処理システム１の機能構成のうち、例えば、参照符号１１１で示した処理ブロック（即ち、描画処理部１０３、補正処理部１０５、及び出力制御部１０７を含む処理ブロック）が、表示情報が出力部２１１の表示領域に表示されるように制御する「制御部」の一例に相当する。また、当該処理ブロック１１１のうち、認識処理部１０１から視点の動きに関する情報を取得する部分や、演算部１０９から発光期間に関する情報を取得する部分が、当該発光期間に関する情報を取得する「取得部」の一例に相当する。また、出力部２１１が「表示部」の一例に相当する。また、処理ブロック１１１（特に、出力制御部１０７）が、上記出力部２１１に表示情報（例えば、仮想オブジェクト等）が表示されるように制御する「表示制御部」の一例に相当する。なお、処理ブロック１１１を実行するプロセッサが「表示制御部」の一例に相当すると見做されても良く、「制御部」と実質的に同一の構成を有するものと見做されても良い。

【0120】

また、図１１に示した情報処理システム１の機能構成はあくまで一例であり、上述した各構成の動作を実現することが可能であれば、当該情報処理システム１の機能構成は必ずしも図１１に示す例には限定されない。具体的な一例として、撮像部２０１、第１検知部２５１、第２検知部２５３、及び出力部２１１の少なくともいずれかと、情報処理装置１０とが一体的に構成されていてもよい。また、他の一例として、情報処理装置１０の一部の機能が、当該情報処理装置１０の外部に設けられていてもよい。具体的な一例として、認識処理部１０１や演算部１０９に相当する部分が、情報処理装置１０の外部に設けられていてもよい。なお、この場合には、情報処理装置１０の外部に設けられた認識処理部１０１や演算部１０９に相当する部分から情報を取得するインタフェースが、発光期間に関する情報を取得する「取得部」の一例に相当し得る。また、情報処理装置１０の少なくとも一部の機能が、複数の装置が連携して動作することで実現されてもよい。

【0121】

以上、図１１及び図１２を参照して、本開示の一実施形態に係る情報処理システム１の機能構成の一例について説明した。

【0122】

＜３．３．処理＞
続いて、本開示の一実施形態に係る情報処理システム１の一連の処理の流れの一例について、特に、図１に示す情報処理装置１０の動作に着目して説明する。例えば、図１３は、本実施形態に係る情報処理システム１の一連の処理の流れの一例について示したフローチャートであり、情報処理装置１０が視点の位置や姿勢の認識結果に応じて表示領域に表示情報が提示されるように制御する処理の流れの一例を示している。

【0123】

図１３に示すように、情報処理装置１０（認識処理部１０１）は、撮像部２０１による画像の撮像結果や、第１検知部２５１による入出力装置２０の位置や姿勢の変化の検知結果に関する情報に基づき、視点の位置及び姿勢のうち少なくともいずれかを認識する。当該視点の位置や姿勢の認識には、例えば、ＳＬＡＭ等の自己位置推定の技術が利用されてもよい。以上のようにして、情報処理装置１０は、視点の位置や姿勢を逐次認識することで、当該視点の動き（即ち、視点の位置や姿勢の変化）を認識することが可能となる（Ｓ１０１）。

【0124】

次いで、情報処理装置１０（描画処理部１０３）は、視点の位置や姿勢に応じて、提示対象となる表示情報を所定のバッファに描画する。具体的な一例として、情報処理装置１０は、視点の位置や姿勢に応じて、対象となるオブジェクトを表示領域に投影し、当該投影の結果に応じた表示情報を上記バッファに描画してもよい（Ｓ１０３）。

【0125】

また、情報処理装置１０（演算部１０９）は、各種条件に応じて、出力部２１１を介して表示情報をユーザに提示する際の発光期間を決定する。具体的な一例として、情報処理装置１０は、周囲の環境の明るさ（照度）に応じて発光期間を算出してもよい。この場合には、情報処理装置１０は、例えば、第２検知部２５３による周囲の環境の明るさ（照度）の検知結果に応じた情報を、発光期間の算出に利用してもよい（Ｓ１０５）。

【0126】

次いで、情報処理装置１０（補正処理部１０５）は、発光期間の算出結果に基づき、当該発光期間中の視点の動き（例えば、視点の位置や姿勢の変化）を推測し、当該推測の結果に応じてバッファに描画した表示情報を補正する。具体的には、情報処理装置１０は、発光期間の中心を算出し、予測の基点となるタイミングと、当該発光期間の中心と、の間の期間を予測時間として算出する。そして、情報処理装置１０は、視点の位置や姿勢を逐次認識することで当該視点の動きを認識し、当該視点の動きの認識結果と、予測時間の算出結果と、に基づき、当該予測時間における当該視点の動きを推測する。そして、情報処理装置１０は、予測時間における当該視点の動きに応じて推測される当該視点からの視野の変化に基づき、表示領域中における上記表示情報の提示位置を補正する（Ｓ１０７）。

【0127】

そして、情報処理装置１０（出力制御部１０７）は、出力部２１１に情報を表示するタイミング（即ち、発光タイミング）にあわせて、上記バッファに保持された補正後の表示情報を当該出力部２１１に表示させる。これにより、当該出力部２１１を介して当該表示情報がユーザに提示される（Ｓ１０９）。

【0128】

以上のようにして、情報処理装置１０は、一連の処理の終了が指示されない限り（Ｓ１１１、ＮＯ）、参照符号Ｓ１０１～Ｓ１０９で示した一連の処理を、所定の期間ごとに逐次実行する。具体的な一例として、情報処理装置１０は、図３に示す垂直同期信号の周期Ｖ＿ＴＯＴＡＬのように、出力部２１１を介して情報が提示される周期ごとに、参照符号Ｓ１０１～Ｓ１０９で示した一連の処理を逐次実行してもよい。そして、情報処理装置１０は、一連の処理の実行の終了の指示を受けると（Ｓ１１１、ＹＥＳ）、参照符号Ｓ１０１～Ｓ１０９で示した一連の処理の実行を終了する。

【0129】

なお、参照符号Ｓ１０１～Ｓ１０９で示した各処理のうち、一部の処理が他の処理と並行して実行されてもよい。具体的な一例として、参照符号Ｓ１０３で示した表示情報の描画に係る処理の少なくとも一部と、参照符号Ｓ１０５で示した発光期間の決定に係る処理と、が並行して実行されてもよい。

【0130】

以上、図１３を参照して、本開示の一実施形態に係る情報処理システム１の一連の処理の流れの一例について、特に、図１に示す情報処理装置１０の動作に着目して説明した。

【0131】

＜３．４．変形例＞
続いて、本開示の一実施形態に係る情報処理システム１の変形例について説明する。

【0132】

＜３．４．１．変形例１：スキャンライン発光への適用例＞
まず、変形例１として、所謂スキャンライン発光が適用された場合のように、出力部の表示領域を複数の部分領域（例えば、ライン）に分割し、当該部分領域ごとに順次表示情報を表示する場合の制御の一例について説明する。

【0133】

この場合には、情報処理装置１０は、グローバル発光の場合において、出力部２１１を介した表示情報を提示する契機ごと（例えば、水著同期信号の周期Ｖ＿ＴＯＴＡＬごと）に実行していた一連の処理を、部分領域ごとに表示情報を提示する契機ごとに実行すればよい。具体的には、情報処理装置１０は、部分領域ごとに表示情報を提示する際に、当該部分領域に表示情報を提示するための発光期間に基づき、当該部分領域に対応する予測時間を算出する。そして、情報処理装置１０は、当該予測時間の算出結果に基づき、当該部分領域中における表示情報の提示位置を補正すればよい。なお、上記部分領域については、例えば、ラインやタイル等のような出力部の表示領域を構成する単位領域を１以上含むように規定され得る。

【0134】

以上、変形例１として、所謂スキャンライン発光が適用された場合のように、出力部の表示領域を複数の部分領域（例えば、ライン）に分割し、当該部分領域ごとに順次表示情報を表示する場合の制御の一例について説明した。

【0135】

＜３．４．２．変形例２：表示情報の移動を想定した制御の一例＞
続いて、変形例２として、例えば、アニメーション等により表示情報自体が移動し得るような状況下における、出力部を介した当該表示情報の提示に係る制御の一例について、特に、当該表示情報の移動に伴い発光期間を制御する状況に着目して説明する。

【0136】

まず、図１４を参照して、表示情報自体（換言すると、表示情報として提示されるオブジェクト）が移動し得るような状況下で、当該表示情報の移動に伴い発光期間を制御する状況の一例について説明する。図１４は、変形例２に係る情報処理システムによる表示情報の提示に係る処理の概要について説明するための説明図であり、アニメーション等により表示情報自体が移動することで、当該表示情報の明るさが制御される状況を模式的に示している。なお、図１４に示すＸ方向、Ｙ方向、及びＺ方向は、図４に示す例におけるＸ方向、Ｙ方向、及びＺ方向にそれぞれ対応している。即ち、図１４は、例えば、図２に示す出力部２１１を介して視認される結合像（即ち、実空間内の物体の光学像や、表示領域に表示される表示情報）を模式的に示している。

【0137】

具体的には、図１４に示す例では、表示領域に表示情報Ｖ２０１が提示されている状況を示している。このとき、表示情報Ｖ２０１は、アニメーション等により移動することで、表示領域中における提示位置が、時系列に沿って変化している。より具体的には、図１４に示す例では、表示情報Ｖ２０１は、移動に伴い重畳される位置が暗所から明所に変化するように移動し、その後、重畳される位置が当該明所から暗所に変化するように移動している。なお、本説明において「明所」とは、例えば、屋外等のように外光により照度が比較的高くなっている場所を示している。これに対して「暗所」とは、例えば、遮蔽物等により外光が遮蔽されることで、照度が比較的低くなっている場所を示している。換言すると、「暗所」は、「明所」に比べて相対的に照度が低くなっている場所に相当する。また、本説明では、説明をよりわかりやすくするために視点の位置や姿勢（例えば、入出力装置２０の位置や姿勢）は固定されており変化しないものとする。

【0138】

例えば、表示情報Ｖ２０１が明所に重畳するように提示される状況下では、外光の明るさの影響により出力部を介して提示される当該表示情報Ｖ２０１の視認性が低下する場合がある。そのため、このような場合には、表示情報Ｖ２０１がより明るく提示されるように制御することで、当該表示情報Ｖ２０１の視認性の向上を図る場合がある。即ち、この場合には、例えば、発光期間がより長くなるように制御され得る。

【0139】

これに対して、表示情報Ｖ２０１が暗所に重畳するように提示される状況下では、明所に重畳するように提示される場合に比べて、当該表示情報Ｖ２０１の視認性が高い。そのため、この場合には、表示情報Ｖ２０１が明所に重畳するように提示される場合に比べて、当該表示情報Ｖ２０１の明るさを抑えたとしても、当該表示情報Ｖ２０１を視認することが可能となり得る。即ち、表示情報Ｖ２０１が暗所に重畳するように提示される場合には、当該表示情報Ｖ２０１が明所に重畳するように提示される場合に比べて、発光期間がより短くなるように制御したとしても、所望の視認性を確保することが可能となる。

【0140】

そのため、図１４に示す例では、例えば、表示情報Ｖ２０１が暗所から明所に移動することで発光期間がより長くなるように制御され、表示情報Ｖ２０１が当該明所から暗所に移動することで発光期間がより短くなるように制御される。なお、このような状況下においても、発光期間がより長くなるように制御されることで、当該発光期間中における表示情報Ｖ２０１の提示位置の変化に応じて、ユーザに視認される画像（例えば、表示情報Ｖ２０１）にブレが生じ、当該表示情報Ｖ２０１の提示位置がずれたように知覚される場合がある。

【0141】

例えば、図１５は、変形例２に係る情報処理システムによる表示情報の提示に係る処理の概要について説明するための説明図であり、発光期間の制御に伴い表示情報の提示位置がずれたように知覚される仕組みの概要について示している。具体的には、図１５において、横軸は時間を示しており、縦軸は表示情報の提示位置を示している。また、図１５において、参照符号Ｇ２０１は、表示情報の提示に係る出力部の発光の開始タイミングと、当該表示情報の提示位置と、の関係を模式的に示している。即ち、参照符号Ｇ２０１は、暗所に重畳するように表示情報が提示される場合のように、ユーザに視認される画像にブレが生じない状況下における、当該表示情報の提示位置の軌跡を模式的に示している。

【0142】

また、図１５に示す例では、図１４に示すように、表示情報が重畳される位置が時間の経過と共に暗所から明所に変化するように移動し、その後、重畳される位置が当該明所から暗所に変化するように移動している状況を、時間軸（横軸）に沿って模式的に示している。そのため、図１５に示す例では、表示情報が明所に重畳される期間中において、発光期間がより長くなるように制御されている。例えば、参照符号Ｔ２０３は、表示情報が明所に重畳するように提示される場合における発光期間を模式的に示している。

【0143】

図１５に示すように、発光期間がより長くなるように制御されることで、表示情報の提示位置の変化に応じて、ユーザに視認される画像にブレが生じ、当該表示情報の提示位置がずれたように知覚される場合がある。例えば、参照符号Ｇ２０５は、明所においてユーザに視認される表示情報の軌跡を模式的に示している。具体的には、前述した実施形態と同様に、発光期間の中心に応じた位置に表示情報が提示されているようにユーザには知覚されることとなる。

【0144】

図１５において、表示情報が暗所に重畳するように提示される場合における、軌跡Ｇ２０１と軌跡Ｇ２０５とを比較するとわかるように、表示情報自体が移動するような状況下においても、発光期間がより長くなるように制御されることで、表示情報の提示位置がずれたように知覚される場合がある。

【0145】

このような状況を鑑み、変形例２に係る情報処理システムは、表示情報の提示位置の変化や発光期間に応じて、ブレが生じた当該表示情報の中心と、当該表示情報が重畳される実オブジェクトの中心と、の間のずれを推測し、当該ずれが解消されるように表示情報の提示位置を補正する。

【0146】

例えば、図１６は、変形例２に係る情報処理システムによる表示情報の提示に係る処理の概要について説明するための説明図であり、当該情報処理システムにより表示情報の提示位置が補正された状況を模式的に示している。図１６において、縦軸及び横軸は、図１５における縦軸及び横軸と同様である。また、参照符号Ｇ２０１は、暗所に重畳するように表示情報が提示される場合における、当該表示情報の提示に係る出力部の発光タイミングと、当該表情報の提示位置と、の間の関係を模式的に示している。換言すると、参照符号Ｇ２０１は、暗所に重畳するように表示情報が提示される場合のように、ユーザに視認される画像にブレが生じない状況下における、当該表示情報の提示位置の軌跡を模式的に示している。

【0147】

また、図１６に示す例では、図１５に示す例と同様に、表示情報が重畳される位置が時間の経過と共に暗所から明所に変化するように移動し、その後、重畳される位置が当該明所から暗所に変化するように移動している状況を、時間軸（横軸）に沿って模式的に示している。即ち、参照符号Ｔ２０３は、図１５に示す例と同様に、表示情報が明所に重畳するように提示される場合における発光期間を模式的に示している。

【0148】

また、参照符号Ｇ２１１は、明所に重畳するように表示情報が提示される場合に、発光期間Ｔ２０３に応じて提示位置の補正が行われた後の、当該表示情報の提示に係る出力部の発光の開始タイミングと、当該表情報の提示位置と、の間の関係を模式的に示している。換言すると、参照符号Ｇ２１１は、明所に重畳するように表示情報が提示される場合の出力部の発光の開始タイミングにおける、補正後の表示情報の提示位置の軌跡を模式的に示している。

【0149】

これに対して、参照符号Ｇ２１５は、表示情報の提示位置が補正された後の、明所においてユーザに視認される当該表示情報の軌跡を模式的に示している。また、参照符号Ｇ２１７は、明所に重畳するように表示情報が提示される場合に、発光期間Ｔ２０３に応じて適用される提示位置の補正（即ち、適用される補正の補正方向及び補正量）を模式的に示している。

【0150】

即ち、図１６に示す例では、明所に重畳されるように表示情報が提示される場合に、表示情報の提示位置に対して、発光期間Ｔ２０３と表示情報の動きとに応じた補正Ｇ２１７が適用されている。これにより、暗所に重畳するように提示される場合における表示情報の軌跡Ｇ２０１の延長線上に、明所においてユーザに視認される当該表示情報の軌跡Ｇ２１５が略一致することとなる。これは、表示情報が重畳される位置が暗所から明所に変化するように移動した場合と、当該表示情報が重畳される位置が当該明所から暗所に変化するように移動する場合と、のいずれにおいても同様である。また、変形例２においては、表示情報の動き（換言すると、表示情報として提示されるオブジェクトの動き）に関する情報が「第１の情報」の一例に相当する。

【0151】

以上のような制御により、表示情報自体が動くような状況下においても、発光期間Ｔ２０３と表示情報の動きとに応じて当該表示情報の提示位置が補正されることで、当該発光期間Ｔ２０３に応じてユーザに知覚される表示情報の提示位置のずれを解消することが可能となる。

【0152】

このように、本開示の一実施形態に係る情報処理システムにおいては、視点の位置や姿勢が変化するか否かに関わらず、当該視点と表示情報との間の相対的な動き（例えば、相対的な位置や姿勢の変化）に応じて、当該表示情報の提示位置の補正を適用することで、ユーザに知覚される表示情報の提示位置のずれを解消することが可能となる。即ち、視点の位置や姿勢が変化し、かつ表示情報自体が動くような状況下においても、当該視点と当該表示情報との間の相対的な動きと、当該表示情報の提示に係る発光期間と、に応じて、当該表示情報の提示位置が補正されればよい。なお、この場合には、視点と表示情報との間の相対的な位置や姿勢の変化方向に沿って当該表示情報の提示位置が補正されればよい。また、表示情報の提示位置の補正量については、発光期間に基づき算出される予測時間と、当該予測時間における視点と表示情報との間の相対的な動きの量（例えば、位置や姿勢の変化量）と、に応じて算出することが可能である。また、この場合には、視点と表示情報との間の相対的な動きに関する情報が「第１の情報」の一例に相当する。

【0153】

以上、変形例２として、図１４～図１６を参照して、例えば、アニメーション等により表示情報自体が移動し得るような状況下における、出力部を介した当該表示情報の提示に係る制御の一例について、特に、当該表示情報の移動に伴い発光期間を制御する状況に着目して説明した。

【0154】

＜＜４．ハードウェア構成＞＞
続いて、本実施形態に係る情報処理システムを構成する情報処理装置１０のハードウェア構成の一例について説明する。

【0155】

＜４．１．独立して動作可能な装置としての構成例＞
まず、図１７を参照して、前述した情報処理装置１０に相当する構成を、ＰＣ、スマートフォン、サーバ等のような独立して動作可能な装置（以降では、便宜上「情報処理装置９００」とも称する）として実現する場合における、当該情報処理装置９００のハードウェア構成の一例について、詳細に説明する。図１７は、本開示の一実施形態に係る情報処理システムを構成する情報処理装置９００のハードウェア構成の一例を示す機能ブロック図である。

【0156】

本実施形態に係る情報処理システム１を構成する情報処理装置９００は、主に、ＣＰＵ９０１と、ＲＯＭ９０２と、ＲＡＭ９０３と、を備える。また、情報処理装置９００は、更に、ホストバス９０７と、ブリッジ９０９と、外部バス９１１と、インタフェース９１３と、入力装置９１５と、出力装置９１７と、ストレージ装置９１９と、ドライブ９２１と、接続ポート９２３と、通信装置９２５とを備える。

【0157】

ＣＰＵ９０１は、演算処理装置及び制御装置として機能し、ＲＯＭ９０２、ＲＡＭ９０３、ストレージ装置９１９又はリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置９００内の動作全般又はその一部を制御する。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるホストバス９０７により相互に接続されている。なお、図１１を参照して前述した、認識処理部１０１、描画処理部１０３、補正処理部１０５、出力制御部１０７、及び演算部１０９は、例えば、ＣＰＵ９０１により実現され得る。

【0158】

ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。また、外部バス９１１には、インタフェース９１３を介して、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３及び通信装置９２５が接続される。

【0159】

入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、レバー及びペダル等、ユーザが操作する操作手段である。また、入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器９２９であってもよい。さらに、入力装置９１５は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。情報処理装置９００のユーザは、この入力装置９１５を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。

【0160】

出力装置９１７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で構成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９１７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト又はイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。なお、図１１を参照して前述した、出力部２１１は、例えば、出力装置９１７により実現され得る。

【0161】

ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ等を格納する。

【0162】

ドライブ９２１は、記録媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２７に記録を書き込むことも可能である。リムーバブル記録媒体９２７は、例えば、ＤＶＤメディア、ＨＤ－ＤＶＤメディア又はＢｌｕ－ｒａｙ（登録商標）メディア等である。また、リムーバブル記録媒体９２７は、コンパクトフラッシュ（登録商標）（ＣＦ：ＣｏｍｐａｃｔＦｌａｓｈ）、フラッシュメモリ又はＳＤメモリカード（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ ｍｅｍｏｒｙ ｃａｒｄ）等であってもよい。また、リムーバブル記録媒体９２７は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ ｃａｒｄ）又は電子機器等であってもよい。

【0163】

接続ポート９２３は、情報処理装置９００に直接接続するためのポートである。接続ポート９２３の一例として、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）ポート等がある。接続ポート９２３の別の例として、ＲＳ－２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ポート等がある。この接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置９００は、外部接続機器９２９から直接各種のデータを取得したり、外部接続機器９２９に各種のデータを提供したりする。

【0164】

通信装置９２５は、例えば、通信網（ネットワーク）９３１に接続するための通信デバイス等で構成された通信インタフェースである。通信装置９２５は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード等である。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９２５は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置９２５に接続される通信網９３１は、有線又は無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信又は衛星通信等であってもよい。

【0165】

以上、本開示の実施形態に係る情報処理システム１を構成する情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。なお、図１７では図示しないが、本実施形態に係る情報処理システム１を構成する情報処理装置９００に対応する各種の構成を当然備える。

【0166】

なお、上述のような本実施形態に係る情報処理システム１を構成する情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。また、当該コンピュータプログラムを実行させるコンピュータの数は特に限定されない。例えば、当該コンピュータプログラムを、複数のコンピュータ（例えば、複数のサーバ等）が互いに連携して実行してもよい。なお、単数のコンピュータ、または、複数のコンピュータが連携するものを、「コンピュータシステム」とも称する。

【0167】

以上、図１７を参照して、前述した情報処理装置１０に相当する構成を、ＰＣ、スマートフォン、サーバ等のような独立して動作可能な情報処理装置９００として実現する場合における、当該情報処理装置９００のハードウェア構成の一例について、詳細に説明した。

【0168】

＜４．２．チップとして実現する場合の構成例＞
続いて、図１８を参照して、前述した情報処理装置１０に相当する構成を、ＧＰＵ等のようなチップ（以降では、便宜上「チップ９５０」とも称する）として実現する場合における、当該チップ９５０のハードウェア構成の一例について、詳細に説明する。図１８は、本開示の一実施形態に係る情報処理システムを構成する情報処理装置をチップとして実現した場合のハードウェア構成の一例を示す機能ブロック図である。

【0169】

図１８に示すように、チップ９５０は、画像処理ユニット（ＧＣＡ：Graphics and Compute Array）９５１と、記憶デバイス（ＧＭＣ：Graphics Memory Controller）９５３と、ディスプレイインタフェース（ＤＩＦ：Display Interface）９５５と、バスインタフェース（ＢＩＦ：Bus Interface）９５７と、電源制御ユニット（ＰＭＵ：Power Management Unit）９６１と、起動制御ユニット（ＶＧＡＢＩＯＳ）９６３とを含む。また、画像処理ユニット９５１と記憶デバイス９５３との間に圧縮処理ユニット（Compression Unit）９５９が介在してもよい。

【0170】

画像処理ユニット９５１は、画像処理に係る各種処理を実行するプロセッサに相当する。具体的な一例として、画像処理ユニット９５１は、前述したオブジェクトの投影に係る処理、当該投影の結果に応じた表示情報の描画に係る処理、及びリプロジェクション等のような当該表示情報の補正に係る処理等のような各種演算処理を実行する。また、このとき画像処理ユニット９５１は、記憶デバイス９５３に記憶されたデータを読み出し、当該データを各種演算処理の実行に利用してもよい。なお、図１１を参照して前述した、認識処理部１０１、描画処理部１０３、補正処理部１０５、出力制御部１０７、及び演算部１０９の各処理は、例えば、画像処理ユニット９５１による演算処理により実現され得る。

【0171】

記憶デバイス９５３は、各種データを一時的または恒久的に記憶するための構成である。具体的な一例として、記憶デバイス９５３は、画像処理ユニット９５１による各種演算処理の実行結果に応じたデータを記憶してもよい。記憶デバイス９５３は、例えば、ＶＲＡＭ（Video RAM）、ＷＲＡＭ（Window RAM）、ＭＤＲＡＭ（Multibank DRAM）、ＤＤＲ（Double－Data－Rate）、ＧＤＤＲ（Graphics DDR）、ＨＢＭ（High Bandwidth Memory）等の技術に基づき実現され得る。

【0172】

圧縮処理ユニット９５９は、各種データの圧縮及び解凍を行う。具体的な一例として、圧縮処理ユニット９５９は、画像処理ユニット９５１による演算結果に応じたデータが記憶デバイス９５３に記憶される際に、当該データを圧縮してもよい。また、圧縮処理ユニット９５９は、画像処理ユニット９５１が記憶デバイス９５３に記憶されたデータを読み出す際に、当該データが圧縮されている場合には、当該データを解凍してもよい。

【0173】

ディスプレイインタフェース９５５は、チップ９５０がディスプレイ（例えば、図１１に示す出力部２１１）との間でデータの送受信を行うためのインタフェースである。具体的な一例として、画像処理ユニット９５１による表示情報の描画の結果が、ディスプレイインタフェース９５５を介してディスプレイに出力される。また、他の一例として、画像処理ユニット９５１による表示情報の描画の結果が記憶デバイス９５３に保持されている場合には、記憶デバイス９５３に保持された当該描画の結果が、ディスプレイインタフェース９５５を介してディスプレイに出力される。

【0174】

バスインタフェース９５７は、チップ９５０が他の機器や外部の装置とデータの送受信を行うためのインタフェースである。具体的な一例として、記憶デバイス９５３に記憶されたデータが、バスインタフェース９５７を介して、他の機器や外部の装置に送信される。また、他の機器や外部の装置から送信されたデータは、バスインタフェース９５７を介してチップ９５０に入力される。なお、チップ９５０に入力されたデータは、例えば、記憶デバイス９５３に記憶される。

【0175】

電源制御ユニット９６１は、チップ９５０の各部への電力の供給を制御するための構成である。

【0176】

起動制御ユニット９６３は、チップ９５０の起動時に、当該起動に係る各種処理や情報の入出力等の管理や管制を行うための構成である。起動制御ユニット９６３は、所謂ＶＧＡＢＩＯＳ（Video Graphics Array Basic Input／Output System）に相当する。

【0177】

以上、図１８を参照して、前述した情報処理装置１０に相当する構成を、ＧＰＵ等のようなチップ９５０として実現する場合における、当該チップ９５０のハードウェア構成の一例について、詳細に説明した。なお、本開示においては、「情報処理装置」として記載した場合には、図１７に示すような１つの装置として実現する場合に加え、図１８に示すように、装置に組み込まれるチップ（換言すると、部品）として実現する場合も含み得るものとする。

【0178】

＜＜５．むすび＞＞
以上説明したように、本開示の一実施形態に係る情報処理システムにおいて、情報処理装置は、取得部と、制御部とを備える。取得部は、視点と表示情報との間の相対的な動きに関する第１の情報と、表示領域への前記表示情報の提示のための発光期間に関する第２の情報と、を取得する。制御部は、上記第１の情報及び上記第２の情報に基づき、前記表示情報が前記表示領域に提示されるように制御する。また、上記制御部は、上記発光期間における上記視点と上記表示情報との間の相対的な動きに応じて、上記表示領域における上記表示情報の提示位置を補正する。具体的には、上記制御部は、予測の基点として設定されたタイミングと、上記第２の情報に応じた前記発光期間の中心と、に基づき、予測時間を算出し、当該予測時間における上記視点と上記表示情報との間の相対的な位置の変化に基づき、上記表示領域における上記表示情報の提示位置を補正する。

【0179】

以上のような制御により、本開示の一実施形態に係る情報処理システムに依れば、発光期間の制御に応じて、表示情報の提示位置が本来想定される位置からずれたように知覚されるような事態の発生を防止することが可能となる。そのため、本開示の一実施形態に係る情報処理システムに依れば、表示情報の提示に係る発光期間が変化し得る状況下においても、より好適な態様で当該表示情報を提示可能となる。換言すると、本開示の一実施形態に係る情報処理システムに依れば、周囲の環境の明るさ（照度）が変化した場合においても、当該明るさの変化に応じてより好適な態様でユーザに表示情報を提示することが可能となる。

【0180】

なお、上記では、出力部として透過型のディスプレイを適用した頭部装着型のデバイスに対して本開示の一実施形態に係る技術を適用する場合に着目して説明したが、必ずしも当該技術の適用先を限定するものではない。即ち、視点に対して表示情報が相対的に動くような状況での利用が想定され、かつ発光期間により当該表示情報の明るさを制御することが可能なデバイスであれば、本開示の一実施形態に係る技術を適用することが可能である。具体的な一例として、出力部として、投影面に対して画像を投影することでユーザに表示情報を提示するデバイスについても、本開示の一実施形態に係る技術を適用することが可能である。なお、この場合においても、視点（換言すると、プロジェクタ）に対して表示情報が相対的に動くような状況であれば、当該視点が動くか否かに関わらず、本開示の一実施形態に係る技術を適用することが可能である。

【0181】

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

【0182】

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

【0183】

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
視点と表示情報との間の相対的な動きに関する第１の情報と、表示領域への前記表示情報の提示のための発光期間に関する第２の情報と、を取得する取得部と、
前記第１の情報及び前記第２の情報に基づき、前記表示情報が前記表示領域に提示されるように制御する制御部と、
を備え、
前記制御部は、前記発光期間における前記視点と前記表示情報との間の相対的な動きに応じて、前記表示領域における前記表示情報の提示位置を補正する、
情報処理装置。
（２）
前記制御部は、前記第２の情報に応じた前記発光期間の中心に基づき、前記表示領域における前記表示情報の提示位置を補正する、前記（１）に記載の情報処理装置。
（３）
前記制御部は、ユーザに知覚される前記提示位置のずれを予測するための基点として設定されたタイミングと前記発光期間の中心との間の予測時間を算出し、当該予測時間における前記視点と前記表示情報との間の相対的な位置の変化に基づき、前記表示領域における前記表示情報の提示位置を補正する、前記（２）に記載の情報処理装置。
（４）
前記制御部は、前記予測時間に応じて、前記表示領域における前記表示情報の提示位置の補正量を制御する、前記（３）に記載の情報処理装置。
（５）
前記制御部は、前記視点の位置及び姿勢のうち少なくともいずれかに応じた、前記表示情報の提示位置の補正に係る遅延と、前記表示情報の描画に係る遅延と、のうちの少なくともいずれかに基づき、前記予測時間を算出する、前記（３）または（４）に記載の情報処理装置。
（６）
前記制御部は、前記視点と前記表示情報との間の相対的な位置の変化方向に沿って、前記表示領域における当該表示情報の提示位置を補正する、前記（１）～（５）のいずれか一項に記載の情報処理装置。
（７）
前記制御部は、前記視点と前記表示情報との間の相対的な位置の変化量に応じて、前記表示領域における当該表示情報の提示位置の補正量を制御する、前記（１）～（６）のいずれか一項に記載の情報処理装置。
（８）
前記発光期間は、外光の明るさに応じて制御される、前記（１）～（７）のいずれか一項に記載の情報処理装置。
（９）
前記発光期間は、外光の影響の調整量に応じて制御される、前記（８）に記載の情報処理装置。
（１０）
前記発光期間は、前記表示領域への前記表示情報の提示のための発光出力に応じて制御される、前記（１）～（９）のいずれか一項に記載の情報処理装置。
（１１）
前記第１の情報は、前記視点の位置及び姿勢のうち少なくともいずれかの変化に応じた情報である、前記（１）～（１０）のいずれか一項に記載の情報処理装置。
（１２）
前記第１の情報は、前記表示情報として表示されるオブジェクトの動きに応じた情報である、前記（１）～（１１）のいずれか一項に記載の情報処理装置。
（１３）
前記表示領域は、透過型の出力部の表示領域である、前記（１）～（１２）のいずれか一項に記載の情報処理装置。
（１４）
ユーザの頭部に対して装着された状態において、前記出力部の前記表示領域が当該ユーザの眼前に位置するように支持する支持部を備える、前記（１３）に記載の情報処理装置。
（１５）
前記制御部は、前記第１の情報に基づき、実空間内の物体に対して前記表示情報が重畳するように制御する、前記（１）～（１４）のいずれか一項に記載の情報処理装置。
（１６）
前記制御部は、前記表示領域に含まれる部分領域のそれぞれについて、当該部分領域に対する前記表示情報の提示に係る前記発光期間における前記視点と前記表示情報との間の相対的な動きに基づき、当該部分領域における当該表示情報の提示位置を補正する、前記（１）～（１５）のいずれか一項に記載の情報処理装置。
（１７）
コンピュータが、
視点と表示情報との間の相対的な動きに関する第１の情報と、表示領域への前記表示情報の提示のための発光期間に関する第２の情報と、を取得することと、
前記第１の情報及び前記第２の情報に基づき、前記表示情報が前記表示領域に提示されるように制御することと、
を含み、
前記発光期間における前記視点と前記表示情報との間の相対的な動きに応じて、前記表示領域における前記表示情報の提示位置が補正される、
情報処理方法。
（１８）
コンピュータに、
視点と表示情報との間の相対的な動きに関する第１の情報と、表示領域への前記表示情報の提示のための発光期間に関する第２の情報と、を取得することと、
前記第１の情報及び前記第２の情報に基づき、前記表示情報が前記表示領域に提示されるように制御することと、
を実行させ、
前記発光期間における前記視点と前記表示情報との間の相対的な動きに応じて、前記表示領域における前記表示情報の提示位置が補正される、
プログラムが記録された記録媒体。
（１９）
頭部装着型の表示装置の光学的透過性を有する表示部に、当該表示装置を装着したユーザから見て、実空間の所定の絶対座標に仮想オブジェクトが位置するように前記表示部を制御する表示制御部と、
照度センサから外光の照度に関する情報を取得する照度情報取得部と、
を備え、
前記表示制御部は、前記外光の照度が高いほど、発光期間がより長くなるように前記表示部を制御し、
前記表示制御部は、前記仮想オブジェクトが前記表示部の表示領域内で一方向に向けて移動する場合において、
前記外光の照度が第１の照度である場合に、前記ユーザから見て、前記表示領域内の第１の位置に前記仮想オブジェクトを表示させ、
前記外光の照度が前記第１の照度よりも高い第２の照度である場合に、前記ユーザから見て、前記水平方向において前記表示領域内の前記第１の位置よりも前記一方向側の第２の位置に前記仮想オブジェクトを表示させる、
情報処理装置。
（２０）
前記ユーザの視点と前記仮想オブジェクトとの間の相対的な動きに関する情報を取得する認識処理部をさらに備え、
前記表示制御部は、前記発光期間における前記視点と前記仮想オブジェクトとの間の相対的な動きに応じて、前記表示部における前記仮想オブジェクトの提示位置を補正する、
前記（１９）に記載の情報処理装置。

【符号の説明】

【0184】

１ 情報処理システム
１０ 情報処理装置
１０１ 認識処理部
１０３ 描画処理部
１０５ 補正処理部
１０７ 出力制御部
１０９ 演算部
１１１ 処理ブロック
２０ 入出力装置
２０１ 撮像部
２１１ 出力部
２５１ 第１検知部
２５３ 第２検知部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】