特許 6620740 情報処理装置、情報処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6620740

(24)【登録日】2019年11月29日

(45)【発行日】2019年12月18日

(54)【発明の名称】情報処理装置、情報処理方法およびプログラム

(51)【国際特許分類】

   G06F 3/0481 20130101AFI20191209BHJP

   G06F 3/0484 20130101ALI20191209BHJP

   G06F 3/01 20060101ALI20191209BHJP

   G03B 21/14 20060101ALI20191209BHJP

   G09G 5/00 20060101ALI20191209BHJP

   G09G 5/36 20060101ALI20191209BHJP

   G09G 5/377 20060101ALI20191209BHJP

   H04N 5/74 20060101ALI20191209BHJP

【ＦＩ】

   G06F3/0481

   G06F3/0484 120

   G06F3/0484 150

   G06F3/01 570

   G03B21/14 Z

   G09G5/00 510B

   G09G5/00 550C

   G09G5/36 520P

   G09G5/00 510Q

   G09G5/00 510H

   G09G5/36 520E

   G09G5/36 520M

   H04N5/74 Z

【請求項の数】8

【全頁数】32

(21)【出願番号】特願2016-517819(P2016-517819)

(86)(22)【出願日】2015年1月20日

(86)【国際出願番号】JP2015051339

(87)【国際公開番号】WO2015170483

(87)【国際公開日】20151112

【審査請求日】2017年11月27日

(31)【優先権主張番号】特願2014-97575(P2014-97575)

(32)【優先日】2014年5月9日

(33)【優先権主張国】JP

【前置審査】

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニー株式会社

(74)【代理人】

【識別番号】100112955

【弁理士】

【氏名又は名称】丸島 敏一

(72)【発明者】

【氏名】川上 洋生

(72)【発明者】

【氏名】坂口 仁志

【審査官】 萩島 豪

(56)【参考文献】

【文献】 特開２００９−２２６０８１（ＪＰ，Ａ）

【文献】 特開２０１０−１２８１３３（ＪＰ，Ａ）

【文献】 特開２００７−２９９３３０（ＪＰ，Ａ）

【文献】 特開２００１−１５４７６８（ＪＰ，Ａ）

【文献】 特開２００６−２５２４６８（ＪＰ，Ａ）

【文献】 特開２０１２−１３８６８６（ＪＰ，Ａ）

【文献】 特開２０１２−１７４２４３（ＪＰ，Ａ）

【文献】 特開２００３−３０２７０１（ＪＰ，Ａ）

【文献】 特開２００６−０５３９０９（ＪＰ，Ａ）

【文献】 国際公開第２００８／１２００２０（ＷＯ，Ａ２）

【文献】 米国特許出願公開第２０１３／０２６５５０２（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２００６／０１４６０１５（ＵＳ，Ａ１）

【文献】 永松明，外３名，屋内環境におけるハンドヘルド型プロジェクションＡＲ案内システム，日本バーチャルリアリティ学会第１２回大会論文抄録集，日本，日本バーチャルリアリティ学会，２００７年 ９月１９日

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６３Ｆ １３／００

Ｇ０３Ｂ ２１／００ − ２１／１０

２１／１２ − ２１／１３

２１／１３４ − ２１／３０

３３／００ − ３３／１６

Ｇ０６Ｆ ３／０１

３／０４８ − ３／０４８９

Ｈ０４Ｎ ５／７４

Ｇ０９Ｇ ５／００ − ５／４０

(57)【特許請求の範囲】

【請求項1】

表示対象となる画像の一部を投影面に投影して表示させる投影部と前記投影面との相対的な位置関係に基づいて特定される前記投影面に表示される画像の表示領域と前記表示対象となる画像に関連付けられている制御情報とに基づいて前記投影面に表示される画像に関する制御を行う制御部と、
前記投影部の姿勢を検出する姿勢検出部とを具備し、
前記制御部は、所定の動作モードが設定され、前記投影面に表示される画像に対象物が含まれない場合には、前記対象物への方向を示す矢印を表示させるとともに前記矢印に重ねて前記対象物の名称を表示させ、
前記制御部は、前記所定の動作モードと異なる動作モードが設定された場合には前記画像内の複数の対象物のうちランダムに選択した対象物の名称を表示させ、前記検出された投影部の姿勢に基づいて前記投影面に表示させる画像の表示領域を変更する制御を行い、変更後の画像の表示領域内に前記選択した対象物が含まれた状態で所定のユーザ操作が行われたときに当該画像に関連付けられている前記制御情報に基づいて前記投影面に表示される画像に関する音声出力を行うよう制御する
情報処理装置。

【請求項2】

前記制御部は、前記表示対象となる画像として背景画像を表示させるとともに前記制御情報に基づいて複数の項目画像を前記背景画像上に表示させる制御を行う請求項１記載の情報処理装置。

【請求項3】

前記投影部の姿勢を検出する姿勢検出部をさらに具備し、
前記制御部は、前記検出された投影部の姿勢に基づいて前記投影面に表示させる画像の表示領域を変更する制御を行う
請求項１または２に記載の情報処理装置。

【請求項4】

前記制御部は、前記変更後の画像の表示領域と当該画像に関連付けられている前記制御情報とに基づいて前記投影面に表示される画像の表示態様を制御する請求項３記載の情報処理装置。

【請求項5】

前記制御部は、前記情報処理装置および前記投影面間の距離を検出する距離検出部をさらに具備し、
前記制御部は、前記検出された距離に基づいて前記投影面に表示される画像の表示領域を変更する
請求項１から４のいずれかに記載の情報処理装置。

【請求項6】

前記制御部は、前記表示対象となる画像として撮像動作時における撮像装置の方位、姿勢、位置情報のうちの少なくとも１つの情報が関連付けられている画像を表示させ、当該情報に基づいて前記投影面に表示される画像の表示領域を変更する請求項１から５のいずれかに記載の情報処理装置。

【請求項7】

表示対象となる画像の一部を投影面に投影して表示させる投影部と前記投影面との相対的な位置関係に基づいて特定される前記投影面に表示される画像の表示領域と前記表示対象となる画像に関連付けられている制御情報とに基づいて前記投影面に表示される画像に関する制御を行う制御手順と、
前記投影部の姿勢を検出する姿勢検出手順と
を具備し、
前記制御手順において、所定の動作モードが設定され、前記投影面に表示される画像に対象物が含まれない場合には、前記対象物への方向を示す矢印を表示させるとともに前記矢印に重ねて前記対象物の名称を表示させ、
前記制御手順において、前記所定の動作モードと異なる動作モードが設定された場合には前記画像内の複数の対象物のうちランダムに選択した対象物の名称を表示させ、前記検出された投影部の姿勢に基づいて前記投影面に表示させる画像の表示領域を変更する制御を行い、変更後の画像の表示領域内に前記選択した対象物が含まれた状態で所定のユーザ操作が行われたときに当該画像に関連付けられている前記制御情報に基づいて前記投影面に表示される画像に関する音声出力を行うよう制御する
情報処理方法。

【請求項8】

表示対象となる画像の一部を投影面に投影して表示させる投影部と前記投影面との相対的な位置関係に基づいて特定される前記投影面に表示される画像の表示領域と前記表示対象となる画像に関連付けられている制御情報とに基づいて前記投影面に表示される画像に関する制御を行う制御手順と、
前記投影部の姿勢を検出する姿勢検出手順と
をコンピュータに実行させるためのプログラムであって、
前記制御手順において、所定の動作モードが設定され、前記投影面に表示される画像に対象物が含まれない場合には、前記対象物への方向を示す矢印を表示させるとともに前記矢印に重ねて前記対象物の名称を表示させ、
前記制御手順において、前記所定の動作モードと異なる動作モードが設定された場合には前記画像内の複数の対象物のうちランダムに選択した対象物の名称を表示させ、前記検出された投影部の姿勢に基づいて前記投影面に表示させる画像の表示領域を変更する制御を行い、変更後の画像の表示領域内に前記選択した対象物が含まれた状態で所定のユーザ操作が行われたときに当該画像に関連付けられている前記制御情報に基づいて前記投影面に表示される画像に関する音声出力を行うよう制御する
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本技術は、情報処理装置に関する。詳しくは、画像を投影面に投影して表示させる情報処理装置および情報処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。

【背景技術】

【0002】

従来、画像を表示させる情報処理装置が存在する。例えば、スクリーンに画像を投影してそのスクリーンに画像を表示させるプロジェクタ等の情報処理装置が提案されている。

【0003】

例えば、ジャイロ機能等を用いて、投射スクリーンの看視領域に表示されるべき部分映像を投射するプロジェクタを備える映像表示システムが提案されている（例えば、特許文献１参照。）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１１−８５７１２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上述の従来技術では、ユーザの向きに応じた画像を投影面に表示させることができる。

【0006】

ここで、例えば、ユーザの向きに応じた画像の投影面への表示以外に、ユーザ体験をさらに高める表示制御を行うことが重要である。

【0007】

本技術はこのような状況に鑑みて生み出されたものであり、投影面に投影される画像の表示制御を適切に行うことを目的とする。

【課題を解決するための手段】

【0008】

本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、表示対象となる画像の一部を投影面に投影して表示させる投影部と上記投影面との相対的な位置関係に基づいて特定される上記投影面に表示される画像の表示領域と上記表示対象となる画像に関連付けられている制御情報とに基づいて上記投影面に表示される画像に関する制御を行う制御部を具備する情報処理装置およびその情報処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、投影部と投影面との相対的な位置関係に基づいて特定される投影面に表示される画像の表示領域と、表示対象となる画像に関連付けられている制御情報とに基づいて、投影面に表示される画像に関する制御を行うという作用をもたらす。

【0009】

また、この第１の側面において、上記制御部は、上記制御情報に基づいて複数の項目画像を上記投影面に表示させ、上記投影面に表示される上記複数の項目画像の表示位置に基づいて上記複数の項目画像のうちの所定数の項目画像を選択状態とする制御を行うようにしてもよい。これにより、制御情報に基づいて複数の項目画像を上記投影面に表示させ、投影面に表示される複数の項目画像の表示位置に基づいて、複数の項目画像のうちの所定数の項目画像を選択状態とするという作用をもたらす。

【0010】

また、この第１の側面において、上記制御部は、上記表示対象となる画像として背景画像を表示させるとともに上記制御情報に基づいて複数の項目画像を上記背景画像上に表示させる制御を行うようにしてもよい。これにより、複数の項目画像を背景画像上に表示させるという作用をもたらす。

【0011】

また、この第１の側面において、上記投影部の姿勢を検出する姿勢検出部をさらに具備し、上記制御部は、上記検出された投影部の姿勢に基づいて上記投影面に表示させる画像の表示領域を変更する制御を行うようにしてもよい。これにより、投影部の姿勢に基づいて、投影面に表示させる画像の表示領域を変更するという作用をもたらす。

【0012】

また、この第１の側面において、上記制御部は、上記変更後の画像の表示領域と当該画像に関連付けられている上記制御情報とに基づいて上記投影面に表示される画像の表示態様を制御するようにしてもよい。これにより、変更後の画像の表示領域と、その画像に関連付けられている制御情報とに基づいて、投影面に表示される画像の表示態様を制御するという作用をもたらす。

【0013】

また、この第１の側面において、上記制御部は、上記変更後の画像の表示領域と当該画像に関連付けられている上記制御情報とに基づいて上記投影面に表示される画像に関する音声出力を行うよう制御するようにしてもよい。これにより、変更後の画像の表示領域と、その画像に関連付けられている制御情報とに基づいて、投影面に表示される画像に関する音声出力を行うという作用をもたらす。

【0014】

また、この第１の側面において、上記制御情報は、上記表示対象となる画像に含まれる対象物に関する情報を含み、上記制御部は、上記投影面に表示される画像に含まれる上記対象物に関する情報を表示させるようにしてもよい。これにより、投影面に表示される画像に含まれる対象物に関する情報を表示させるという作用をもたらす。

【0015】

また、この第１の側面において、上記制御部は、上記投影面に表示される画像に上記対象物が含まれない場合には、上記対象物が含まれる画像を表示させるためのアシスト情報を表示させるようにしてもよい。これにより、投影面に表示される画像に対象物が含まれない場合には、その対象物が含まれる画像を表示させるためのアシスト情報を表示させるという作用をもたらす。

【0016】

また、この第１の側面において、上記制御部は、上記対象物を表示させるための問題を表示させ、上記問題の表示後において上記投影面に表示される画像に上記対象物が含まれる場合には、上記対象物に関する特定の演出を行うよう制御するようにしてもよい。これにより、対象物を表示させるための問題を表示させ、その問題の表示後において投影面に表示される画像にその対象物が含まれる場合には、その対象物に関する特定の演出を行うという作用をもたらす。

【0017】

また、この第１の側面において、上記制御部は、上記投影面に表示される画像に特定対象物が含まれている状態で特定のユーザ操作が受け付けられた場合には上記特定対象物に関する特定の演出を行うよう制御するようにしてもよい。これにより、投影面に表示される画像に特定対象物が含まれている状態で特定のユーザ操作が受け付けられた場合には、その特定対象物に関する特定の演出を行うという作用をもたらす。

【0018】

また、この第１の側面において、上記制御情報は、上記検出された投影部の姿勢の変化に関する軌跡と上記表示対象となる画像とが関連付けられている軌跡情報を含み、上記制御部は、上記投影面に表示される画像に関連付けられている上記軌跡に関する情報を表示させるようにしてもよい。これにより、投影面に表示される画像に関連付けられている軌跡に関する情報を表示させるという作用をもたらす。

【0019】

また、この第１の側面において、上記制御部は、上記情報処理装置および上記投影面間の距離を検出する距離検出部をさらに具備し、上記制御部は、上記検出された距離に基づいて上記投影面に表示される画像の表示領域を変更するようにしてもよい。これにより、情報処理装置および投影面間の距離に基づいて、投影面に表示される画像の表示領域を変更するという作用をもたらす。

【0020】

また、この第１の側面において、上記制御部は、上記表示対象となる画像として撮像動作時における撮像装置の方位、姿勢、位置情報のうちの少なくとも１つの情報が関連付けられている画像を表示させ、当該情報に基づいて上記投影面に表示される画像の表示領域を変更するようにしてもよい。これにより、撮像動作時における撮像装置の方位、姿勢、位置情報のうちの少なくとも１つの情報が関連付けられている画像を表示させ、その情報に基づいて投影面に表示される画像の表示領域を変更するという作用をもたらす。

【発明の効果】

【0021】

本技術によれば、投影面に投影される画像の表示制御を適切に行うことができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

【図面の簡単な説明】

【0022】

【図1】本技術の第１の実施の形態における情報処理装置１００の使用例を示す図である。

【図2】本技術の第１の実施の形態における情報処理装置１００の機能構成例を示すブロック図である。

【図3】本技術の第１の実施の形態における空間位置アクション記憶部１４１の内容例を示す図である。

【図4】本技術の第１の実施の形態における情報処理装置１００により投影された画像の表示例を示す図である。

【図5】本技術の第１の実施の形態における情報処理装置１００と、表示対象となる全天球の画像データとの関係を模式的に示す図である。

【図6】本技術の第１の実施の形態における情報処理装置１００により投影された画像の表示例を示す図である。

【図7】本技術の第１の実施の形態における情報処理装置１００による画像表示処理の処理手順の一例を示すフローチャートである。

【図8】本技術の第１の実施の形態における情報処理装置１００により投影された画像の表示例を示す図である。

【図9】本技術の第１の実施の形態における情報処理装置１００により投影される画像の一例を示す図である。

【図10】本技術の第１の実施の形態における情報処理装置１００により投影された画像の表示例を示す図である。

【図11】本技術の第１の実施の形態における情報処理装置１００を用いてシューティングゲームをしている場合を簡略的に示す図である。

【図12】本技術の第１の実施の形態における情報処理装置１００により投影される画像３５０乃至３５３の遷移例を示す図である。

【図13】本技術の第１の実施の形態における情報処理装置１００により投影された画像の表示例を示す図である。

【図14】本技術の第２の実施の形態における情報処理装置１００により投影される画像の一例を示す図である。

【図15】本技術の第２の実施の形態における情報処理装置１００により表示される投影画像の表示遷移例を示す図である。

【図16】本技術の第２の実施の形態における情報処理装置１００によるメニューボタン選択処理の処理手順の一例を示すフローチャートである。

【図17】本技術の第３の実施の形態における情報処理装置１００および投影面間の距離と、情報処理装置１００により投影面に投影される画像との関係を示す図である。

【図18】本技術の第３の実施の形態における情報処理装置１００および投影面間の距離と、情報処理装置１００により投影面に投影される画像との関係を示す図である。

【図19】本技術の第１の実施の形態における情報処理装置１００および投影面１０を上から見た場合を簡略化して示す図である。

【図20】本技術の第３の実施の形態における情報処理装置１００による画像表示処理の処理手順の一例を示すフローチャートである。

【発明を実施するための形態】

【0023】

以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（空間位置アクション定義に基づいて、投影面に表示される画像に関する制御を行う例）
２．第２の実施の形態（複数の項目画像の中から所望の項目画像を選択する例）
３．第３の実施の形態（情報処理装置および投影面間の距離に基づいて、投影される画像の表示領域を変更する例）

【0024】

＜１．第１の実施の形態＞
［情報処理装置の使用例］
図１は、本技術の第１の実施の形態における情報処理装置１００の使用例を示す図である。

【0025】

情報処理装置１００は、投影面（投影スクリーン面）１０に画像を投影（投射）することにより、投影面１０に画像１１を表示させる画像投影機（例えば、プロジェクタ）である。なお、図１では、スクリーン、壁、天井等のように、画像を表示することができる平面形状（または、非平面形状）の面を投影面１０として模式的に示す。また、図１では、情報処理装置１００により投影される画像１１を白抜きの矩形で模式的に示す。なお、本技術の実施の形態に示す画像には、映像の意味を含むものとする。

【0026】

また、本技術の実施の形態では、図１に示すように、ユーザ１が、情報処理装置１００を手で持ちながら、投影面１０に画像を投影することが可能な携帯型の情報処理装置を例にして説明する。

【0027】

［情報処理装置の構成例］
図２は、本技術の第１の実施の形態における情報処理装置１００の機能構成例を示すブロック図である。

【0028】

情報処理装置１００は、操作受付部１１０と、空間位置情報生成部１２０と、空間画像・空間音像生成部１３０と、空間位置アクション生成部１４０と、画像・音像合成部１５０と、画像・音声生成部１６０と、出力部１７０と、制御部１８０とを備える。なお、投影面１０は、投影部１７２から投影される画像を映し出す投影面（例えば、プロジェクタモジュール等のスクリーン）である。

【0029】

操作受付部１１０は、ユーザにより行われた操作入力を受け付ける操作受付部であり、受け付けられた操作入力に応じた操作情報を制御部１８０に出力する。操作受付部１１０は、例えば、タッチパネル、キーボード、ボタン（例えば、図１１に示す特定ボタン１１１）、マウス、センサにより実現される。

【0030】

空間位置情報生成部１２０は、投影部１７２の姿勢、投影方向、投影部１７２および投影面１０間の距離等の空間位置に関する情報（空間位置情報）を生成するものであり、生成された空間位置情報を制御部１８０に出力する。具体的には、空間位置情報生成部１２０は、姿勢検出部１２１と、距離検出部１２２と、空間位置検出部１２３とを備える。

【0031】

姿勢検出部１２１は、投影部１７２の姿勢（投影部１７２が投影する方向（投影方向）を含む）を検出するものであり、検出された姿勢（投影方向）を空間位置検出部１２３に出力する。例えば、姿勢検出部１２１は、ジャイロセンサ、加速度センサ、コンパス等のセンサを用いて、投影部１７２の姿勢や投影方向を検出することができる。なお、投影方向は、例えば、ある方向（例えば、電源投入時における方向）を基準方向（例えば、０度）とした場合の方向（基準方向からの角度）とすることができる。また、投影方向の代わりに、投影部１７２が投影する方位（投影方位）を検出するようにしてもよい。投影方位については、例えば、地磁気を利用して地球上における方位を計測する方位センサを用いて検出することができる。

【0032】

距離検出部１２２は、投影部１７２および投影面１０間の距離を検出するものであり、検出された距離を空間位置検出部１２３に出力する。例えば、距離検出部１２２は、赤外線等の距離センサを用いて、投影部１７２および投影面１０間の距離を検出する。また、距離検出部１２２は、投影部１７２により投影された画像を撮像装置（図１９に示す撮像部１２４）により撮像し、その撮像された画像のずれを検出することにより、その距離を検出することができる。

【0033】

空間位置検出部１２３は、姿勢検出部１２１により検出された姿勢および投影方向と、距離検出部１２２により検出された距離とに基づいて、投影部１７２の空間位置を検出するものである。そして、空間位置検出部１２３は、その検出された空間位置に関する情報（空間位置情報）を制御部１８０に出力する。また、制御部１８０は、その空間位置情報を各部に出力する。

【0034】

空間画像・空間音像生成部１３０は、パノラマ画像、３６０度画像、全天球画像等の画像データに基づいて、仮想的な空間画像・空間音像を生成するものである。この場合に、空間位置データ記憶部１３３に空間位置データが記憶されている場合には、空間画像・空間音像生成部１３０は、その空間位置データを考慮して、仮想的な空間画像・空間音像を生成する。

【0035】

具体的には、空間画像・空間音像生成部１３０は、音声データ記憶部１３１と、画像データ記憶部１３２と、空間位置データ記憶部１３３と、空間音像生成部１３４と、空間画像生成部１３５とを備える。

【0036】

音声データ記憶部１３１は、音声データを記憶するものであり、記憶されている音声データを空間音像生成部１３４に供給する。

【0037】

画像データ記憶部１３２は、画像データを記憶するものであり、記憶されている画像データを空間画像生成部１３５に供給する。

【0038】

空間位置データ記憶部１３３は、音声データ記憶部１３１に記憶されている音声データと、画像データ記憶部１３２に記憶されている画像データとのそれぞれに関する空間位置データを記憶するものである。そして、空間位置データ記憶部１３３は、記憶されている空間位置データを空間音像生成部１３４および空間画像生成部１３５に供給する。

【0039】

ここで、空間位置データについて説明する。

【0040】

例えば、音声データおよび画像データが撮像装置による撮像動作により記録されたデータである場合には、空間位置データは、その撮像動作時における撮像装置の姿勢、光軸方向、撮像装置と対象物との距離、レンズの画角等のデータである。この場合には、その撮像動作により記録される音像データおよび画像データに関連付けて、空間位置データが記録される。なお、撮像装置は、例えば、デジタルスチルカメラ、デジタルビデオカメラ（例えば、カメラ一体型レコーダ）である。

【0041】

例えば、空間位置データとして、Ｐｈｏｔｏ Ｓｐｈｅｒｅ ＸＭＰ Ｍｅｔａｄａｔａのデータフォーマットに格納されているデータを用いることができる。なお、Ｐｈｏｔｏ Ｓｐｈｅｒｅ ＸＭＰ Ｍｅｔａｄａｔａは、全天球静止画のメタデータである。

【0042】

また、本技術の実施の形態では、Ｐｈｏｔｏ Ｓｐｈｅｒｅ ＸＭＰ Ｍｅｔａｄａｔａのデータフォーマットのうちの以下の（１）乃至（３）を主に用いることができる。
（１）ＧＰａｎｏ：ＰｏｓｅＨｅａｄｉｎｇＤｅｇｒｅｅｓ
（２）ＧＰａｎｏ：ＰｏｓｅＰｉｔｃｈＤｅｇｒｅｅｓ
（３）ＧＰａｎｏ：ＰｏｓｅＲｏｌｌＤｅｇｒｅｅｓ

【0043】

例えば、空間画像生成部１３５は、その空間位置データに基づいて、空間画像をマッピングする、位置、姿勢、大きさを決定して、空間画像を生成することができる。この生成例については、本技術の第３の実施の形態で示す。

【0044】

また、Ｐｈｏｔｏ Ｓｐｈｅｒｅ ＸＭＰ Ｍｅｔａｄａｔａのデータフォーマットでは、動画については定義されていない。そこで、上述した空間位置データを時間情報とともに時系列で記録させておき、動画再生時には、その時間情報と同期をとりながら、上述した空間位置データを用いることができる。これにより、例えば、動画再生時における姿勢補正を行うことができる。

【0045】

例えば、ダイビング中に撮影された全天球動画の画像において、このような空間位置データを時系列データとして記録することにより、ダイバーの撮影方向に影響されることなく、ユーザの見たい方向の画像を表示することができる。

【0046】

また、Ｐｈｏｔｏ Ｓｐｈｅｒｅ ＸＭＰ Ｍｅｔａｄａｔａのデータフォーマットには、姿勢、方位に関する情報は定義されているが、対象物までの距離に関する情報については定義されていない。そこで、上述した空間位置データを、対象物までの距離に関する情報とともに記録させておき、画像再生時には、対象物までの距離に関する情報を用いることができる。例えば、北側の１０ｍ離れた場所に存在する象の画像と、南側の１ｍ離れた場所に存在する猫の画像とがある場合に、その距離に応じて空間位置にマッピングすることにより、その大きさの違いを再現することができる。

【0047】

空間音像生成部１３４は、制御部１８０の制御に基づいて、音声データ記憶部１３１に記憶されている音声データと、空間位置データ記憶部１３３に記憶されている空間位置データとを用いて空間音像を生成するものである。そして、空間音像生成部１３４は、その生成された空間音像を音像合成部１５１に出力する。

【0048】

空間画像生成部１３５は、制御部１８０の制御に基づいて、画像データ記憶部１３２に記憶されている画像データと、空間位置データ記憶部１３３に記憶されている空間位置データとを用いて空間画像を生成するものである。そして、空間画像生成部１３５は、その生成された空間画像を画像合成部１５２に出力する。

【0049】

空間位置アクション生成部１４０は、空間位置情報生成部１２０により生成された空間位置に応じた空間画像や空間音像の効果を生成するものである。空間位置アクション生成部１４０は、例えば、全天球プラネタリウムにおいて、ポインタ上の星座の表示、ポインタの軌跡を残すことによるお絵かき機能を実現する。

【0050】

具体的には、空間位置アクション生成部１４０は、空間位置アクション記憶部１４１と、空間音像生成部１４２と、空間画像生成部１４３とを備える。

【0051】

空間位置アクション記憶部１４１は、空間位置毎のアクション定義を記憶するものであり、記憶されている空間位置毎のアクション定義を、空間音像生成部１４２、空間画像生成部１４３および制御部１８０に供給する。また、図１２、図１３に示すように、お絵かきが行われる場合には、その軌跡に関する情報が、制御部１８０により空間位置アクション記憶部１４１に順次記録される。すなわち、制御部１８０は、投影部１７２の姿勢の変化に関する軌跡と、表示対象となる画像とを関連付けて、空間位置アクション記憶部１４１に順次記録する。

【0052】

空間音像生成部１４２は、制御部１８０の制御に基づいて、空間音像を生成するものであり、その生成された空間音像を音像合成部１５１に出力する。例えば、空間音像生成部１４２は、空間位置情報生成部１２０により生成された空間位置情報に基づいて、空間位置アクション記憶部１４１に記憶されている空間位置毎のアクション定義を用いて、空間音像を生成する。また、例えば、空間音像生成部１４２は、ある方向がポイントされた際には、その右側から音を出すように音像を生成する。

【0053】

空間画像生成部１４３は、制御部１８０の制御に基づいて、空間画像を生成するものであり、その生成された空間画像を画像合成部１５２に出力する。例えば、空間画像生成部１４３は、空間位置情報生成部１２０により生成された空間位置情報に基づいて、空間位置アクション記憶部１４１に記憶されている空間位置毎のアクション定義を用いて、空間画像を生成する。

【0054】

画像・音像合成部１５０は、音像合成部１５１および画像合成部１５２を備える。

【0055】

音像合成部１５１は、空間画像・空間音像生成部１３０により生成された空間音像と、空間位置アクション生成部１４０により生成された空間音像とを合成（重ね合わせ）するものであり、その合成された空間音像を音声生成部１６１に出力する。

【0056】

画像合成部１５２は、空間画像・空間音像生成部１３０により生成された空間画像と、空間位置アクション生成部１４０により生成された空間画像とを合成（重ね合わせ）するものであり、その合成された空間画像を画像生成部１６２に出力する。

【0057】

画像・音声生成部１６０は、音声生成部１６１および画像生成部１６２を備える。

【0058】

音声生成部１６１は、音像合成部１５１により合成された空間音像について、空間位置情報生成部１２０により生成された空間位置情報に基づいて、音声の切り出し等を行うことにより、出力対象となる音声を生成するものである。そして、音声生成部１６１は、その生成された音声を音声出力部１７１に出力する。なお、空間位置情報には、投影部１７２の姿勢、投影方向、投影部１７２および投影面１０間の距離を含む。

【0059】

画像生成部１６２は、画像合成部１５２により合成された空間画像について、空間位置情報生成部１２０により生成された空間位置情報に基づいて、画像の切り出し等を行うことにより、出力対象となる画像を生成するものである。そして、画像生成部１６２は、その生成された画像を投影部１７２に出力する。

【0060】

出力部１７０は、音声出力部１７１および投影部１７２を備える。

【0061】

音声出力部１７１は、音声生成部１６１により生成された音声を出力する音声出力装置（例えば、スピーカ）である。

【0062】

投影部１７２は、画像生成部１６２により生成された画像を投影面１０に投影する画像出力装置である。すなわち、投影部１７２は、表示対象となる画像の一部を投影面１０に投影して表示させる。

【0063】

制御部１８０は、制御プログラムに基づいて情報処理装置１００の各部を制御するものである。例えば、制御部１８０は、投影部１７２と投影面１０との相対的な位置関係に基づいて特定される投影面１０に表示される画像の表示領域と、表示対象となる画像に関連付けられている制御情報とに基づいて、投影面１０に表示される画像に関する制御を行う。ここで、制御情報は、例えば、空間位置アクション記憶部１４１に記憶されている各情報である。

【0064】

例えば、制御部１８０は、投影部１７２の姿勢に基づいて、投影面１０に表示させる画像の表示領域を変更する。この場合に、制御部１８０は、投影面１０に表示させる画像の表示領域と、その画像に関連付けられている制御情報とに基づいて、投影面１０に表示される画像の表示態様を制御する。例えば、図４に示すように、星や星座に関する情報を表示させることができる。また、例えば、制御部１８０は、投影面１０に表示させる画像の表示領域と、その画像に関連付けられている制御情報とに基づいて、投影面１０に表示される画像に関する音声出力を行うよう制御することができる。例えば、図１１に示すように、ヒットした旨の音声出力を行うことができる。

【0065】

［空間位置アクション記憶部の内容例］
図３は、本技術の第１の実施の形態における空間位置アクション記憶部１４１の内容例を示す図である。

【0066】

空間位置アクション記憶部１４１には、動作モード２０１と、データ種別２０２と、空間位置情報種別２０３と、空間位置情報２０４と、アクション定義２０５と、付加情報２０６とが関連付けて格納されている。

【0067】

動作モード２０１には、情報処理装置１００により画像を投影する場合の動作モードが格納される。図３では、動作モード２０１として、プラネタリウム、空間位置当てクイズ、シューティング、お絵かきの各動作モードが格納される例を示す。また、各動作モードは、例えば、操作受付部１１０からのユーザ操作に基づいて設定されるものとする。

【0068】

プラネタリウムは、天体の星、星の運動等の画像（または、光）を投影面１０に投影して、投影面１０に星、星の運動等を再現する動作モードである。なお、動作モードとしてプラネタリウムが設定されている場合の表示例を、図４乃至図６に示す。

【0069】

例えば、動作モードとしてプラネタリウムが設定されている場合には、投影面１０における画像の表示領域（情報処理装置１００の姿勢に応じた領域）が、特定の星や星座の空間位置となった場合（または、近くになった場合）に、アクション定義が実行される。また、ユーザにより情報処理装置１００の姿勢が変更された場合には、その変更後の表示領域が、特定の星や星座の空間位置となった場合（または、近くになった場合）に、アクション定義が実行される。ここで、表示領域が、特定の星や星座の空間位置となったか否かの判断は、例えば、空間位置情報２０４に格納されている情報に基づいて行われる。

【0070】

空間位置当てクイズは、地図等の画像を投影面１０に投影して、投影面１０に表示される画像（例えば、地図）とともに、その画像に関するクイズ（問題）を表示させる動作モードである。なお、動作モードとして空間位置当てクイズが設定されている場合の表示例を、図８に示す。

【0071】

例えば、空間位置当てクイズは、空間位置データからランダムに選択し、そのアクション定義を実行して、その空間位置でのユーザアクションを待つ動作モードである。また、空間位置当てクイズでは、ユーザアクション（ユーザによる情報処理装置１００の姿勢の変更）時に空間位置が近ければ、正解アクションを行い、ユーザアクション時に空間位置が遠ければ、不正解アクションを行う。

【0072】

シューティングは、ターゲットとなる対象物（例えば、お化けの画像）を投影面１０に投影して、投影面１０に表示されるその対象物（例えば、お化けの画像）を撃ち落とすコンピュータゲームを行うための動作モードである。なお、動作モードとしてシューティングが設定されている場合の表示例を、図９乃至図１１に示す。

【0073】

例えば、シューティングは、最初に全てのターゲットデータのアクションを行い、ユーザアクションを待つ動作モードである。シューティングでは、ユーザアクション時に空間位置が近ければ、ヒットアクションを行う。

【0074】

お絵かきは、情報処理装置１００の姿勢を変化させることにより、投影面１０に表示される画像上に線等の軌跡情報を描画する動作モードである。なお、動作モードとしてお絵かきが設定されている場合の表示例を、図１２、図１３に示す。

【0075】

例えば、お絵かきは、ユーザアクション時に、その空間位置、色、太さ情報を順次記憶していく動作モードである。お絵かきでは、お絵かきデータの全ては常にアクションに従って実行される。

【0076】

データ種別２０２には、表示対象となるデータの種別が格納される。例えば、動作モードとしてプラネタリウムが設定されている場合には、星、星座、天の川等が表示されるため、データ種別２０２には、それらに対応するデータ種別が格納される。

【0077】

空間位置情報種別２０３には、空間位置を特定するための情報の種別が格納される。例えば、星や星座（データ種別２０２「星の位置データ」、「星座のデータ」）を表示する場合の種別として、赤道座標が用いられる。また、球面上の空間位置を特定するための情報として、極座標（球面座標）（ｒ，θ，φ）、直交座標（ｘ，ｙ，ｚ）を用いるようにしてもよい。また、球面座標を緯度、経度の値とする情報（緯度、経度、球面の半径）を用いるようにしてもよい。

【0078】

空間位置情報２０４には、空間位置を特定するための情報が格納される。例えば、星や星座（データ種別２０２「星の位置データ」、「星座のデータ」）を表示する場合には、上述したように、赤道座標が用いられる。例えば、赤道座標は、赤経および赤緯の２つの数値で表される。例えば、「北極星」に関する空間位置情報２０４には、赤経「２ｈ３２ｍ」、赤緯「＋８９」が格納される。

【0079】

アクション定義２０５には、空間位置情報２０４により特定される空間位置が表示領域に含まれる場合に、実行すべき内容が格納される。例えば、「オリオン座」に関するアクション定義２０５には、「付加情報を空間位置に表示」が格納されているため、オリオン座に関する情報が表示される。例えば、図４に示すように、オリオン座に関する情報が表示される。

【0080】

付加情報２０６には、アクション定義２０５を行う場合に用いられる付加情報が格納される。例えば、「オリオン座」に関する付加情報２０６には、オリオン座に関する情報を表示するための付加情報が格納される。例えば、図４に示すように、オリオン座に関する情報を表示するための付加情報が格納される。

【0081】

なお、図３では、説明の容易のため、星座の名称のみを付加情報２０６に格納する例を示すが、星座の名称以外の他の情報を格納することができる。例えば、星座の名称と、星座のラインとを付加情報２０６に格納しておき、図４に示すように、星座の名称および星座のラインを描画することができる。

【0082】

なお、図３では、動作モード２０１として、プラネタリウム、空間位置当てクイズ、シューティング、お絵かきの動作モードを例にして示すが、空間位置アクション記憶部１４１には、他の動作モードを格納するようにしてもよい。

【0083】

［プラネタリウム設定時の表示例］
図４は、本技術の第１の実施の形態における情報処理装置１００により投影された画像の表示例を示す図である。図４では、動作モードとしてプラネタリウムが設定されている場合の表示例を示す。

【0084】

図５は、本技術の第１の実施の形態における情報処理装置１００と、表示対象となる全天球の画像データとの関係を模式的に示す図である。なお、図５では、全天球の画像データを模式的に示し、星や星座等の図示を省略して示す。また、図５に示す星の全天球の画像データは、画像データ記憶部１３２に格納されている。

【0085】

例えば、姿勢検出部１２１は、投影部１７２が向いている方向（投影方向）を検出する。投影部１７２は、姿勢検出部１２１により検出された投影方向の星を投影面１０に投影する。例えば、図５に示す矢印３１４の方向が、姿勢検出部１２１により検出された場合には、投影部１７２は、矢印３１４の方向に対応する領域３１２に含まれる画像（星、星座）を投影面１０に投影する。例えば、図４に示す画像３００が投影面１０に表示される。これにより、いわゆる、プラネタリウムを実現することができる。

【0086】

ここで、例えば、空間位置アクション記憶部１４１の空間位置情報２０４に格納されている位置を含む領域が表示される場合には、アクション定義２０５に格納されている内容に基づく処理が行われる。

【0087】

例えば、動作モードとしてプラネタリウムが設定され、赤道座標「５ｈ３０ｍ，＋３」の位置を含む領域が表示される場合には、星の画像とともに、付加情報２０６の内容が表示される。例えば、図４に示すように、オリオン座の星を含む画像３００上に、「オリオン座 Ｏｒｉｏｎ」の標識３０１および各星を繋ぐライン３０２が表示される。

【0088】

このように、制御部１８０は、投影面１０に表示される画像に含まれる対象物（例えば、星、星座）に関する情報（例えば、「オリオン座 Ｏｒｉｏｎ」の標識３０１および各星を繋ぐライン３０２）を表示させることができる。

【0089】

また、例えば、空間位置アクション記憶部１４１の空間位置情報２０４に格納されている位置を含む領域が表示されない場合には、星の画像のみが表示される。

【0090】

なお、本技術の実施の形態では、空間位置アクション記憶部１４１の空間位置情報２０４に情報が格納されている場合を、空間位置アクションが定義されている場合と称して説明する。

【0091】

また、空間位置アクションが定義されていない領域を表示している場合でも、空間位置アクションが定義されている領域を特定することができるときには、空間位置アクションが定義されている領域をユーザに通知するようにしてもよい。この例を図６に示す。

【0092】

図６は、本技術の第１の実施の形態における情報処理装置１００により投影された画像の表示例を示す図である。図６では、空間位置アクションが定義されている領域をユーザに通知する場合の表示例を示す。

【0093】

例えば、図５に示す例において、領域３１１は、空間位置アクションが定義されていない領域であり、領域３１２は、空間位置アクションが定義されている領域であるものとする。また、ユーザ１が、矢印３１３の方向に投影して領域３１１に含まれる画像が表示されている場合を想定する。この場合には、制御部１８０は、空間位置アクション記憶部１４１の内容を取得し、図６に示すように、矢印３１４の方向にオリオン座が存在する旨を示す矢印３２１を画像３２０上に表示させることができる。このように、矢印３２１を表示させることにより、空間位置アクションが定義されている領域にユーザを誘導することができる。例えば、ユーザ１は、矢印３１５に従って、投影部１７２の投影方向を移動させることにより、オリオン座を表示させることができる。

【0094】

このように、制御部１８０は、投影面１０に表示される画像に対象物（例えば、オリオン座）が含まれない場合には、その対象物が含まれる画像を表示させるためのアシスト情報（例えば、矢印３２１）を表示させることができる。

【0095】

なお、目的物（例えば、オリオン座）の位置までの距離に応じて矢印の表示態様（例えば、長さ、サイズ、色）を変更するようにしてもよい。また、複数の目的物が存在する場合には、それぞれを示す矢印を同時に表示するようにしてもよい。

【0096】

［情報処理装置の動作例］
図７は、本技術の第１の実施の形態における情報処理装置１００による画像表示処理の処理手順の一例を示すフローチャートである。なお、この画像表示処理は、制御部１８０の制御に基づいて行われる。

【0097】

最初に、空間位置アクション生成部１４０は、空間位置検出部１２３から空間位置情報を取得する（ステップＳ９０１）。

【0098】

続いて、空間位置アクション生成部１４０は、空間位置アクション記憶部１４１の空間位置アクション定義に、空間位置検出部１２３から取得した空間位置情報に合う定義があるか否かを判断する（ステップＳ９０２）。すなわち、空間位置アクション生成部１４０は、空間位置アクション記憶部１４１の空間位置情報２０４に、空間位置検出部１２３から取得した空間位置情報に対応する情報があるか否かを判断する（ステップＳ９０２）。

【0099】

空間位置アクション記憶部１４１の空間位置アクション定義に、空間位置検出部１２３から取得した空間位置情報に合う定義がない場合には（ステップＳ９０２）、通常の音像および画像が出力される（ステップＳ９０５）。すなわち、空間音像生成部１３４により生成された空間音像に基づく音声が、音声出力部１７１から出力され、空間画像生成部１３５により生成された空間画像に基づく画像が、投影部１７２から出力される。

【0100】

また、空間位置アクション記憶部１４１の空間位置アクション定義に、空間位置検出部１２３から取得した空間位置情報に合う定義がある場合には（ステップＳ９０２）、その定義に従って空間音像および空間画像が生成される（ステップＳ９０３）。すなわち、空間音像生成部１４２は、その空間位置アクション定義に基づいて空間音像を生成する（ステップＳ９０３）。また、空間画像生成部１４３は、その空間位置アクション定義に基づいて空間画像を生成する（ステップＳ９０３）。

【0101】

続いて、空間位置アクション定義に基づいて生成された空間音像および空間画像と、空間位置データに基づいて生成された空間音像および空間画像とが合成され、その合成により生成された音声および画像が出力される（ステップＳ９０４）。すなわち、音像合成部１５１により合成された音声が、音声出力部１７１から出力され、画像合成部１５２により合成された画像が、投影部１７２から出力される（ステップＳ９０４）。なお、ステップＳ９０２乃至Ｓ９０５は、請求の範囲に記載の制御手順の一例である。

【0102】

［空間位置当てクイズ設定時の表示例］
図８は、本技術の第１の実施の形態における情報処理装置１００により投影された画像の表示例を示す図である。図８では、動作モードとして空間位置当てクイズが設定されている場合の表示例を示す。また、図８では、空間位置当てクイズが設定されている場合に、全天球の世界地図を表示させ、この世界地図上で都市当てクイズを出題する例を示す。

【0103】

例えば、空間位置アクションとして、各都市の空間位置および名称（都市名）を関連付けて定義しておく。そして、制御部１８０は、その定義されている各都市をランダムに選択してその都市名を地図上に表示させる。そして、ユーザは、情報処理装置１００の姿勢を変更して、地図上に都市名が表示されている都市の位置に、表示領域の中心位置を合わせるようにする。この場合に、地図上に都市名が表示されている都市の位置と、表示領域の中心位置とが一致した状態で、所定のユーザ操作（例えば、図１１に示す特定ボタン１１１の押下操作）が行われたタイミングで、そのクイズに正解した旨のアクションが行われる。このように、地図上に都市名が表示されている都市の位置をポインティングして当てるというクイズを実現することができる。

【0104】

例えば、定義されている各都市のうちから、シンガポール（図３に示す付加情報２０６「シンガポール（シンガポール）」）が選択された場合には、図８に示すように、「シンガポールの位置は？」３３１が表示される。なお、シンガポールの位置は、点線の円３３３で示す位置である。このため、ユーザは、表示領域の中心位置３３２が、シンガポールの位置（点線の円３３３）になるように、情報処理装置１００の姿勢を変化させる。

【0105】

そして、地図上のシンガポールの位置（点線の円３３３）と、表示領域の中心位置３３２とが一致した状態で、所定のユーザ操作（例えば、図１１に示す特定ボタン１１１の押下操作）が行われた場合には、正解音データが出力される。例えば、図３に示す付加情報２０６に格納されている正解音データに基づく音声が、音声出力部１７１から出力される。

【0106】

一方、地図上のシンガポールの位置（点線の円３３３）と、表示領域の中心位置３３２とが一致していない状態で、所定のユーザ操作（例えば、図１１に示す特定ボタン１１１の押下操作）が行われた場合には、不正解音データが出力される。例えば、図３に示す付加情報２０６に格納されている不正解音データに基づく音声が、音声出力部１７１から出力される。

【0107】

このように、制御部１８０は、対象物（例えば、シンガポール）を表示させるための問題を表示させることができる。この場合に、制御部１８０は、その問題の表示後において、投影面１０に表示される画像における特定位置（例えば、中心位置）にその対象物（例えば、シンガポール）が含まれる場合には、その対象物に関する特定の演出を行うよう制御することができる。

【0108】

なお、図８では、地図上における都市の位置を当てるクイズの例を示したが、例えば、他のものを当てるクイズを出題するようにしてもよい。例えば、空間位置アクションとして、自動車の画像および自動車の名称（車名）を関連付けて定義しておき、定義されている各自動車をランダムに選択してその車名を自動車の画像に重ねて表示させる。そして、ユーザは、情報処理装置１００の姿勢を変更して、一覧表示されている自動車のうちから、選択された自動車の画像の位置と、表示領域の中心位置とが一致するようにする。また、他の乗り物（電車、オートバイ）、動物、昆虫、植物等を当てるクイズを出題するようにしてもよい。

【0109】

［シューティング設定時の表示例］
図９は、本技術の第１の実施の形態における情報処理装置１００により投影される画像の一例を示す図である。

【0110】

図９では、動作モードとしてシューティング（全天球シューティングゲーム）が設定されている場合の画像の一例を示す。また、図９では、シューティングが設定されている場合に、ランダムに配置されたお化けの画像を表示させ、このお化けの画像をシューティングする例を示す。

【0111】

図９に示す画像３４０のうちの全部または一部の領域（例えば、領域３４１、３４２）が、情報処理装置１００により投影されて投影面１０に表示されるものとする。

【0112】

図１０は、本技術の第１の実施の形態における情報処理装置１００により投影された画像の表示例を示す図である。図１０のａには、図９に示す領域３４２に含まれる画像の表示例を示し、図１０のｂには、図９に示す領域３４１に含まれる画像の表示例を示す。

【0113】

図１１は、本技術の第１の実施の形態における情報処理装置１００を用いてシューティングゲームをしている場合を簡略的に示す図である。図１１では、投影面１０において、表示対象となっていないお化けの画像を点線で示す。また、画像３４０は、図９に示す画像３４０に対応する。

【0114】

例えば、空間位置アクションとして、空間位置をランダムに生成して、その場所でターゲット表示および効果音を再生するような定義を作成する。そして、ユーザは、情報処理装置１００の姿勢を変化させながら、色々な方向をポインティングしてターゲット（お化けの画像）を探す。

【0115】

例えば、図１１に示す画像３４０の中から、お化けの画像が存在する領域を探す。例えば、図１１に示す領域３４２には、お化けの画像が含まれない。そこで、例えば、ユーザは、投影方向が下側になるように、情報処理装置１００の姿勢を変化させる。この場合には、図１１に示すように、領域３４１にお化けの画像が含まれるため、投影面１０にお化けの画像を表示させることができる。この場合に、ユーザは、表示領域の中心位置３４３（図１０に示す）が、お化けの画像に含まれるように、情報処理装置１００の姿勢を変化させる。そして、表示領域の中心位置３４３がお化けの画像に含まれる状態で、所定のユーザ操作（例えば、特定ボタン１１１の押下操作）が行われた場合には、そのアクションとして効果音が出力される。例えば、図３に示す付加情報２０６に格納されているヒット音データに基づく音声３４７が、音声出力部１７１から出力される。このように、ターゲットをポイントすると効果音が流れるようなゲーム（全天球シューティングゲーム）を実現することができる。また、ターゲットをポイントした旨（ヒットした旨）の画像（効果画像）を表示するようにしてもよい。

【0116】

図１１に示すように、ユーザは、情報処理装置１００の投影方向を変えながら、お化けの画像を見つけることができる。

【0117】

このように、制御部１８０は、投影面１０に表示される画像に特定対象物（例えば、お化けの画像）が含まれている状態で特定のユーザ操作が受け付けられた場合には、その特定対象物に関する特定の演出を行うよう制御することができる。特定の演出として、例えば、効果音の出力や、効果画像の表示を行うことができる。

【0118】

なお、お化けの配置は、定期的または不定期に変更するようにしてもよい。

【0119】

なお、図９乃至図１１では、ランダムに配置されたお化けの画像を表示させ、このお化けの画像をシューティングする例を示したが、例えば、他のものをシューティングする場合についても同様に適用することができる。

【0120】

［お絵かき設定時の表示例］
図１２は、本技術の第１の実施の形態における情報処理装置１００により投影される画像３５０乃至３５３の遷移例を示す図である。

【0121】

図１２では、動作モードとしてお絵かき（全天球のお絵かき）が設定されている場合の画像の遷移例を示す。また、図１２では、お絵かきが設定されている場合に、情報処理装置１００の姿勢の変化に応じた軌跡（空間位置のポインティングの軌跡）を表示する例を示す。また、図１２では、投影面１０に表示される画像３５０の中心位置３５４の軌跡を線で描画する例を示す。なお、図１２では、説明の容易のため、背景画像についての図示を省略する。

【0122】

例えば、所定のユーザ操作（例えば、図１１に示す特定ボタン１１１の押下操作）を行った状態で情報処理装置１００の姿勢を変化させて、投影面１０に表示される画像の中心位置３５４の軌跡で月型の線３５５を描画することができる。

【0123】

また、例えば、所定のユーザ操作を行った状態で情報処理装置１００の姿勢を変化させて、投影面１０に表示される画像の中心位置３５４の軌跡で丸型の線３５６を描画することができる。

【0124】

また、例えば、所定のユーザ操作を行った状態で情報処理装置１００の姿勢を変化させて、投影面１０に表示される画像の中心位置３５４の軌跡で矢印の線３５７を描画することができる。

【0125】

また、制御部１８０は、これらの軌跡を、軌跡情報として空間位置アクション記憶部１４１に記憶しておく。また、これらの軌跡は、空間位置と関連付けて記憶しておく。このため、これらの軌跡は、対応する空間位置を表示する方向に投影されている場合に表示されるが、その対応する空間位置を表示する方向に投影しない場合には表示はされない。すなわち、情報処理装置１００の投影方向によっては、描画された軌跡のうちの一部または全部が表示領域上から出てしまい、表示されないこともある。

【0126】

図１３は、本技術の第１の実施の形態における情報処理装置１００により投影された画像の表示例を示す図である。

【0127】

図１３には、図１２に示すように、情報処理装置１００の姿勢を変化させて描画された月型の線３５５、丸型の線３５６、矢印の線３５７を、背景画像に重ねた場合の例を示す。

【0128】

例えば、背景画像として犬の画像を表示しながら犬の説明をする場合に、情報処理装置１００の姿勢を変化させて各軌跡（月型の線３５５、丸型の線３５６、矢印の線３５７）を描くようにする。そして、各軌跡（月型の線３５５、丸型の線３５６、矢印の線３５７）を用いて犬の説明をすることができる。

【0129】

また、描画ツール３６１乃至３６３を用いて、描画する対象物を変更するようにしてもよい。例えば、描画する線の色、太さ、閉じた空間の塗りつぶし等を行うことができる。

【0130】

このように、制御部１８０は、投影面１０に表示される画像に関連付けられている軌跡に関する情報を表示させることができる。

【0131】

このように、本技術の第１の実施の形態では、パノラマ画像や全天球画像等の広大な領域を撮影した画像（静止画、動画）等の一部を、投影部の姿勢の変化に基づいて適切に表示させることができる。この場合に、投影部の投影方向、位置、画像に応じてポインティングして、空間位置によるインタラクティブな要素（投影方向毎の画像の重ね合わせ、情報表示、画像・音楽再生、お絵かき、軌跡の重ね合わせ等）を実現することができる。これにより、ユーザが投影方向を変えるという直観的な操作を行うことにより、ユーザ体験をさらに拡張することができる。

【0132】

＜２．第２の実施の形態＞
本技術の第２の実施の形態では、投影部の投影方向を変えるという直観的な操作により、複数の項目画像の中から所望の項目画像を選択する例について説明する。なお、本技術の第２の実施の形態における情報処理装置の構成は、図１、図２等に示す情報処理装置１００と略同様である。このため、情報処理装置１００と共通する部分については、同一の符号を付して、これらの説明の一部を省略する。

【0133】

［空間画像メニューの表示例］
図１４は、本技術の第２の実施の形態における情報処理装置１００により投影される画像の一例を示す図である。

【0134】

図１４には、表示対象となる全体の空間画像（世界地図４００）と、この空間画像に重ね合わせる空間画像メニュー（メニューボタン４０１乃至４０６）とを示す。すなわち、図１４には、世界地図４００上に、所定の操作を行うための複数のメニューボタン４０１乃至４０６を表示する例を示す。

【0135】

なお、世界地図４００は、画像データ記憶部１３２（図２に示す）に格納されている画像データに基づいて表示される。また、メニューボタン４０１乃至４０６は、空間位置アクション記憶部１４１（図２、図３に示す）に格納されている各情報に基づいて表示される。また、世界地図４００およびメニューボタン４０１乃至４０６は、情報処理装置１００の姿勢の変化に応じて、表示範囲が変更される。例えば、領域４１０に含まれる画像の表示例を図１５のａに示し、領域４２０に含まれる画像の表示例を図１５のｂに示す。

【0136】

図１５は、本技術の第２の実施の形態における情報処理装置１００により表示される投影画像の表示遷移例を示す図である。

【0137】

図１５のａには、図１４に示す全体の空間画像のうち、領域４１０に含まれる空間画像を表示する例を示す。図１５のｂには、図１４に示す全体の空間画像のうち、領域４２０に含まれる空間画像を表示する例を示す。

【0138】

ここで、ユーザが情報処理装置１００の姿勢を変化させることにより、図１５のａに示す領域４１０に含まれる空間画像の表示状態から、図１５のｂに示す領域４２０に含まれる空間画像の表示状態へと遷移させることができる。同様に、ユーザが情報処理装置１００の姿勢を変化させることにより、図１５のｂに示す領域４２０に含まれる空間画像の表示状態から、図１５のａに示す領域４１０に含まれる空間画像の表示状態へと遷移させることができる。また、ユーザが情報処理装置１００の姿勢を変化させることにより、他の領域に含まれる空間画像の表示状態へと遷移させることも可能であるが、ここでの図示および説明を省略する。

【0139】

例えば、表示領域に含まれるメニューボタンのうちで、表示領域の中心位置に最も近いメニューボタンを選択状態とする。例えば、図１５のａに示す例では、メニューボタン４０２（ＭＥＮＵ２）が表示領域の中心位置に最も近いメニューボタンとなるため、メニューボタン４０２（ＭＥＮＵ２）が選択状態とされる。また、例えば、図１５のｂに示す例では、メニューボタン４０３（ＭＥＮＵ３）が表示領域の中心位置に最も近いメニューボタンとなるため、メニューボタン４０３（ＭＥＮＵ３）が選択状態とされる。なお、選択状態とされたメニューボタンについては、他のメニューボタンとは異なる表示態様とする。例えば、図１５のａおよびｂでは、選択状態とされたメニューボタンには斜線を付して示す。

【0140】

ここで、図１５のａに示す状態（メニューボタン４０２（ＭＥＮＵ２）の選択状態）から、メニューボタン４０３（ＭＥＮＵ３）を選択状態とする場合の操作例について説明する。この場合には、ユーザは、メニューボタン４０３（ＭＥＮＵ３）が表示領域の中心位置に最も近いメニューボタンとなるように、情報処理装置１００の姿勢を変化させる。例えば、情報処理装置１００の投影方向を右上側に変化させることにより、情報処理装置１００の姿勢を変化させる。これにより、メニューボタン４０３（ＭＥＮＵ３）を選択状態とすることができる。

【0141】

また、選択状態とされたメニューボタンについては、所定のユーザ操作（例えば、特定ボタン１１１の押下操作）により、その選択を確定（決定）させることができる。また、例えば、一定時間、同一のメニューボタンが選択状態とされている場合に、その選択を確定（決定）させるようにしてもよい。また、例えば、ズーム操作（情報処理装置１００および投影面１０間の距離を近づける操作）が行われて、選択状態とされたメニューボタンが拡大された場合に、その選択を確定（決定）させるようにしてもよい。また、例えば、選択状態とされたメニューボタンについて、ユーザによる所定のジェスチャー（例えば、選択状態とされたメニューボタンを指で指す）が行われた場合に、その選択を確定（決定）させることができる。例えば、制御部１８０は、撮像部（図示せず）により生成された画像について画像認識処理を行うことにより、各ジェスチャーを判定することができる。このジェスチャーの判定方法については、公知の判定方法（例えば、特開２０１１−８５９６６号参照。）を用いることができる。

【0142】

［情報処理装置の動作例］
図１６は、本技術の第２の実施の形態における情報処理装置１００によるメニューボタン選択処理の処理手順の一例を示すフローチャートである。なお、このメニューボタン選択処理は、制御部１８０の制御に基づいて行われる。

【0143】

最初に、空間位置アクション生成部１４０は、空間位置検出部１２３から空間位置情報を取得する（ステップＳ９１１）。

【0144】

続いて、制御部１８０は、表示領域に含まれる空間画像およびメニューボタンを表示させる（ステップＳ９１２）。なお、表示領域にメニューボタンが含まれない場合には、空間画像のみが表示される。

【0145】

続いて、制御部１８０は、表示領域にメニューボタンが表示されているか否かを判断する（ステップＳ９１３）。そして、表示領域にメニューボタンが表示されていない場合には（ステップＳ９１３）、ステップＳ９１５に進む。

【0146】

また、表示領域にメニューボタンが表示されている場合には（ステップＳ９１３）、制御部１８０は、表示領域の中心位置に最も近いメニューボタンを選択状態とする（ステップＳ９１４）。

【0147】

続いて、制御部１８０は、情報処理装置１００の姿勢の変化があったか否かを判断する（ステップＳ９１５）。情報処理装置１００の姿勢の変化があった場合には（ステップＳ９１５）、制御部１８０は、その姿勢の変化に応じて、表示領域を変更して（ステップＳ９１６）、ステップＳ９１２に戻る。

【0148】

情報処理装置１００の姿勢の変化がない場合には（ステップＳ９１５）、制御部１８０は、メニューボタンの選択状態を確定するための操作（確定操作）が行われたか否かを判断する（ステップＳ９１７）。確定操作が行われていない場合には（ステップＳ９１７）、ステップＳ９１５に戻る。一方、確定操作が行われた場合には（ステップＳ９１７）、制御部１８０は、選択状態とされているメニューボタンに対応する処理を実行する（ステップＳ９１８）。

【0149】

なお、この例では、表示領域の中心位置に最も近い１つのメニューボタンを選択状態とする例を示したが、表示領域の中心位置に最も近い１つのメニューボタンと、次に近い１つのメニューボタンとを選択状態とするようにしてもよい。同様に、３以上のメニューボタンを選択状態とするようにしてもよい。

【0150】

このように、制御部１８０は、制御情報に基づいて複数の項目画像（例えば、メニューボタン）を投影面１０に表示させることができる。この場合に、制御部１８０は、投影面１０に表示される複数の項目画像の表示位置に基づいて、複数の項目画像のうちの所定数（例えば、１、または、２以上）の項目画像を選択状態とする制御を行うことができる。

【0151】

このように、本技術の第２の実施の形態では、情報処理装置１００の姿勢を変化させることにより、メニューボタンの選択操作を容易に行うことができる。この選択方法では、メニューボタンの表示を、現在表示されている範囲に限定されることなく、全天球の全域を用いてメニューボタンを表示することが可能となる。

【0152】

すなわち、本技術の第２の実施の形態によれば、メニュー表示において情報処理装置１００の向きを変えるという直観的な操作により、メニュー選択を容易に行うことができる。この場合に、選択のための操作部材（例えば、方向キー）の操作を必要としない。また、メニュー表示をする範囲を、現在表示している範囲以外にも拡大することができ、全天球分の範囲を利用することが可能になる。

【0153】

なお、メニューボタンの配置については、図１４に示すように、ある決まった空間位置に固定して配置するようにしてもよく、固定せずに定期的または不定期に変更するようにしてもよい。例えば、情報処理装置１００の姿勢の変化に応じてメニューボタンの配置を変更するようにしてもよい。例えば、情報処理装置１００が投影している空間位置を検出し、その空間位置を中心位置とするメニューボタンの配置を決定することができる。このように配置することにより、ユーザが情報処理装置１００を移動させる負担を減らすこともできる。

【0154】

また、本技術の第２の実施の形態では、メニューボタンの表示をする例を示したが、メニューボタン以外の表示をする場合についても、本技術の第２の実施の形態を適用することができる。例えば、多数のコンテンツ（例えば、静止画、動画）を選択する場合について適用することができる。例えば、コンテンツを表す画像を全天球に配置して、情報処理装置１００の投影方向を変化させながら、目的のコンテンツを選択することも可能となる。

【0155】

＜３．第３の実施の形態＞
本技術の第３の実施の形態では、情報処理装置および投影面間の距離に基づいて、投影される画像の表示領域（例えば、画像の表示倍率）を変更する例を示す。なお、本技術の第３の実施の形態における情報処理装置の構成は、図１、図２等に示す情報処理装置１００と略同様である。このため、情報処理装置１００と共通する部分については、同一の符号を付して、これらの説明の一部を省略する。

【0156】

［情報処理装置および投影面間の距離に基づく表示制御例］
図１７および図１８は、本技術の第３の実施の形態における情報処理装置１００および投影面間の距離と、情報処理装置１００により投影面に投影される画像との関係を示す図である。

【0157】

ここで、投影面に投影される画像のサイズは、情報処理装置１００および投影面間の距離に応じて変化する。例えば、図１７のａに示すように、情報処理装置１００および投影面間の距離が遠い場合には、図１７のｂに示すように、投影面に投影される画像のサイズが大きくなる。例えば、画像５００が投影面に表示される。

【0158】

また、例えば、図１８のａに示すように、情報処理装置１００および投影面間の距離が近い場合には、図１８のｂに示すように、投影面に投影される画像のサイズが小さくなる。例えば、画像５１１が投影面に表示される。なお、図１８のａおよびｂでは、図１７のａおよびｂに示す画像５００のサイズを、点線の矩形５１０で模式的に示す。

【0159】

このように、本技術の第３の実施の形態では、情報処理装置１００および投影面間の距離に応じて、投影面に投影される画像のサイズを変更する例を示す。また、本技術の第３の実施の形態では、その画像のサイズの変更に応じて、表示対象となる画像の表示領域を変更する。すなわち、情報処理装置１００および投影面間の距離に応じて、投影面に投影される画像の表示倍率を変更する。これにより、情報処理装置１００および投影面間の距離が変化した場合でも、投影面に表示される画像に含まれる物体（例えば、馬）のサイズを同一のサイズで表示させることができる。

【0160】

ここで、例えば、撮像装置により撮像されて記録された画像コンテンツ（例えば、静止画コンテンツ、動画コンテンツ）の場合には、その撮像動作時における付加情報が画像コンテンツに関連付けて記録されることがある。なお、撮像動作時における付加情報は、例えば、空間位置データ記憶部１３３に記憶される空間位置データである。

【0161】

例えば、撮像装置により撮像されて記録された画像コンテンツ（例えば、静止画コンテンツ、動画コンテンツ）を投影面に投影する場合には、その付加情報に基づいて、実物大の投影が可能となる。

【0162】

例えば、図１８のａに示すように、情報処理装置１００および投影面間の距離が近い場合には、実物大の仮想画像空間に対して、その一部を表示することになる。

【0163】

また、例えば、図１７のｂに示すように、情報処理装置１００および投影面間の距離を大きくすることにより、実物大の仮想画像空間に投影面が近づくことになる。

【0164】

また、例えば、図１７のｂに示す距離（情報処理装置１００および投影面間の距離）よりもさらに大きくすることにより、投影面の一部に実物大の仮想画像空間を投影することも可能である。

【0165】

ここで、情報処理装置１００および投影面間の距離を測定する場合には、各種の距離センサ（例えば、超音波、赤外線、レーザー等を用いた距離センサ）を用いて測定することができる。

【0166】

また、情報処理装置１００に撮像装置を設置し、投影面に投影した画像をその撮像装置により撮像して生成される画像を用いて、情報処理装置１００および投影面間の距離を測定することができる。この測定例を、図１９に示す。

【0167】

［情報処理装置および投影面間の距離測定例］
図１９は、本技術の第１の実施の形態における情報処理装置１００および投影面１０を上から見た場合を簡略化して示す図である。

【0168】

図１９では、情報処理装置１００において、投影部１７２から距離Ｄだけ離れている位置に撮像部１２４が設置されているものとする。

【0169】

例えば、図１９のａに示すように、情報処理装置１００および投影面１０が距離Ｌ１だけ離れている場合には、投影部１７２の中心位置から照射された画像は、撮像部１２４の光軸から角度Ａ１だけずれた方向に見えることになる。この関係は、以下の式により表すことができる。
ｔａｎＡ１＝Ｄ／Ｌ１

【0170】

この式により、Ｌ１（＝Ｄ／ｔａｎＡ１）を求めることができる。

【0171】

また、例えば、図１９のｂに示すように、情報処理装置１００および投影面１０が距離Ｌ２だけ離れている場合には、投影部１７２の中心部から照射された画像は、撮像部１２４の光軸から角度Ａ２だけずれた方向に変化して見えることになる。この関係は、以下の式により表すことができる。
ｔａｎＡ２＝Ｄ／Ｌ２

【0172】

この式により、Ｌ２（＝Ｄ／ｔａｎＡ２）を求めることができる。

【0173】

ここで、情報処理装置１００における投影部１７２および撮像部１２４間の距離Ｄは、一定である。また、撮像部１２４から見える角度Ａ１、Ａ２は、撮像部１２４により撮像される画像のピクセル位置から求めることができる。例えば、表示領域における特定位置（例えば、中心位置）にマーキング（例えば、矩形）を表示して、そのマーキングからの画素数に基づいて角度Ａ１、Ａ２を求めることができる。そして、これらの距離Ｄ、角度Ａ１、Ａ２を用いて、情報処理装置１００および投影面１０間の距離Ｌ１、Ｌ２を求めることができる。

【0174】

そして、制御部１８０は、情報処理装置１００および投影面１０間の距離Ｌ１、Ｌ２を用いて、投影面に投影される画像に含まれる物体（例えば、馬）のサイズ（表示サイズ）が同一となるように、表示倍率を決定する。例えば、制御部１８０は、撮像動作時における情報（空間位置データ）と、投影時の投影面との距離とに基づいて、切り出して投影する表示領域を決定する。なお、投影時の投影面との距離に基づいて、画像や音楽を変化させるようにしてもよい。

【0175】

また、情報処理装置１００および投影面１０間の距離を用いて、台形歪み補正を行うようにしてもよい。例えば、投影された画像の４隅の距離（情報処理装置１００および投影面１０間の距離）を検出して、この距離に基づいて台形歪み補正を行うことができる。

【0176】

［情報処理装置の動作例］
図２０は、本技術の第３の実施の形態における情報処理装置１００による画像表示処理の処理手順の一例を示すフローチャートである。なお、この画像表示処理は、制御部１８０の制御に基づいて行われる。

【0177】

最初に、空間位置アクション生成部１４０は、空間位置検出部１２３から空間位置情報を取得する（ステップＳ９２１）。

【0178】

続いて、制御部１８０は、情報処理装置１００および投影面間の距離の変化があったか否かを判断する（ステップＳ９２２）。情報処理装置１００および投影面間の距離の変化があった場合には（ステップＳ９２２）、制御部１８０は、その距離の変化に応じて、表示倍率を変更する（ステップＳ９２３）。すなわち、制御部１８０は、その距離に基づいて、表示倍率を決定する（ステップＳ９２３）。情報処理装置１００および投影面間の距離の変化がない場合には（ステップＳ９２２）、画像表示処理の動作を終了する。

【0179】

このように、制御部１８０は、情報処理装置１００および投影面間の距離に基づいて、投影面１０に表示される画像の表示領域を変更することができる。

【0180】

また、制御部１８０は、撮像動作時における撮像装置の方位、姿勢、位置情報のうちの少なくとも１つの情報が関連付けられている画像を表示させ、その情報に基づいて投影面１０に表示される画像の表示領域を変更することができる。

【0181】

このように、本技術の第３の実施の形態によれば、情報処理装置１００および投影面間の距離が変化することにより、投影された画像のサイズが変化する場合でも、その画像に含まれる物体のサイズを同一とすることができる。これにより、ユーザが、投影画像を見やすくすることができる。

【0182】

また、例えば、空間位置データ記憶部１３３に記憶されている空間位置データを用いることにより、全天球画像等の表示の際に、撮像動作時の撮像装置の方向に影響されることなく、ユーザが見たい向きを表示することができる。例えば、撮像動作の途中で撮像装置が上下逆さまになったような場合を想定する。その撮像動作により記録された画像を表示する場合には、撮像装置が上下逆さまになった時間帯の空間位置データを用いることにより、投影される画像を上下逆さまに表示させることができる。これにより、撮像動作時の撮像装置の方向の影響をなくすことができる。

【0183】

なお、本技術の実施の形態では、一体として構成される装置（情報処理装置１００）を例にして説明した。ただし、これらの情報処理装置が備える各部を、複数の装置により構成する情報処理システムについても本技術の実施の形態を適用することができる。例えば、空間位置アクション生成部１４０、空間画像・空間音像生成部１３０等を、ネットワーク上に存在する情報処理システム（例えば、クラウドコンピューティング）に設置することができる。

【0184】

また、本技術の実施の形態では、１つの情報処理装置を用いて画像を投影する例を示したが、複数の情報処理装置を用いて画像を投影する場合についても、本技術の実施の形態を適用することができるようにしてもよい。ただし、複数の情報処理装置を用いて画像を投影する場合には、データ（例えば、各記憶部のデータ）の共有と空間位置の調整とが必要となる。

【0185】

データを共有する場合には、例えば、図２に示す音声データ記憶部１３１、画像データ記憶部１３２、空間位置データ記憶部１３３の各データと、空間位置アクション記憶部１４１のデータとを、全ての機器において共有する必要がある。この場合に、データを共有する方法として、例えば、データを保持する情報処理装置をサーバとして機能させ、他の情報処理装置はそのサーバに接続してデータをダウンロードする方法を用いることができる。

【0186】

また、空間位置を調整する場合には、複数の情報処理装置間で、図２に示す空間位置検出部１２３により生成される空間位置の基準を合わせる必要がある。そこで、例えば、磁気を用いて位置および姿勢を検出するセンサを用いることができる。例えば、そのセンサを各情報処理装置に搭載し、全ての情報処理装置において磁場発生器を基準とした位置および姿勢を取得することにより、複数の情報処理装置間で空間位置の基準を合わせることができる。

【0187】

また、例えば、ＡＲ（Augmented Reality）の技術を利用するようにしてもよい。例えば、ＡＲマーカを各情報処理装置が備える撮像部により撮像することにより、ＡＲマーカを基準として各情報処理装置の姿勢を取得することができる。

【0188】

また、例えば、１つの情報処理装置から投影された画像を、他の情報処理装置が撮像して、他の情報処理装置において画像のマッチングを行うことにより、空間位置の基準を全ての情報処理装置で合わせることができる。

【0189】

このように、データの共有と、空間位置の調整とを全ての情報処理装置が行うことにより、同一空間の画像を複数の情報処理装置で投影して表示させることができる。例えば、図９乃至図１１に示すシューティングゲームを複数人で同時に楽しむことができる。

【0190】

なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。

【0191】

また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。

【0192】

なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。

【0193】

なお、本技術は以下のような構成もとることができる。
（１）
表示対象となる画像の一部を投影面に投影して表示させる投影部と前記投影面との相対的な位置関係に基づいて特定される前記投影面に表示される画像の表示領域と前記表示対象となる画像に関連付けられている制御情報とに基づいて前記投影面に表示される画像に関する制御を行う制御部を具備する情報処理装置。
（２）
前記制御部は、前記制御情報に基づいて複数の項目画像を前記投影面に表示させ、前記投影面に表示される前記複数の項目画像の表示位置に基づいて前記複数の項目画像のうちの所定数の項目画像を選択状態とする制御を行う前記（１）に記載の情報処理装置。
（３）
前記制御部は、前記表示対象となる画像として背景画像を表示させるとともに前記制御情報に基づいて複数の項目画像を前記背景画像上に表示させる制御を行う前記（２）に記載の情報処理装置。
（４）
前記投影部の姿勢を検出する姿勢検出部をさらに具備し、
前記制御部は、前記検出された投影部の姿勢に基づいて前記投影面に表示させる画像の表示領域を変更する制御を行う
前記（１）から（３）のいずれかに記載の情報処理装置。
（５）
前記制御部は、前記変更後の画像の表示領域と当該画像に関連付けられている前記制御情報とに基づいて前記投影面に表示される画像の表示態様を制御する前記（４）に記載の情報処理装置。
（６）
前記制御部は、前記変更後の画像の表示領域と当該画像に関連付けられている前記制御情報とに基づいて前記投影面に表示される画像に関する音声出力を行うよう制御する前記（４）または（５）に記載の情報処理装置。
（７）
前記制御情報は、前記表示対象となる画像に含まれる対象物に関する情報を含み、
前記制御部は、前記投影面に表示される画像に含まれる前記対象物に関する情報を表示させる
前記（１）から（６）のいずれかに記載の情報処理装置。
（８）
前記制御部は、前記投影面に表示される画像に前記対象物が含まれない場合には、前記対象物が含まれる画像を表示させるためのアシスト情報を表示させる前記（７）に記載の情報処理装置。
（９）
前記制御部は、前記対象物を表示させるための問題を表示させ、前記問題の表示後において前記投影面に表示される画像に前記対象物が含まれる場合には、前記対象物に関する特定の演出を行うよう制御する前記（７）に記載の情報処理装置。
（１０）
前記制御部は、前記投影面に表示される画像に特定対象物が含まれている状態で特定のユーザ操作が受け付けられた場合には前記特定対象物に関する特定の演出を行うよう制御する前記（１）から（６）のいずれかに記載の情報処理装置。
（１１）
前記制御情報は、前記検出された投影部の姿勢の変化に関する軌跡と前記表示対象となる画像とが関連付けられている軌跡情報を含み、
前記制御部は、前記投影面に表示される画像に関連付けられている前記軌跡に関する情報を表示させる
前記（１）から（１０）のいずれかに記載の情報処理装置。
（１２）
前記制御部は、前記情報処理装置および前記投影面間の距離を検出する距離検出部をさらに具備し、
前記制御部は、前記検出された距離に基づいて前記投影面に表示される画像の表示領域を変更する
前記（１）から（１１）のいずれかに記載の情報処理装置。
（１３）
前記制御部は、前記表示対象となる画像として撮像動作時における撮像装置の方位、姿勢、位置情報のうちの少なくとも１つの情報が関連付けられている画像を表示させ、当該情報に基づいて前記投影面に表示される画像の表示領域を変更する前記（１）から（１２）のいずれかに記載の情報処理装置。
（１４）
表示対象となる画像の一部を投影面に投影して表示させる投影部と前記投影面との相対的な位置関係に基づいて特定される前記投影面に表示される画像の表示領域と前記表示対象となる画像に関連付けられている制御情報とに基づいて前記投影面に表示される画像に関する制御を行う制御手順を具備する情報処理方法。
（１５）
表示対象となる画像の一部を投影面に投影して表示させる投影部と前記投影面との相対的な位置関係に基づいて特定される前記投影面に表示される画像の表示領域と前記表示対象となる画像に関連付けられている制御情報とに基づいて前記投影面に表示される画像に関する制御を行う制御手順をコンピュータに実行させるプログラム。

【符号の説明】

【0194】

１００ 情報処理装置
１１０ 操作受付部
１１１ 特定ボタン
１２０ 空間位置情報生成部
１２１ 姿勢検出部
１２２ 距離検出部
１２３ 空間位置検出部
１２４ 撮像部
１３０ 空間画像・空間音像生成部
１３１ 音声データ記憶部
１３２ 画像データ記憶部
１３３ 空間位置データ記憶部
１３４ 空間音像生成部
１３５ 空間画像生成部
１４０ 空間位置アクション生成部
１４１ 空間位置アクション記憶部
１４２ 空間音像生成部
１４３ 空間画像生成部
１５０ 画像・音像合成部
１５１ 音像合成部
１５２ 画像合成部
１６０ 画像・音声生成部
１６１ 音声生成部
１６２ 画像生成部
１７０ 出力部
１７１ 音声出力部
１７２ 投影部
１８０ 制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】