特許 5975739 情報処理プログラム、情報処理装置、情報処理システム、およびパノラマ動画表示方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5975739

(24)【登録日】2016年7月29日

(45)【発行日】2016年8月23日

(54)【発明の名称】情報処理プログラム、情報処理装置、情報処理システム、およびパノラマ動画表示方法

(51)【国際特許分類】

   G06T 19/00 20110101AFI20160809BHJP

   H04N 7/173 20110101ALI20160809BHJP

   G06F 17/30 20060101ALI20160809BHJP

【ＦＩ】

   G06T19/00 A

   H04N7/173 610A

   G06F17/30 170D

【請求項の数】21

【全頁数】48

(21)【出願番号】特願2012-125642(P2012-125642)

(22)【出願日】2012年6月1日

(65)【公開番号】特開2013-250829(P2013-250829A)

(43)【公開日】2013年12月12日

【審査請求日】2015年5月7日

(73)【特許権者】

【識別番号】000233778

【氏名又は名称】任天堂株式会社

(73)【特許権者】

【識別番号】391041718

【氏名又は名称】株式会社ハル研究所

(74)【代理人】

【識別番号】100158780

【弁理士】

【氏名又は名称】寺本 亮

(74)【代理人】

【識別番号】100121359

【弁理士】

【氏名又は名称】小沢 昌弘

(74)【代理人】

【識別番号】100130269

【弁理士】

【氏名又は名称】石原 盛規

(72)【発明者】

【氏名】鈴木 利明

(72)【発明者】

【氏名】川瀬 滋史

(72)【発明者】

【氏名】中村 栄太郎

【審査官】 岡本 俊威

(56)【参考文献】

【文献】 特開２００３−２８３９８１（ＪＰ，Ａ）

【文献】 特開２００２−３２０２１５（ＪＰ，Ａ）

【文献】 特開２００５−２９５２６６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００

Ｇ０６Ｔ １９／００

Ｇ０６Ｆ １７／３０

Ｈ０４Ｎ ７／１７３

(57)【特許請求の範囲】

【請求項1】

パノラマ動画の一部の領域を表示装置に表示する情報処理装置のコンピュータにおいて実行される情報処理プログラムであって、
所定の入力装置に対する入力に基づいて、前記パノラマ動画のうちで前記表示装置に表示する表示範囲を決定する範囲決定手段と、
前記表示装置に表示されているパノラマ動画に対する付加情報の入力を受け付ける受付手段と、
前記付加情報と、当該付加情報が受け付けられた場合における表示範囲および／または当該表示範囲内の位置を特定可能な入力範囲情報とを含む入力情報を記憶部に記憶する記憶制御手段と、
前記付加情報が記憶された状態において前記パノラマ動画が再生される場合、前記入力範囲情報に基づいて前記付加情報を前記パノラマ動画とともに出力する付加情報出力手段として前記コンピュータを機能させ、
前記付加情報出力手段は、再生されているパノラマ動画の表示範囲と、前記付加情報が受け付けられた場合における表示範囲との位置関係を前記入力範囲情報に基づいて判断し、当該位置関係に基づいて前記付加情報の出力態様を変更する、情報処理プログラム。

【請求項2】

前記記憶制御手段は、前記付加情報が受け付けられた再生時点を特定可能な時間情報をさらに含む入力情報を記憶し、
前記付加情報出力手段は、前記時間情報にさらに基づいて前記付加情報を前記パノラマ動画とともに出力する、請求項１に記載の情報処理プログラム。

【請求項3】

前記付加情報出力手段は、再生されているパノラマ動画のうちの表示範囲が、前記入力範囲情報により特定される表示範囲および／または位置に関する条件を満たす場合であって、かつ、再生されている前記パノラマ動画が、前記時間情報により特定される再生時点に関する条件を満たすタイミングとなる場合、当該時間情報および入力範囲情報に対応する前記付加情報を出力する、請求項２に記載の情報処理プログラム。

【請求項4】

前記付加情報出力手段は、再生されているパノラマ動画のうちの表示範囲と、前記入力範囲情報により特定される範囲および／または位置とが少なくとも一部において重なる場合、前記入力範囲情報に対応する前記付加情報をパノラマ動画とともに表示する、請求項１から請求項３のいずれか１項に記載の情報処理プログラム。

【請求項5】

前記入力範囲情報は、パノラマ画像上における位置を特定可能な情報であり、
前記付加情報出力手段は、再生されている前記パノラマ動画のうちの表示範囲に、前記入力範囲情報により特定される位置が含まれる場合、当該位置に関連づけて前記付加情報の画像を表示する、請求項４に記載の情報処理プログラム。

【請求項6】

前記付加情報出力手段は、前記パノラマ動画中に登場するオブジェクトがパノラマ画像上において移動することに応じて前記付加情報を移動して表示する、請求項５に記載の情報処理プログラム。

【請求項7】

前記付加情報出力手段は、前記パノラマ動画の視点の移動方向とは逆方向に前記付加情報を移動して表示する、請求項６に記載の情報処理プログラム。

【請求項8】

前記パノラマ動画は、パノラマ動画中に登場するオブジェクトの位置および／または範囲を表す情報とともに前記記憶部に記憶されており、
前記記憶制御手段は、前記オブジェクトを表す情報を前記入力範囲情報として記憶し、
前記付加情報出力手段は、再生されているパノラマ動画のうちの表示範囲に前記オブジェクトが含まれることを少なくとも条件として、当該オブジェクトの位置に関連づけて前記付加情報の画像を表示する、請求項６に記載の情報処理プログラム。

【請求項9】

前記付加情報出力手段は、前記表示装置の画面における所定位置に前記付加情報を表示する、請求項１から請求項４のいずれか１項に記載の情報処理プログラム。

【請求項10】

前記付加情報出力手段は、前記画面内において、前記パノラマ動画が表示される領域とは異なる領域に前記付加情報を表示する、請求項９に記載の情報処理プログラム。

【請求項11】

前記付加情報出力手段は、前記記憶部に複数の前記付加情報が記憶される場合において、複数の付加情報に基づく情報を出力する、請求項１から請求項１０のいずれか１項に記載の情報処理プログラム。

【請求項12】

前記付加情報は、数値を表す情報であり、
前記付加情報出力手段は、前記記憶部に複数の前記付加情報が記憶される場合において、出力すべき複数の付加情報が表す各数値に基づいて得られる数値を表す情報を出力する、請求項１１に記載の情報処理プログラム。

【請求項13】

前記付加情報出力手段は、前記複数の付加情報のうち、所定の条件を満たす付加情報の数を表す情報を出力する、請求項１１に記載の情報処理プログラム。

【請求項14】

前記付加情報出力手段は、
再生されているパノラマ動画のうちの表示範囲と、前記入力範囲情報により特定される範囲および／または位置とが少なくとも一部において重なる場合、前記入力範囲情報に対応する前記付加情報を第１の表示態様でパノラマ動画とともに表示し、
再生されているパノラマ動画のうちの表示範囲と、前記入力範囲情報により特定される範囲および／または位置とが重ならない場合、前記入力範囲情報に対応する前記付加情報を、前記第１の表示態様とは異なる第２の表示態様でパノラマ動画とともに表示する、請求項１から請求項３のいずれか１項に記載の情報処理プログラム。

【請求項15】

前記情報処理プログラムは、外部の装置から前記入力情報を取得する取得手段として前記コンピュータをさらに機能させ、
前記付加情報出力手段は、前記記憶部に記憶される前記付加情報と、前記取得手段によって取得される前記付加情報とを出力可能である、請求項１から請求項１４のいずれか１項に記載の情報処理プログラム。

【請求項16】

前記入力情報は、前記付加情報を入力したユーザを特定可能なユーザ情報をさらに含み、
前記付加情報出力手段は、前記付加情報とともに当該付加情報に対応する前記ユーザ情報を出力する、請求項１から請求項１５のいずれか１項に記載の情報処理プログラム。

【請求項17】

前記付加情報出力手段は、前記所定の入力装置に対する入力に基づいて決定される表示範囲のパノラマ動画とともに前記付加情報を前記表示装置に表示する、請求項１から請求項１６のいずれか１項に記載の情報処理プログラム。

【請求項18】

前記付加情報出力手段は、前記所定の入力装置に対する入力に基づいて決定される表示範囲のパノラマ動画を前記表示装置に表示するとともに、前記表示装置とは異なる他の表示装置に前記付加情報を表示する、請求項１から請求項１６のいずれか１項に記載の情報処理プログラム。

【請求項19】

パノラマ動画の一部の領域を表示部に表示する情報処理装置であって、
所定の入力部に対する入力に基づいて、前記パノラマ動画のうちで前記表示部に表示する表示範囲を決定する範囲決定部と、
前記表示部に表示されているパノラマ動画に対する付加情報の入力を受け付ける受付部と、
前記付加情報と、当該付加情報が受け付けられた場合における表示範囲および／または当該表示範囲内の位置を特定可能な入力範囲情報とを含む入力情報を記憶する記憶部と、
前記付加情報が記憶された状態において前記パノラマ動画が再生される場合、前記入力範囲情報に基づいて前記付加情報を前記パノラマ動画とともに出力する付加情報出力部とを備え、
前記付加情報出力部は、再生されているパノラマ動画の表示範囲と、前記付加情報が受け付けられた場合における表示範囲との位置関係を前記入力範囲情報に基づいて判断し、当該位置関係に基づいて前記付加情報の出力態様を変更する、情報処理装置。

【請求項20】

パノラマ動画の一部の領域を表示装置に表示する情報処理システムであって、
所定の入力装置に対する入力に基づいて、前記パノラマ動画のうちで前記表示装置に表示する表示範囲を決定する範囲決定部と、
前記表示装置に表示されているパノラマ動画に対する付加情報の入力を受け付ける受付部と、
前記付加情報と、当該付加情報が受け付けられた場合における表示範囲および／または当該表示範囲内の位置を特定可能な入力範囲情報とを含む入力情報を記憶する記憶部と、
前記付加情報が記憶された状態において前記パノラマ動画が再生される場合、前記入力範囲情報に基づいて前記付加情報を前記パノラマ動画とともに出力する付加情報出力部とを備え、
前記付加情報出力部は、再生されているパノラマ動画の表示範囲と、前記付加情報が受け付けられた場合における表示範囲との位置関係を前記入力範囲情報に基づいて判断し、当該位置関係に基づいて前記付加情報の出力態様を変更する、情報処理システム。

【請求項21】

パノラマ動画の一部の領域を表示装置に表示するパノラマ動画表示方法であって、
所定の入力装置に対する入力に基づいて、前記パノラマ動画のうちで前記表示装置に表示する表示範囲を決定する範囲決定ステップ、
前記表示装置に表示されているパノラマ動画に対する付加情報の入力を受け付ける受付ステップと、
前記付加情報と、当該付加情報が受け付けられた場合における表示範囲および／または当該表示範囲内の位置を特定可能な入力範囲情報とを含む入力情報を記憶部に記憶する記憶制御ステップと、
前記付加情報が記憶された状態において前記パノラマ動画が再生される場合、前記入力範囲情報に基づいて前記付加情報を前記パノラマ動画とともに出力する付加情報出力ステップとを備え、
前記付加情報出力ステップにおいては、再生されているパノラマ動画の表示範囲と、前記付加情報が受け付けられた場合における表示範囲との位置関係を前記入力範囲情報に基づいて判断し、当該位置関係に基づいて前記付加情報の出力態様を変更する、パノラマ動画表示方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、パノラマ動画を表示装置に表示させる情報処理プログラム、情報処理装置、情報処理システム、およびパノラマ動画表示方法に関する。

【背景技術】

【0002】

従来、パノラマ画像を生成して表示装置に表示する技術がある（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００４−１８７２９８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来においては、単にパノラマ画像を表示するだけであるため、パノラマ画像とともに種々の情報をユーザに提供することが望まれる。

【0005】

それ故、本発明の目的は、パノラマ画像を再生する際により多くの情報をユーザに提示することが可能な情報処理プログラム、情報処理装置、情報処理システム、およびパノラマ動画表示方法を提供することである。

【課題を解決するための手段】

【0006】

上記の課題を解決すべく、本発明は、以下の（１）〜（１８）の構成を採用した。

【0007】

（１）
本発明の一例は、パノラマ動画の一部の領域を表示装置に表示する情報処理装置のコンピュータにおいて実行される情報処理プログラムである。情報処理プログラムは、範囲決定手段と、受付手段と、記憶制御手段と、付加情報出力手段としてコンピュータを機能させる。
範囲決定手段は、所定の入力装置に対する入力に基づいて、パノラマ動画のうちで表示装置に表示する表示範囲を決定する。受付手段は、表示装置に表示されているパノラマ動画に対する付加情報の入力を受け付ける。記憶制御手段は、付加情報と、当該付加情報が受け付けられた場合における表示範囲および／または当該表示範囲内の位置を特定可能な入力範囲情報とを含む入力情報を記憶部に記憶する。付加情報出力手段は、付加情報が記憶された状態においてパノラマ動画が再生される場合、入力範囲情報に基づいて付加情報をパノラマ動画とともに出力する。

【0008】

上記（１）の構成によれば、ユーザは、パノラマ動画を単に見るだけでなく、自分や他のユーザが入力したコメントと共にパノラマ動画を見ることができる。したがって、上記情報処理プログラムによれば、パノラマ画像を再生する際により多くの情報を提示することができる。

【0009】

（２）
記憶制御手段は、付加情報が受け付けられた再生時点を特定可能な時間情報をさらに含む入力情報を記憶してもよい。このとき、付加情報出力手段は、時間情報にさらに基づいて付加情報をパノラマ動画とともに出力する。

【0010】

上記（２）の構成によれば、上記時間情報を記憶しておき、当該時間情報に基づいて付加情報を出力する（例えば、付加情報を出力する期間を決定する）ことによって、付加情報を適切なタイミングで出力することができる。

【0011】

（３）
付加情報出力手段は、再生されているパノラマ動画のうちの表示範囲が、入力範囲情報により特定される表示範囲および／または位置に関する条件を満たす場合であって、かつ、再生されているパノラマ動画が、時間情報により特定される再生時点に関する条件を満たすタイミングとなる場合、当該時間情報および入力範囲情報に対応する付加情報を出力してもよい。

【0012】

上記（３）の構成によれば、上記入力範囲情報および時間情報に基づいて付加情報を出力するか否かが決められるので、付加情報を適切な場合に出力することができる。

【0013】

（４）
付加情報出力手段は、再生されているパノラマ動画のうちの表示範囲と、入力範囲情報により特定される範囲および／または位置とが少なくとも一部において重なる場合、入力範囲情報に対応する付加情報をパノラマ動画とともに表示してもよい。

【0014】

上記（４）の構成によれば、現在の表示範囲と、付加情報が入力された際の表示範囲とが重なる場合に付加情報を表示することができる。これによって、現在の表示範囲が適切な範囲となる場合に付加情報を表示することができる。

【0015】

（５）
入力範囲情報は、パノラマ画像上における位置を特定可能な情報であってもよい。このとき、付加情報出力手段は、再生されているパノラマ動画のうちの表示範囲に、入力範囲情報により特定される位置が含まれる場合、当該位置に関連づけて付加情報の画像を表示する。

【0016】

上記（５）の構成によれば、付加情報は、付加情報が入力された位置に関連づけて表示されるので、付加情報が付された位置をユーザに対して明確に認識させることができる。

【0017】

（６）
付加情報出力手段は、パノラマ動画中に登場するオブジェクトがパノラマ画像上において移動することに応じて付加情報を移動して表示してもよい。

【0018】

上記（６）の構成によれば、付加情報に対応するオブジェクトがパノラマ動画中において移動する場合、オブジェクトに合わせて付加情報も移動するので、オブジェクトが移動する場合であっても付加情報を適切な位置に表示することができる。

【0019】

（７）
付加情報出力手段は、パノラマ動画の視点の移動方向とは逆方向に付加情報を移動して表示してもよい。

【0020】

上記（７）の構成によれば、オブジェクトが移動する場合における付加情報の位置を容易に決定することができる。

【0021】

（８）
パノラマ動画は、パノラマ動画中に登場するオブジェクトの位置および／または範囲を表す情報とともに記憶部に記憶されてもよい。このとき、記憶制御手段は、オブジェクトを表す情報を入力範囲情報として記憶する。付加情報出力手段は、再生されているパノラマ動画のうちの表示範囲にオブジェクトが含まれることを少なくとも条件として、当該オブジェクトの位置に関連づけて付加情報の画像を表示する。

【0022】

上記（８）の構成によれば、オブジェクトが移動する場合における付加情報の位置を正確に決定することができる。

【0023】

（９）
付加情報出力手段は、表示装置の画面における所定位置に付加情報を表示してもよい。

【0024】

上記（９）の構成によれば、付加情報を表示する位置を容易に決定することができる。

【0025】

（１０）
付加情報出力手段は、画面内において、パノラマ動画が表示される領域とは異なる領域に付加情報を表示してもよい。

【0026】

上記（１０）の構成によれば、パノラマ動画を見やすく表示することができる。

【0027】

（１１）
付加情報出力手段は、記憶部に複数の付加情報が記憶される場合において、複数の付加情報に基づく情報を出力してもよい。

【0028】

上記（１１）の構成によれば、複数回のパノラマ動画の視聴に基づく統計的な情報をユーザに提供することができる。

【0029】

（１２）
付加情報は、数値を表す情報であってもよい。このとき、付加情報出力手段は、記憶部に複数の付加情報が記憶される場合において、出力すべき複数の付加情報が表す各数値に基づいて得られる数値を表す情報を出力する。

【0030】

上記（１２）の構成によれば、数値を表す付加情報について、複数回のパノラマ動画の視聴に基づく統計的な情報をユーザに提供することができる。

【0031】

（１３）
付加情報出力手段は、複数の付加情報のうち、所定の条件を満たす付加情報の数を表す情報を出力してもよい。

【0032】

上記（１３）の構成によれば、複数の付加情報が設定される場合において、条件を満たす付加情報の数をユーザにわかりやすく提供することができる。

【0033】

（１４）
付加情報出力手段は、再生されているパノラマ動画の表示範囲と、付加情報が受け付けられた場合における表示範囲との位置関係を入力範囲情報に基づいて判断し、当該位置関係に基づいて付加情報の出力態様を変更してもよい。
なお、付加情報出力手段は、再生されているパノラマ動画のうちの表示範囲と、入力範囲情報により特定される範囲および／または位置とが少なくとも一部において重なる場合、入力範囲情報に対応する付加情報を第１の表示態様でパノラマ動画とともに表示し、再生されているパノラマ動画のうちの表示範囲と、入力範囲情報により特定される範囲および／または位置とが重ならない場合、入力範囲情報に対応する付加情報を、第１の表示態様とは異なる第２の表示態様でパノラマ動画とともに表示してもよい。

【0034】

上記（１４）の構成によれば、表示範囲に応じて付加情報の出力態様を変化させることができるので、ユーザは、出力態様を確認しながら表示範囲を移動させることで、所望の表示範囲のパノラマ動画を容易に表示させることができる。

【0035】

（１５）
情報処理プログラムは、外部の装置から入力情報を取得する取得手段としてコンピュータをさらに機能させてもよい。このとき、付加情報出力手段は、記憶部に記憶される付加情報と、取得手段によって取得される付加情報とを出力可能である。

【0036】

上記（１５）の構成によれば、他のユーザが入力した付加情報が付加されたパノラマ動画を提供することができる。また、ユーザは、他のユーザによる付加情報を見ることで、他のユーザがパノラマ動画のどこを見ていたかを知ることができる。

【0037】

（１６）
入力情報は、付加情報を入力したユーザを特定可能なユーザ情報をさらに含んでもよい。このとき、付加情報出力手段は、付加情報とともに当該付加情報に対応するユーザ情報を出力する。

【0038】

上記（１６）の構成によれば、付加情報に加えて当該付加情報を入力したユーザの情報を提供することができる。

【0039】

（１７）
付加情報出力手段は、所定の入力装置に対する入力に基づいて決定される表示範囲のパノラマ動画とともに付加情報を表示装置に表示してもよい。

【0040】

上記（１７）の構成によれば、表示範囲が操作可能な表示装置に付加情報が表示されるので、付加情報をより確実にユーザに認識させることができる。

【0041】

（１８）
付加情報出力手段は、所定の入力装置に対する入力に基づいて決定される表示範囲のパノラマ動画を表示装置に表示するとともに、表示装置とは異なる他の表示装置に付加情報を表示してもよい。

【0042】

上記（１８）の構成によれば、パノラマ動画を見やすく提示することができる。

【0043】

なお、本発明の別の一例は、上記（１）〜（１８）の情報処理プログラムを実行することによって実現される各手段と同等の手段を備える情報処理装置あるいは情報処理システムであってもよいし、上記（１）〜（１８）において実行されるパノラマ動画表示方法であってもよい。

【発明の効果】

【0044】

本発明によれば、ユーザが入力した付加情報をパノラマ動画とともに出力することによって、パノラマ画像を再生する際により多くの情報をユーザに提示することができる。

【図面の簡単な説明】

【0045】

【図1】本実施形態に係る情報処理システムの一例を示すブロック図

【図2】情報処理システムにおいて表示されるパノラマ動画（画像）の一例を示す図

【図3】端末装置の姿勢に応じて表示領域を決定する方法の一例を示す図

【図4】ユーザがコメントを入力する操作の一例を示す図

【図5】付加情報を入力するためのボタンが表示されたパノラマ動画の一例を示す図

【図6】付加情報の入力に応じて記憶される情報（「入力情報」と呼ぶ。）の一例を示す図

【図7】範囲情報に関する条件を判定する方法の一例を示す図

【図8】範囲情報に関する条件を判定する方法の他の一例を示す図

【図9】コメントの出力期間の一例を示す図

【図10】パノラマ動画とともに付加情報が表示される画像の一例を示す図

【図11】出力される付加情報の他の一例を示す図

【図12】オブジェクト情報の一例を示す図

【図13】パノラマ動画とともに付加情報が表示される画像の他の一例を示す図

【図14】パノラマ動画とともに付加情報が表示される画像の他の一例を示す図

【図15】パノラマ動画とともに付加情報が表示される画像の他の一例を示す図

【図16】表示範囲と付加情報の入力位置との位置関係の一例を示す図

【図17】ガイド情報の一例を示す図

【図18】他の表示装置において目標が設定される場合において各表示装置に表示される画像の一例を示す図

【図19】表示範囲が目標として設定される場合における各表示装置に表示される画像の一例を示す図

【図20】履歴情報の一例を示す図

【図21】履歴関連情報の画像の一例を示す図

【図22】履歴関連情報の画像の他の一例を示す図

【図23】履歴情報に基づく履歴関連情報の画像の他の一例を示す図

【図24】履歴情報に基づいて決定された表示範囲のパノラマ動画がモニタ４に表示される場合の一例を示す図

【図25】パノラマ動画とともに補助画像が表示される場合の一例を示す図

【図26】視線方向を表す画像の一例を示す図

【図27】範囲情報に基づく位置を表す画像がパノラマ画像とともに表示される場合の一例を示す図

【図28】パノラマ動画の再生終了後において表示される画像の一例を示す図

【図29】本実施形態において情報処理システムの記憶部に記憶されるデータの一例を示す図

【図30】本実施形態において情報処理装置のＣＰＵが実行する第１モードの動画再生処理の流れの一例を示すフローチャート

【図31】本実施形態において情報処理装置のＣＰＵが実行する第２モードの動画再生処理の流れの一例を示すフローチャート

【図32】本実施形態において情報処理装置のＣＰＵが実行する第３モードの動画再生処理の流れの一例を示すフローチャート

【図33】本実施形態において情報処理装置のＣＰＵが実行する第３モードの動画再生処理の流れの一例を示すフローチャート

【発明を実施するための形態】

【0046】

［１．情報処理システムの構成］
以下、本実施形態の一例に係る情報処理システム、情報処理装置、情報処理プログラム、および動画表示方法について説明する。図１は、本実施形態に係る情報処理システムの一例を示すブロック図である。図１において、情報処理システム１は、端末装置２、情報処理装置３、モニタ４、および操作装置７を備える。本実施形態における情報処理システム１は、画像（パノラマ画像）を生成して表示装置（端末装置２および／またはモニタ４）に表示するものである。

【0047】

本情報処理システム１においては、端末装置２（および操作装置７）に対する入力に応じて情報処理装置３が情報処理（図３０〜図３３に示す動画再生処理）を実行し、実行の結果得られた画像が端末装置２および／またはモニタ４に表示される。このように、本実施形態においては、情報処理システム１は、入力機能、情報処理機能、および表示機能が複数の装置によって実現される構成である。なお、他の実施形態においては、情報処理システム１は、これらの機能を有する単一の情報処理装置（例えば携帯型あるいは可搬型の情報処理装置）で構成されてもよい。

【0048】

端末装置２は、ユーザが把持可能な入力装置である。つまり、端末装置２は、可搬型の入力装置である。端末装置２は情報処理装置３と通信可能である。端末装置２は、端末装置２に対する操作を表す操作データを情報処理装置３へ送信する。また、本実施形態においては、端末装置２は表示部（ＬＣＤ１１）を備えており、端末装置２は表示装置でもある。情報処理装置３から画像が送信されてくる場合、端末装置２は表示部に当該画像を表示する。また、端末装置２は、スピーカを備える。情報処理装置３から音声が送信されてくる場合、端末装置２はスピーカから当該音声を出力する。

【0049】

また、端末装置２は、入力部としてタッチパネル１２を備える。タッチパネル１２は、ハウジング１０に設けられる所定の入力面（表示部の画面）に対して入力された位置を検出する位置検出部の一例である。さらに、端末装置２は、入力部として、スライドパッド、十字キー、およびボタン等の操作部１３を備える。

【0050】

また、端末装置２は入力部として加速度センサ１４を備える。加速度センサ１４は、端末装置２の所定軸方向（本実施形態では３軸方向とするが、１軸以上でよい）に関する加速度を検出する。また、端末装置２は入力部としてジャイロセンサ１５を備える。ジャイロセンサ１５は、端末装置２の所定軸方向（本実施形態では３軸方向とするが、１軸以上でよい）を軸とした回転に関する角速度を検出する。加速度センサ１４およびジャイロセンサ１５は、端末装置２の姿勢を算出するための情報（姿勢を算出あるいは推定可能な情報）を検出するセンサである。なお、他の実施形態においては、端末装置２の姿勢はどのような方法で算出されてもよい。例えば、上記センサ以外の他のセンサを用いて、あるいは、端末装置２を撮影可能なカメラを用いて端末装置２の姿勢が算出されてもよい。

【0051】

情報処理装置３は、画像を生成する処理等、情報処理システム１において実行される情報処理を実行する。本実施形態においては、情報処理装置３は、ＣＰＵ（制御部）５およびメモリ６を有し、ＣＰＵ５がメモリ６を用いて所定の情報処理プログラムを実行することによって、情報処理装置３における各種機能（図３０〜図３３に示す情報処理）が実現される。なお、情報処理装置３は、上記の情報処理を実行することができればどのような構成であってもよい。本実施形態においては、情報処理装置３によって画像（パノラマ画像）が生成され、生成された画像は、表示装置である端末装置２および／またはモニタ４へ出力される。また、情報処理装置３は、パノラマ動画とともに出力すべき音声を生成してもよい。生成された音声は、端末装置２および／またはモニタ４へ出力される。

【0052】

モニタ４は、生成された画像を表示する表示装置の一例である。モニタ４は情報処理装置３から送信されるデータを受信可能である。情報処理装置３において生成された画像がモニタ４へ送信されてくる場合、モニタ４は当該画像を表示する。また、モニタ４はスピーカを備えていてもよい。情報処理装置３において生成された音声がモニタ４へ送信されてくる場合、スピーカは当該音声を出力する。

【0053】

操作装置７は、情報処理装置３と通信可能な任意の入力装置である。操作装置７は、ボタン（キー）および／またはスティック等の入力手段を有するものであってもよいし、加速度センサおよび／またはジャイロセンサ等、操作装置７の位置および／または姿勢を算出（推測）することが可能なセンサであってもよい。操作装置７は、自機に対する操作を表す操作データを情報処理装置３へ送信する。情報処理装置３は、操作装置７からの操作データに基づいて上記情報処理を実行してもよい。なお、他の実施形態においては、情報処理システム１は端末装置２とは異なる他の入力装置（操作装置７）を含まない構成であってもよい。

【0054】

［２．パノラマ動画の再生］
次に、情報処理システム１において実行される、パノラマ動画を再生する処理について説明する。図２は、情報処理システム１において表示されるパノラマ動画（画像）の一例を示す図である。図２に示すように、本実施形態においては、端末装置２およびモニタ４にパノラマ画像が表示される。なお、他の実施形態においては、パノラマ画像は少なくとも１つの表示装置に表示されればよい。

【0055】

ここで、パノラマ画像とは、表示装置に表示される画像の視野角よりも広い視野角の画像である。つまり、パノラマ画像は、基本的にはその一部領域の画像が表示装置に表示される（ただし、本実施形態のように複数の表示装置が用いられる場合には、一部の表示装置においてパノラマ画像の全体が表示されてもよい。）。パノラマ画像は、表示領域が変化することによって視線の方向が変化する画像であるとも言える。本実施形態においては、上下左右方向に関して全方向（３６０°）の視野角を有するパノラマ画像が用いられる（図３参照）。ただし、パノラマ画像には死角があってもよく、例えば視野角が１８０°程度であってもよい。また、本実施形態においては、パノラマ画像はカメラによって撮影された実画像（実写画像）であるが、その一部または全部が仮想画像（ＣＧ画像）であってもよい。

【0056】

本実施形態においては、パノラマ画像が表示装置（端末装置２およびモニタ４）に逐次表示されることによって、パノラマ動画が再生される。すなわち、複数のパノラマ画像によってパノラマ動画が構成される。複数のパノラマ画像にはそれぞれフレーム番号が付されており、パノラマ画像がフレーム番号順に表示されることによって、パノラマ動画が再生される。本実施形態においては、時間経過に伴って視点が移動するパノラマ動画が再生される。すなわち、図２に示すように道路上から周囲を見たパノラマ画像が表示され、道路を進んでいく（視点が道路に沿って移動する）パノラマ動画が再生される。

【0057】

図２に示すように、各表示装置（端末装置２およびモニタ４）には、パノラマ画像の一部の範囲が表示される。以下では、パノラマ画像のうちで表示装置に表示される範囲を「表示範囲」と呼ぶ。図２においては、モニタ４には、視線方向が視点の進行方向（正面方向）となる表示範囲のパノラマ画像が表示される。本実施形態においては、モニタ４における表示範囲は、基本的には予め定められた所定範囲に固定され、一定条件下で変更されることもある（詳細は後述する）。

【0058】

一方、端末装置２における表示範囲は、端末装置２の姿勢に応じて変更される。例えば図２においては、端末装置２は正面方向（ユーザ（端末装置２）からモニタ４への方向）に対して右を向いた姿勢となっており、端末装置２には、上記進行方向に対して視線が右を向いた場合の表示範囲のパノラマ画像が表示されている。このように、情報処理システム１は、入力装置（端末装置２）に対する入力に基づいて、パノラマ動画のうちで表示装置に表示する表示範囲を決定する。これによれば、ユーザは、端末装置２に対する操作（姿勢を変化させる操作）によって視線方向（表示範囲）を自由に変化させてパノラマ動画を見ることができる。なお、他の実施形態においては、表示範囲はユーザの操作に応じて変化するように決定される任意の方法によって決定されてもよい。

【0059】

図３は、端末装置２の姿勢に応じて表示領域を決定する方法の一例を示す図である。本実施形態においては、図３に示すように、仮想空間に立体モデル２１を配置し、その立体モデル２１の内側に仮想カメラ２２を配置する。そして、仮想カメラ２２から見た立体モデル２１（立体モデル２１の内側面）の画像を生成する際に、パノラマ画像をテクスチャとして立体モデルの内側面に描画することで、パノラマ画像が生成される。このとき、パノラマ画像のうち、仮想カメラ２２の視野範囲（図３に示す斜線領域２３）が表示範囲となる。なお、本実施形態においては立体モデル２１は立方体であるとするが、立体モデル２１の形状は任意であり、例えば球体または柱状（例えば円柱）の形状であってもよい。

【0060】

図３において、端末装置２に表示すべき画像を生成するための仮想カメラ２２は、仮想カメラ２２の姿勢が端末装置２の姿勢に応じて制御される。これによって、端末装置２の姿勢に応じて表示範囲が変化する。なお、情報処理装置３は、表示範囲の位置に加えて、表示範囲の大きさ（ズームインまたはズームアウト）を端末装置２に対する操作に応じて変更するようにしてもよい。

【0061】

一方、モニタ４に表示すべき画像を生成するための仮想カメラ（図示せず）は、その視線方向が基本的には所定の基準方向（ここでは、上述した進行方向。図３ではＺ軸正方向）を向くように設定される。つまり、モニタ４の表示範囲（図３に示す斜線領域２４）は、仮想カメラから基準方向への位置に設定される。これら各仮想カメラの位置は立体モデル２１内の所定位置（本実施形態においては立体モデル２１の中心位置）に固定される。

【0062】

なお、本実施形態においては、モニタ４の視線方向（モニタ４に表示されるパノラマ動画の視線方向）と端末装置２の視線方向（端末装置２に表示されるパノラマ動画の視線方向）との関係が、モニタ４の向きと端末装置２の向きとの関係と概ね一致するように、仮想カメラ２２の視線方向が制御される。具体的には、端末装置２がモニタ４の方を向く姿勢（基準姿勢とする）となる場合、仮想カメラ２２の視線方向は、モニタ４のための仮想カメラと同じ方向（すなわち、所定の基準方向）となる。そして、端末装置２の姿勢が基準姿勢から変化した場合、その変化方向に応じた方向へ、変化量に応じた量だけ、仮想カメラ２２の姿勢が変化する。これによれば、ユーザは、モニタ４によってある視線方向の風景を見ながら、端末装置２の向きを変化させることによって所望の視線方向の風景を見ることができる。また、端末装置２の姿勢の変化と仮想カメラ２２の姿勢の変化とを一致させることによって、現実空間における端末装置２の向きと、仮想空間における仮想カメラ２２の視線方向とが一致するので、ユーザは、パノラマ画像が表す空間をよりリアルに感じることができる。

【0063】

［３．ユーザによるコメントの入力］
本実施形態においては、パノラマ動画の再生中において、ユーザはコメント（付加情報）を入力することができる（図４，図５参照）。また、入力されたコメントは、その後パノラマ動画が再生される際に、パノラマ動画とともに出力される（図１０〜図１３参照）。なお、付加情報（コメント）は、画像として表示されてもよいし、音声として出力されてもよい。これによって、ユーザは、パノラマ動画を単に見るだけでなく、自分や他のユーザが入力したコメントと共にパノラマ動画を視聴することができる。したがって、本実施形態によれば、情報処理システム１は、パノラマ画像を再生する際により多くの情報をユーザに提示することができる。また、付加情報が提示されることによって、ユーザは、パノラマ動画のうちで自分が見た範囲を他のユーザに伝えたり、他のユーザが見た範囲を知ったりすることができる。以下、コメントの入力を受け付け、入力されたコメントを出力する方法の詳細を説明する。

【0064】

本実施形態においては、上記コメントのように、パノラマ動画に付加される情報を「付加情報」と呼ぶ。本実施形態においては、ユーザによって入力される付加情報はコメント（メッセージ）である。ただし、付加情報の内容はどのようなものであってもよく、例えば、後述する評価情報（パノラマ動画中に登場するオブジェクトに対する評価を表す情報）、あるいは、ユーザ情報等であってもよい。

【0065】

（３−１）付加情報の入力
図４および図５を参照して、ユーザが付加情報（コメント）を入力する方法を説明する。情報処理システム１は、パノラマ動画の再生中において、端末装置２に表示されているパノラマ動画に対するコメントの入力を受け付ける。図４は、ユーザがコメントを入力する操作の一例を示す図である。本実施形態においては、情報処理システム１は、パノラマ動画が表示される画面上（タッチパネル１２上）に対する入力（タッチ入力）を受け付ける。図４においては、ユーザは、パノラマ動画が表示される画面に対して直接手書きでコメントを入力することができる。なお、付加情報（コメント）の具体的な入力方法はどのような方法であってもよく、他の実施形態においては、例えばキーボードやボタン等の操作部を用いて入力が行われてもよいし、端末装置４がマイクを備える場合には音声入力が行われてもよい。

【0066】

例えば、付加情報の入力は、パノラマ動画上に表示されるボタンに対する入力によって行われてもよい。図５は、付加情報を入力するためのボタンが表示されたパノラマ動画の一例を示す図である。図５に示すように、パノラマ動画上に評価ボタン３１が表示される場合、情報処理システム１は、付加情報の入力として、当該評価ボタン３１に対する入力（例えば、評価ボタン３１をタッチする入力）を受け付けるようにしてもよい。例えば、ユーザは、評価に応じた回数だけ評価ボタン３１に対する入力を行うようにしてもよい。

【0067】

また、付加情報を入力する際、情報処理システム１は、端末装置２のＬＣＤ１１に表示されているパノラマ画像上における位置を指定する入力（位置指定入力）を受け付けてもよい。例えば、コメントの入力を行う前に、コメントの入力を行う位置をユーザにタッチさせるようにしてもよい。なお、詳細は後述するが、パノラマ動画とともに付加情報が表示される場合、上記位置指定入力による位置に関連づけられて付加情報が表示されてもよい。

【0068】

なお、付加情報の入力を受け付ける間は少なくとも、情報処理システム１は、パノラマ動画の再生を一時停止してもよい。例えば、付加情報（コメント）の入力が開始されてから終了されるまでの間、パノラマ動画の再生が一時停止されてもよい。これは、コメントを入力中のユーザが動画の内容を見逃すことを防止したり、コメントを入力しやすくしたりするためである。なお、他の実施形態においては、付加情報の入力中においてもパノラマ動画の再生が継続されてもよい。

【0069】

（３−２）付加情報の記憶
付加情報の入力が行われた場合、情報処理システム１は、付加情報と、付加情報を出力するために必要な情報とを記憶する。図６は、付加情報の入力に応じて記憶される情報（「入力情報」と呼ぶ。）の一例を示す図である。本実施形態においては、図６に示すように、付加情報と、入力範囲情報とを含む入力情報が記憶部に記憶される。この記憶部は、本実施形態においてはメモリ６とするが、情報処理システム１（情報処理装置３）のコンピュータがアクセス可能な記憶装置であればよい。

【0070】

上記の入力範囲情報は、付加情報の入力が受け付けられた場合における表示範囲および／または当該表示範囲内の位置を特定可能な情報である。なお、以下では、表示範囲および／または当該表示範囲内の位置を特定可能な情報を「範囲情報」と呼ぶ。つまり、入力範囲情報は、付加情報の入力が受け付けられた場合における範囲情報である。また、以下では、付加情報の入力が受け付けられた場合における表示範囲を、「入力範囲」と呼び、付加情報の入力が受け付けられた場合における（表示範囲内の）位置を「入力位置」と呼ぶ。

【0071】

入力範囲情報は、上記入力範囲および入力位置の少なくともいずれかを特定できればよい。本実施形態においては、入力位置を特定可能な情報が入力範囲情報として記憶される。上記入力位置は、例えば、上述した位置指定入力によって指定された位置であってもよいし、付加情報が入力された位置（手書きのコメントが入力された位置や、評価ボタン３１の位置）であってもよいし、付加情報が入力された時点における表示範囲の所定位置（例えば中心位置）であってもよい。また、音声入力に関しては、例えば、ユーザの声をマイクによって検知された時点における表示範囲（または表示範囲の中心位置）を表す入力範囲情報が記憶されてもよい。

【0072】

上記入力範囲および／または入力位置を示す入力範囲情報として、本実施形態においては、仮想カメラ２２の姿勢（視線方向）を表すベクトル（図６参照）の情報が記憶される。例えば、仮想カメラ２２の位置から立体モデル２１上の上記入力位置への方向を表すベクトルによって入力位置を表すことができる。また、仮想カメラ２２の位置から立体モデル２１上の上記入力範囲の中心位置への方向を表すベクトルと、当該方向を軸とした回転に関する姿勢を表すベクトルとによって入力範囲を表すことができる。なお、他の実施形態においては、上記入力範囲情報は、上記ベクトルの情報に加えて、表示範囲の大きさを示す情報（ズーム情報）を含んでいてもよい。また、他の実施形態においては、上記入力範囲情報として、立体モデル２１上の範囲または位置を示す情報が記憶されてもよい。

【0073】

本実施形態においては、付加情報は、コメントの内容を示す情報である（図６参照）。具体的には、コメントの内容を示す文字情報が付加情報として記憶されてもよいし、タッチパネル１２に対する手書き入力が受け付けられる場合には、入力されたタッチ位置の軌跡を示す情報が付加情報として記憶されてもよい。また、付加情報として記憶される情報は、コメントの内容に限らずどのような内容であってもよい。

【0074】

また、図６に示すように、本実施形態においては、入力情報は時間情報をさらに含む。時間情報は、付加情報の入力が受け付けられた再生時点を特定可能な情報である。なお、再生時点とは、パノラマ動画における時間軸上の時点である。以下では、付加情報の入力が受け付けられた再生時点を「入力時点」と呼ぶ。本実施形態においては、時間情報は、入力時点で表示されたパノラマ画像のフレーム番号（図６では「第ｉフレーム」と記載している）の情報である。時間情報は、パノラマ動画における時間軸上の再生時点を特定可能な任意の情報であってもよい。例えば、時間情報は、パノラマ動画の再生が開始されてからの経過時間を示す情報であってもよい。また、本実施形態のようにパノラマ動画の視点が時間経過につれて所定空間内を移動する場合には、当該所定空間内における視点の位置を示す情報が時間情報として記憶されてもよい。なお、他の実施形態においては、入力情報は時間情報を含まなくてもよい。

【0075】

また、図６に示すように、本実施形態においては、入力情報はユーザ情報をさらに含む。ユーザ情報は、付加情報を入力したユーザを特定可能な情報である。ユーザ情報の具体的な内容はどのような情報であってもよい。本実施形態においては、パノラマ動画の再生前にユーザの識別情報（例えばユーザの名前（ニックネーム））が予め登録され、登録された識別情報がユーザ情報として記憶される。なお、他の実施形態においては、入力情報はユーザ情報を含まなくてもよい。

【0076】

（３−３）付加情報の出力
以上のようにして付加情報を含む入力情報が記憶された状態でパノラマ動画が再生される場合、情報処理システム１は、パノラマ動画とともに付加情報を出力する。本実施形態においては、情報処理システム１は、パノラマ動画とともに出力される付加情報を上記入力範囲情報に基づいて制御する。典型的には、パノラマ動画の再生中において、上記入力時点が到来し、かつ、上記入力位置が現在の表示範囲に含まれる場合、付加情報がパノラマ動画とともに表示される（図１０等参照）。なお、例えば入力時点が到来していない場合、あるいは、入力位置が現在の表示範囲に含まれない場合（現在の視線方向が付加情報の入力時とは別の方向を向いている場合）には、付加情報は表示されない。以下、付加情報を出力する方法について説明する。

【0077】

（３−３−１）付加情報の出力判別の方法
本実施形態においては、情報処理システム１は、付加情報を出力するか否かを上記時間情報および入力範囲情報を用いて判別する。具体的には、情報処理装置３は、（ａ）再生されているパノラマ動画のうちの表示範囲が、入力範囲情報により特定される表示範囲および／または位置に関する条件を満たすか否か、および、（ｂ）再生されているパノラマ動画が、時間情報により特定される再生時点に関する条件を満たすタイミングとなるか否か、を判定する。

【0078】

図７は、入力範囲情報に関する条件を判定する方法の一例を示す図である。上記（ａ）に関する判定として、情報処理装置３は、現在の表示範囲と、コメントの入力位置（入力範囲情報により特定される位置）とが重なるか否かを判定してもよい（図７参照）。例えば図７に示すように入力位置が現在の表示範囲内に含まれる場合、上記（ａ）における条件が満たされると判定される。これによって、コメントの入力位置が端末装置２に表示されているか否かを判断することができる。

【0079】

また、図８は、入力範囲情報に関する条件を判定する方法の他の一例を示す図である。他の実施形態においては、上記（ａ）に関する判定として、情報処理装置３は、現在の表示範囲と、コメント入力時の表示範囲（時間情報により特定される表示範囲）とが重なるか否かを判定してもよい。例えば図８に示すように入力範囲が現在の表示範囲と少なくとも一部において重複する場合、上記（ａ）における条件が満たされると判定される。これによれば、上記入力範囲と現在の表示範囲とが少なくとも一部において重複するか否かを判断することができる。つまり、コメント入力時の表示範囲の少なくとも一部が現在表示されているか否かを判断することができる。

【0080】

なお、図７および図８を用いて説明した上記の判定は、立体モデル２１上の位置（または範囲）を比較することによって行われてもよいし、仮想カメラ２２の姿勢を表すベクトルを比較することによって行われてもよい。

【0081】

また、上記（ｂ）に関する判定としては、例えば、現在のパノラマ動画の再生時点が、時間情報により特定される再生時点（入力時点）を含む所定の出力期間であるか否かを判定してもよい。図９は、コメントの出力期間の一例を示す図である。図９に示すように、上記出力期間は、例えば、コメントの入力時点（時間情報が示す再生時点）の所定時間前から、所定の出力時間が経過するまでの期間として設定されてもよい。なお、出力期間は、コメントの入力時点に基づいて設定されてもよいし、コメントを入力したユーザによって設定されてもよい。また、コメントが文字情報である場合には、出力期間は文字数に応じた長さに（例えば、文字数が多いほど長くなるように）設定されてもよい。

【0082】

上記（ａ）および（ｂ）の判定がともに肯定となる場合、情報処理システム１は、パノラマ動画とともに付加情報を出力すると判断する。本実施形態においては、コメント入力時点を含む出力期間において、現在の表示範囲が上記入力位置を含む場合に、コメント（付加情報）が出力される。

【0083】

（３−３−２）付加情報の出力態様
図１０は、パノラマ動画とともに付加情報が表示される画像の一例を示す図である。付加情報を出力すると情報処理システム１が判断した場合、図１０に示すように、端末装置２にはパノラマ動画上にコメント画像３２が表示される。このように、本実施形態においては、パノラマ動画中に登場するあるオブジェクト（ここではビル）に対してコメントが入力されると、その後においてパノラマ動画が再生される際には、当該オブジェクトにコメントが付された状態でパノラマ動画が表示される。

【0084】

ここで、図１０に示すように、コメント画像３２は、パノラマ画像上における上記入力位置を指し示す。つまり、情報処理システム１は、現在の表示範囲に入力位置が含まれる場合、当該入力位置に関連づけて付加情報の画像を表示させる。これによれば、コメントが付された位置をユーザに対して明確に認識させることができる。例えば図１０においては、ユーザは、コメントが付された対象となったビルがどれであるかを容易に把握することができる。なお、図１１は、出力される付加情報の他の一例を示す図である。図１１に示されるように、コメント画像３２は入力位置に表示されてもよい。また例えば、コメントがタッチパネル１２に対する手書き入力によって行われる場合には、手書きの文字が入力位置に（そのまま）表示されてもよい。なお、付加情報の画像は、入力位置に関連づけて表示されるが、必ずしも入力位置に表示されなくてもよい。例えば、入力位置にコメント画像３２が表示されると、コメントを付した対象が見にくくなるおそれがある。そのため、コメント画像３２は、（図１０に示すように）入力位置から少しずれた位置に表示されてもよい。なお、本明細書において、「画像」とは、文字（テキスト情報）を表す画像を含む。

【0085】

また、図１０に示すように、本実施形態においては、コメント画像３２とともに、コメントを入力したユーザの名前（Ａさん）を表すユーザ画像３３が表示される。このように、情報処理システム１は、付加情報とともに当該付加情報に対応するユーザ情報を出力する。なお、出力されるユーザ情報は、ユーザの名前であってもよいし、ユーザ毎に設定されるキャラクタ（例えばユーザを模したキャラクタ）であってもよいし、ユーザの似顔絵の画像等であってもよい。本実施形態によれば、付加情報を見たユーザは、付加情報の内容だけでなく、付加情報を入力したユーザがパノラマ動画のどこを見ていたかを知ることができる。ここで、パノラマ動画は、一画面内に収まらない領域を有する動画であり、端末装置２における表示範囲はユーザが自由に操作することができる。そのため、パノラマ動画を視聴した際の表示範囲の位置やその変化はユーザによって異なる。そのため、本実施形態のように、他のユーザがパノラマ動画のどこを見ていたかを知ることができることはユーザにとって興味深い情報である。なお、図１０に示す付加情報の表示態様以外の他の表示態様（図１１〜図１３等）においても、付加情報とともにユーザ情報が表示されてもよい。

【0086】

なお、他の実施形態においては、ユーザ情報は付加情報自体として表示されてもよい。例えば、上記入力位置にユーザ情報を表す画像（例えば、ユーザの似顔絵の画像）のみが表示されてもよい。これによれば、付加情報（ユーザ情報）を見たユーザに対して、付加情報を入力したユーザが入力位置を含む表示範囲を閲覧していたことを伝えることができる。

【0087】

なお、本実施形態のようにパノラマ動画の視点が時間に応じて移動する場合、パノラマ動画に登場する各オブジェクトは、パノラマ画像上において視点の移動方向とは逆方向に移動する。したがって、上記の場合、情報処理システム１は、付加情報を、当該付加情報に対応するオブジェクトの移動に合わせて移動させて表示するようにしてもよい。なお、「付加情報に対応するオブジェクト」とは、入力時点において入力位置に表示されているオブジェクトであり、換言すれば、入力時点において、入力範囲情報によって特定される位置に配置されているオブジェクトである。具体的には、付加情報は、視点の移動方向とは逆方向へ時間に応じて移動するように表示されてもよい。例えば、視点の移動方向を前方向とする場合には、付加情報は前から後へ移動するように表示されてもよい。なお、視点の移動方向および移動速度がわかる場合、空間内に固定的に配置されるオブジェクト（ビル等）がパノラマ動画上で移動する方向および速度を特定することができ、視点の移動方向および移動速度に基づいて、付加情報を移動させるアルゴリズムを算出することができる。したがって、このアルゴリズムに従って付加情報を移動させることによって、オブジェクトの移動に合わせて付加情報を移動させて表示することができる。なお、付加情報はオブジェクトの位置と厳密に一致する必要はなく、オブジェクトのある程度近傍に表示されてもよい。

【0088】

また、オブジェクトの移動に合わせて付加情報を移動させる方法としては、オブジェクトの（パノラマ画像上における）位置および／または範囲を表すオブジェクト情報をパノラマ画像とともに用意しておく方法が考えられる。図１２は、オブジェクト情報の一例を示す図である。図１２に示すように、パノラマ画像中にオブジェクト（図１２ではビル）が登場する場合、このオブジェクトの範囲（例えば図１２に示す点線領域３４）を示すオブジェクト情報がパノラマ動画とともに記憶される。なお、情報処理システム１は、パノラマ動画を構成する複数のパノラマ画像毎に、登場する１以上のオブジェクトについてオブジェクト情報を当該パノラマ画像に関連づけて記憶しておく。コメントの入力を受け付ける際には、情報処理装置３は、コメントの入力位置がオブジェクトの範囲内であるか否かを、オブジェクト情報を用いて判定する。入力位置がオブジェクトの範囲内である場合、情報処理装置３は、当該オブジェクトを示す情報を上記入力範囲情報として記憶する。パノラマ動画を再生する際には、情報処理装置３は、再生中のパノラマ動画のうちの表示範囲に上記オブジェクトが含まれることを少なくとも条件として、当該オブジェクトの位置に関連づけてコメントの画像を表示させる。具体的には、コメントは、オブジェクト情報から特定される上記オブジェクトの位置（または範囲）に関連づけて表示される。これによって、オブジェクトの位置に合わせた正確な位置に付加情報を表示させることができる。また、上記オブジェクト情報を用いる方法によれば、（視点の移動にかかわらず）空間内を移動することによってパノラマ画像上において移動して見えるオブジェクトに対しても、当該オブジェクトに応じた位置に付加情報を表示させることができる。

【0089】

なお、後述するようなマップの画像（図２５参照）が用意され、マップ上の位置とパノラマ動画上での位置とを対応付けることが可能である場合、オブジェクト情報は、マップと関連付けて（マップ上における位置または範囲を表す情報として）記憶されていてもよい。このとき、情報処理装置３は、表示範囲に対応するマップ上の範囲を特定し、特定された範囲内に関連づけられているオブジェクト情報から、オブジェクトのパノラマ動画上における位置または範囲を特定してもよい。

【0090】

また、オブジェクト情報を入力範囲情報として記憶する場合には、オブジェクト情報が表すオブジェクトがパノラマ動画中に登場する期間に付加情報を表示することも可能である。つまり、オブジェクト情報を入力範囲情報として記憶することによって、（時間情報を用いることなく）付加情報の出力期間を制御することもできる。

【0091】

また、他の実施形態においては、付加情報は、端末装置２の画面上における所定位置に表示されてもよい。図１３は、パノラマ動画とともに付加情報が表示される画像の他の一例を示す図である。図１３に示すように、コメント画像３２は、（コメントに対応するオブジェクトの位置にかかわらず）画面の所定領域（図１３では下側の領域）に表示されてもよい。例えばコメントの入力位置が上記入力範囲情報として記憶されない場合には、オブジェクトに対応する位置にコメントを表示することが難しいので、画面上の所定位置にコメントを表示するようにしてもよい。つまり、情報処理システム１は、再生中のパノラマ動画のうちの表示範囲が、付加情報が受け付けられた場合における表示範囲と少なくとも一部が重複する場合、表示装置の画面における所定位置に付加情報を表示させてもよい。これによれば、付加情報を表示する位置を容易に特定することができる。さらに、図１３に示すように、付加情報は、パノラマ動画が表示される領域とは異なる領域に表示されてもよい。これによれば、付加情報によってパノラマ動画が隠されることがないので、パノラマ動画を見やすく表示することができる。

【0092】

（３−３−３）付加情報の出力内容
他の実施形態においては、付加情報として出力される内容は、ユーザが入力したコメントに限らず、ユーザの入力に基づく他の情報であってもよい。例えば上述した評価ボタン３１を用いて評価情報の入力が行われる場合には、評価ボタン３１に対する入力回数を表す評価情報を付加情報として記憶し、当該入力回数を表す画像が付加情報として出力されてもよい。図１４は、パノラマ動画とともに付加情報が表示される画像の他の一例を示す図である。上記の場合、例えば図１４に示すように、入力回数に応じた長さのバー３５が付加情報として表示されてもよい。なお、バー３５は、付加情報の入力位置（評価ボタン３１の位置）に基づく位置（例えば近傍の位置）に表示される。

【0093】

なお、情報処理システム１は、１つの付加情報に基づく情報を出力することに限らず、複数の付加情報に基づく情報を出力してもよい。例えば、図１４に示す例において、バー３５の長さは、複数の入力情報における各入力回数の和（すなわち、複数のユーザによる評価ボタン３１の入力回数の合計）あるいは平均値を表すように設定されてもよい。このように、情報処理システム１は、付加情報が数値（ここでは、入力回数）を表す情報である場合、出力すべき複数の付加情報が表す各数値に基づいて得られる数値（ここでは、入力回数の和）を表す情報を出力してもよい。なお、上記「出力すべき複数の付加情報」は、出力内容を１つにまとめるべき同種の付加情報（例えば、評価ボタン３１に関する付加情報）であることを条件としてもよい。これによれば、複数人のユーザ（あるいは複数回の視聴）に基づく統計情報をユーザに提供することができる。また、情報処理システム１は、複数の付加情報のうち、所定の条件を満たす付加情報の数を表す情報を出力してもよい。例えば、同種の付加情報の数を表す情報が出力されてもよい。

【0094】

また、他の実施形態においては、情報処理システム１は、端末装置２の表示範囲の変化に応じて付加情報の出力態様が変化するように制御してもよい。図１５は、パノラマ動画とともに付加情報が表示される画像の他の一例を示す図である。なお、図１５においては図１４に示す場合と同様、評価ボタン３１に対する入力回数を付加情報として記憶するものとする。このとき、情報処理システム１は、入力回数に応じた長さとなり、かつ、現在の表示範囲と上記入力範囲との位置関係に応じた長さとなるバー３６を表示する。すなわち、バー３６は、入力回数が多いほど長く表示される。さらに、バー３６は、評価ボタン３１（評価ボタン３１に対応するオブジェクト）が表示範囲の中央に近いほど長く表示される。なお、情報処理システム１は、上記位置関係を入力範囲情報に基づいて判断することができる。また、バー３６は、現在の表示範囲にかかわらず常に端末装置２の画面上に表示される。そのため、バー３６の長さは、表示範囲の移動に応じて変化することとなる。なお、バー３６の長さは、評価ボタン３１に加えて他の評価ボタンの入力回数をも考慮して決定されてもよい。すなわち、評価が高い（入力回数が多い）オブジェクトが表示範囲内に多く存在するほどバー３６が長く表示されてもよい。これによれば、ユーザは、バー３６を見ながら表示範囲を移動させることで、評価が高いオブジェクトを探すことができる。

【0095】

以上のように、情報処理システム１は、再生中のパノラマ動画の表示範囲と、付加情報が受け付けられた場合における表示範囲との位置関係を入力範囲情報に基づいて判断し、当該位置関係に基づいて付加情報の出力態様（バーの長さ）を変更してもよい。これによれば、表示範囲に応じて変化する情報をユーザに提示することができ、ユーザは、この情報に基づいて表示範囲を操作することができる。

【0096】

なお、他の実施形態においては、情報処理システム１は、付加情報を表す画像を表示させることとともに、あるいは、表示させることに代えて、付加情報を表す音声を出力してもよい。なお、上記音声は、端末装置２から出力されてもよいし、モニタ４が備えるスピーカから出力されてもよいし、両者から出力されてもよい。

【0097】

（３−３−４）付加情報の出力先
本実施形態においては、上記付加情報は端末装置２に表示される。端末装置２は、表示範囲がユーザによって操作される表示装置である。したがって、ユーザは、端末装置２を操作して表示範囲を移動させる際に付加情報を認識することができるので、付加情報をより確実にユーザに認識させることができる。

【0098】

なお、他の実施形態においては、付加情報は、端末装置２とは異なる表示装置（モニタ４）に表示されてもよい。例えば、情報処理システム１は、端末装置２に対する入力に基づいて決定される表示範囲のパノラマ動画を当該端末装置２に表示させるとともに、モニタ４に付加情報を表示させてもよい。これによれば、端末装置２に表示されるパノラマ動画を見やすく提示することができる。また、端末装置２を用いるユーザ以外にモニタ４を見ている他のユーザが存在する場合には、当該他のユーザに対しても付加情報を提示することができる。また、モニタ４における表示範囲内に付加情報の入力位置が含まれる場合、あるいは、モニタ４における表示範囲と付加情報の入力範囲とが少なくとも一部において重なる場合、付加情報はモニタ４に表示されてもよい。これによって、ユーザが付加情報を見る機会を増やすことができる。

【0099】

また、他の実施形態においては、情報処理システム１は、パノラマ画像の全体をモニタ４に表示してもよいし、パノラマ画像が表す空間の画像（例えば、鳥瞰図やマップ）をモニタ４に表示してもよい。このとき、モニタ４に表示される画像とともに（当該画像に重ねて）付加情報を表示してもよい。

【0100】

（３−４）他のユーザによる付加情報
情報処理システム１は、端末装置２に対する入力によって入力情報を記憶する他、情報処理システム１の外部の他の装置から入力情報を取得し、当該入力情報に含まれる付加情報をパノラマ動画とともに出力してもよい。例えば、情報処理装置３は、インターネット等のネットワークを介して外部の装置と通信可能であってもよく、このとき、当該外部の装置から入力情報を取得してもよい。なお、上記「外部の装置」は、例えば、情報処理システム１と同機能のシステムに含まれる情報処理装置であってもよいし、入力情報を記憶するサーバであってもよい。上記によれば、ユーザは、他のユーザ（例えば知人や有名人）が入力した付加情報（コメント）が付加されたパノラマ動画を見ることができる。また、ユーザは、他のユーザによる付加情報を見ることで、他のユーザがパノラマ動画のどこを見ていたかを知ることができる。

【0101】

［４．ガイドの出力］
本実施形態においては、パノラマ動画の再生中において、付加情報（コメント）の他にガイド情報が出力される。ガイド情報は、パノラマ画像上における目標をガイドするための情報である。ここで、目標とは、パノラマ画像上において設定される位置および／または範囲である。例えば、上述の付加情報が表示される位置が目標として設定されてもよいし、他のユーザが指定した位置が目標として設定されてもよいし、後述する履歴情報から得られる表示範囲が目標として設定されてもよい。ガイド情報は、パノラマ画像上において目標が設定される場所をユーザに通知するための情報とも言える。

【0102】

図１６は、表示範囲と目標との位置関係の一例を示す図である。図１６において、表示範囲は領域２３であり、目標は領域２３の外側にある。そのため、図１６に示す状態では、目標の位置に対応する情報は出力されない。このとき、仮に目標となる位置が表示範囲のすぐ近くであったとしても、ユーザは目標の存在に気づかず、表示範囲を目標の方へ移動させない可能性がある。

【0103】

そこで、本実施形態においては、情報処理システム１は、目標をユーザに知らせるべく、パノラマ動画の一部領域とともにガイド情報を出力する。図１７は、ガイド情報の一例を示す図である。なお、図１７に示すガイド情報は、表示範囲と目標との関係が図１６に示す状態となる場合に表示されるものである。図１７に示すように、本実施形態においては、右方向を示す矢印を表すガイド画像４１がガイド情報として表示される。これによって、目標となる位置または範囲を表示範囲に含めるためには表示範囲をどちらに動かせばよいかをユーザに通知することができる。このように、パノラマ動画とともにガイド情報が出力される場合、ユーザにガイド情報を提示することによって、現在の表示範囲が目標を含んでいない場合であっても、目標の方へ表示範囲を移動させるようにユーザを誘導することができる。なお、ガイド情報は、画像として表示されてもよいし、音声として出力されてもよい。

【0104】

（４−１）目標の設定
情報処理装置３は、パノラマ画像上における範囲および／または位置を目標に設定する。目標として設定される位置および／または範囲は、どのようなものであってもよい。例えば、目標は、ユーザに対して何らかの情報が提示される位置および／または範囲であってもよい。具体的には、付加情報がパノラマ動画上に表示される場合、情報処理装置３は、付加情報に対応する位置（および／または範囲）を目標に設定してもよい。このとき、ガイド情報によって、付加情報が表示される表示範囲となるようにユーザを誘導することができる。なお、図１７に示す画像は、付加情報の一例であるコメントの位置が目標に設定された場合において表示される画像の例である。また、履歴情報から生成される履歴関連情報は付加情報となり得るものであり、付加情報である履歴関連情報に対応する位置が目標に設定されてもよい。なお、詳細は後述するが、履歴情報は、パノラマ画像の再生中におけるユーザによる操作、および／または、当該操作によって決定される情報を表す。

【0105】

また、情報処理装置３は、端末装置２のユーザとは別の他のユーザによって指定された位置（または範囲）を目標に設定してもよい。すなわち、情報処理装置３は、表示範囲を操作するための入力装置（端末装置２）とは異なる他の入力装置（操作装置７）に対する入力によって指定された範囲または位置を目標に設定してもよい。例えば、端末装置２の表示装置（ＬＣＤ１１）とは異なる他の表示装置（モニタ４）にパノラマ動画が表示される場合、情報処理装置３は、上記他の入力装置に対する入力に基づいて、当該他の表示装置に表示されるパノラマ動画上における位置（および／または範囲）を指定するようにしてもよい。このとき、指定された位置（および／または範囲）が目標に設定される。

【0106】

図１８は、他の表示装置において目標が設定される場合において各表示装置に表示される画像の一例を示す図である。図１８において、モニタ４には、パノラマ動画とともにカーソル４３が表示される。カーソル４３は、操作装置７によって操作される。操作装置７を用いる他のユーザは、カーソル４３を所望の位置に移動して、所定の操作（例えば、操作装置７のボタンを押下する操作）を行う。情報処理装置３は、上記所定の操作が行われた時点におけるパノラマ画像上の位置を目標に設定する。なお、本実施形態においてはカーソル４３を用いて目標を設定する操作を例として説明するが、目標を設定するための操作方法はどのようなものであってもよい。また、図１８では、目標の位置には付加情報を表す画像（「注目！」を表す画像）４４が表示されるが、当該画像が表示されなくてもよい。目標が設定された場合、情報処理装置３は、目標に対応するガイド情報を端末装置２において出力（表示）する。例えば図１８においては、端末装置２における表示範囲に対して左方向に目標が設定されるので、端末装置２においては、左方向を示す矢印を表すガイド画像４５がガイド情報として表示される。

【0107】

上記のように、上記他の入力装置に対する入力によって目標を設定することができる場合には、端末装置２を用いるユーザとは異なる他のユーザが目標を設定することができる。例えば、他のユーザが「おすすめの位置」を目標として他の入力装置を用いて入力することによって、端末装置２のユーザに対して「おすすめの位置」を知らせることも可能である。

【0108】

また、上記他の表示装置に表示されるパノラマ動画上における位置（および／または範囲）を目標として指定することができる場合には、ある表示装置の画面上において指定された目標に対するガイド情報を別の表示装置において出力することができる。したがって、目標を設定するユーザは、他のユーザが見ている表示範囲外の場所に目標を容易に設定することができる。なお、他の実施形態においては、情報処理装置３は、端末装置２に対する入力に基づいて目標となる位置（および／または範囲）を設定し、設定された目標に対応するガイド情報をモニタ４に表示するようにしてもよい。これによっても、上記と同様の効果を奏することができる。

【0109】

また、目標として設定される対象はパノラマ画像上における位置に限らず、範囲であってもよい。例えば、情報処理装置３は、パノラマ動画が別に再生される場合における表示範囲を目標に設定してもよい。ここで、「パノラマ動画が別に再生される場合」とは、ユーザの操作に従って表示範囲が決められる再生（本実施形態においては、端末装置２における再生）とは別にパノラマ動画が再生される場合である。例えば、過去にパノラマ動画が再生された場合は、「パノラマ動画が別に再生された場合」と言える。また、ユーザの操作に従って表示範囲が決められる表示装置（例えば端末装置２）とは別の表示装置（例えばモニタ４）においてパノラマ動画が再生される場合は、「パノラマ動画が別に再生された場合」と言える。上記のように、パノラマ動画が別に再生される場合、その場合における表示範囲を目標として設定し、当該表示範囲に対応するガイド情報が出力されてもよい。

【0110】

図１９は、表示範囲が目標として設定される場合における各表示装置に表示される画像の一例を示す図である。図１９においては、モニタ４には仮想カメラ２２の視線方向が正面方向を向くときの表示範囲のパノラマ動画が表示され、端末装置２には視線方向が正面方向よりも右方向を向くときの表示範囲のパノラマ動画が表示される。そのため、端末装置２においては、端末装置２における表示範囲を基準にしてモニタ４の表示範囲への向きである左方向を示す矢印を表すガイド画像４７がガイド情報として表示される。また、モニタ４においては、モニタ４における表示範囲を基準としたときの端末装置２の表示範囲への向きである右方向を示す矢印を表すガイド画像４６がガイド情報として表示される。このように、情報処理装置３は、ある表示装置とは異なる他の表示装置にパノラマ動画が表示される場合、当該他の表示装置において表示される表示範囲を目標に設定してもよい。なお、図１９においては、２つの表示装置の両方において、他の表示装置における表示範囲に対応するガイド情報が出力されるが、いずれか一方の表示装置においてのみ当該ガイド情報が出力されてもよい。

【0111】

また、情報処理装置３は、過去にパノラマ動画が再生された場合における表示範囲を目標として設定してもよい。例えば、過去にパノラマ動画が再生された場合における表示範囲は、後述する履歴情報に基づいて特定することができる。情報処理装置３は、履歴情報に基づいて特定される表示範囲を目標として設定してもよい。すなわち、情報処理装置３は、現在の表示範囲を基準として、過去にパノラマ動画が再生された場合における表示範囲を向く方向を表すガイド情報をパノラマ動画とともに出力してもよい（図２１参照）。なお、後述する“（表示範囲の方向を表す履歴関連情報）”において説明する履歴関連情報は、ガイド情報の１つである。

【0112】

以上のように、パノラマ動画が別に再生される場合における表示範囲が目標に設定される場合には、他のユーザが見ていた（あるいは見ている）表示範囲をユーザに通知することができ、その表示範囲の方へ自分が見ている表示範囲を向けるように誘導することができる。

【0113】

（４−２）目標情報の記憶
上記目標が設定される場合、情報処理装置３は、設定された目標を表す目標情報を記憶する。本実施形態においては、目標情報は、目標位置情報と、目標期間情報とを含む。目標位置情報は、目標として設定された位置および／または範囲を特定可能な情報である。目標として設定された位置および／または範囲は、上述の範囲情報（入力範囲情報）と同様に表すことができ、例えば、仮想カメラ２２の姿勢（視線方向）を表すベクトルの情報によって表されてもよいし、立体モデル２１上の範囲および／または位置として表されてもよい。

【0114】

また、目標期間情報は、目標が設定される期間を特定可能な情報である。目標期間情報は、例えば上記期間の開始時点と終了時点とを表すものであってもよいし、目標が設定された時点（当該時点から上記期間を設定可能である場合）を表すものであってもよい。目標が設定される期間は、上述の時間情報と同様に表すことができ、例えばパノラマ画像のフレーム番号によって表されてもよい。

【0115】

なお、設定される目標が上記付加情報に対応する場合（付加情報の位置に目標が設定される場合）、情報処理装置３は、付加情報に対応する入力情報に基づいて上記目標情報を設定してもよい。すなわち、目標位置情報は、入力情報に含まれる入力範囲情報に基づいて設定されてもよい。また、目標期間情報は、入力情報に含まれる時間情報に基づいて設定されてもよい。さらに、入力範囲情報がそのまま目標位置情報として用いられてもよいし、時間情報がそのまま目標期間情報として用いられてもよい。このとき、情報処理装置３は、上記入力情報とは別に目標情報を別途記憶しなくてもよい（入力情報を記憶することで、目標情報を記憶したとみなすことができる）。

【0116】

（４−３）ガイド情報の出力判別の方法
本実施形態においては、ガイド情報を出力するタイミングは、当該ガイド情報に対応する目標が設定される期間に基づいて決定される。上記タイミングの具体的な決定方法はどのようなものであってもよいが、本実施形態においては、情報処理システム１は、上記期間においてガイド情報を表示する。なお、ガイド情報の表示は、上記期間の所定時間前から開始され、当該期間が終了するまで行われてもよい。

【0117】

また、本実施形態において、目標が表示範囲内に位置する場合には、目標に対応するガイド情報は出力されない。例えば、現在の表示範囲内に付加情報が表示される場合、当該付加情報に対応するガイド情報は表示されない。これによって、不要なガイド情報を表示することなく、パノラマ動画および付加情報を見やすく表示することができる。

【0118】

また、パノラマ動画中において複数の目標が設定される場合、情報処理システム１は、所定の条件を満たす目標についてガイド情報を出力するようにしてもよい。上記所定の条件は、例えば、特定のユーザが設定した目標（例えば、特定のユーザが入力した付加情報に対応する目標）であること、特定の種類の目標（例えば、コメントの付加情報に対応する目標）であること、および、現在の表示範囲を基準として所定の範囲内において設定される目標であること等である。これによれば、条件を満たす目標について（のみ）ガイド情報が出力されるので、出力されるガイド情報の数を減少し、パノラマ動画を見やすく表示することができる。なお、上記所定の条件は、例えばユーザによって指定されてもよい。

【0119】

また、本実施形態においては、ガイド情報は、現在の表示範囲を基準として目標（目標に設定される範囲および／または位置）への向きを表す（図１７参照）。情報処理装置３は、現在の表示範囲と、目標に設定される範囲および／または位置とに基づいて上記向きを決定する。例えば、上記向きは、仮想カメラ２２の視線方向を表すベクトルを用いて算出することができる。より具体的には、上記向きは、現在の表示範囲の中心位置を表すベクトルを基準とした、上記目標に設定される位置（または、目標に設定される範囲の中心位置）を表すベクトルへの向きとして算出することができる。

【0120】

（４−４）ガイド情報の出力態様
ガイド情報は、表示範囲と目標との関係を表す画像および／または音声である。本実施形態においては、上記のように、表示範囲を基準として目標への向きを表すガイド情報が出力される。本実施形態においては、ガイド情報は、図１７に示すような矢印を表すガイド画像４１であるが、ガイド情報は、ユーザに対して上記向きを通知することが可能な任意の出力態様で出力されてもよい。例えば他の実施形態においては、情報処理システム１は、上記向きを表す画像とともに（または画像に代えて）、当該向きを表す音声を出力してもよい。なお、上記音声は、端末装置２および／またはモニタ４から出力される。また、後述するようなマップの画像（図２５参照）によって、表示範囲を基準として目標への向きをユーザに推測させることも可能である。本願のガイド画像によれば、表示範囲に対する目標の向きをより直感的にわかりやすく提示することができる。

【0121】

また、本実施形態においては、情報処理装置３は、ガイド情報とともに、ユーザ情報を出力してもよい。ここで出力されるユーザ情報は、ガイド情報に対応する付加情報を入力したユーザを表す。例えば、図１７においては、コメントを入力したユーザの名前（Ａさん）を表すユーザ画像４２がガイド画像４１とともに表示される。これによれば、ユーザは、コメントを入力したユーザが誰であるかによってそのコメントを見るかどうか（すなわち、そのコメントの方へ表示範囲を移動させるかどうか）を判断することができる。

【0122】

また、情報処理装置３は、ガイド情報とともに、目標の種類を表す情報を出力してもよい。例えば図１７においては、ガイド画像４１とともに、目標の種類を表す画像（「Ａさんのコメント」を表す画像）４２が表示される。目標の種類とは、例えば、目標の位置および／または範囲が表示範囲に含まれる場合に出力される情報の種類である。具体的には、目標の種類を表す情報は、「コメント」あるいは「評価情報」といった、出力される内容に関する種類であってもよいし、「Ａさん」あるいは「Ｂさん」といった、情報の入力者の種類であってもよい。これによって、どのような情報が目標として設定されているかをユーザに通知することができる。ユーザは、目標へと実際に表示範囲を動かす前に、目標の場所で出力される情報の種類を知ることができる。

【0123】

なお、パノラマ画像上において付加情報の位置が移動する場合、付加情報に対応する目標も付加情報の移動に応じて移動される。このとき、情報処理システム１は、ガイド情報が表す向きを目標（付加情報）の移動に応じて変化させる。すなわち、情報処理システム１は、ガイド情報を出力する間、その時点での表示範囲と、目標との位置関係を繰り返し算出し、ガイド情報が表す向きを当該位置関係に基づいて繰り返し算出してもよい。これによれば、目標が移動する場合であっても、移動に応じた正確な向きを表すガイド情報を出力することができる。

【0124】

（４−５）ガイド情報の出力先
本実施形態においては、ガイド情報は、付加情報が表示される表示装置（端末装置２）に表示される（図１７、図１８参照）。したがって、ユーザは、端末装置２を操作して表示範囲を移動させる際にガイド情報を認識することができるので、ユーザにガイド情報をより確実に認識させることができる。なお、他の実施形態においては、ガイド情報は、付加情報が表示される表示装置とは別の表示装置（モニタ４）に表示されてもよい。これによれば、端末装置２に表示されるパノラマ動画を見やすく提示することができる。また、他の実施形態においては、２つの表示装置の両方にガイド情報が表示されてもよい。

【0125】

（４−６）ガイド情報に対応する付加情報の内容
なお、付加情報に対応して目標が設定される場合、ガイド情報に対応する付加情報の内容は、ユーザが入力した付加情報に限らない。ガイド情報に対応する付加情報は、パノラマ動画の再生中における表示範囲および再生時点に関する条件が満たされる場合に、パノラマ動画とともに出力される情報であればよい。つまり、上記付加情報は、パノラマ動画が所定の再生時点となり、かつ、表示範囲が所定の範囲を含む場合にパノラマ動画とともに出力されるものであればよい。例えば、上記付加情報は、上記（３−４）で述べたような、外部の装置から取得される情報であってもよいし、パノラマ動画に予め登録されている情報であってもよい。また、後述する履歴関連情報は付加情報の一種であり、履歴関連情報に対してガイド情報が設定されてもよい。

【0126】

［５．他のパノラマ動画再生を反映する出力］
本実施形態においては、情報処理システム１は、上述した「パノラマ動画が別に再生される場合」における再生内容を反映してパノラマ動画を出力することが可能である。なお、再生内容とは、パノラマ動画の表示範囲、および、表示範囲内における位置（例えばユーザによって指定された位置）を含む概念である。情報処理システム１は、例えば、過去にパノラマ動画が再生された場合に取得された履歴に基づく情報をパノラマ動画とともに出力することが可能である。また例えば、複数の表示装置において１つのパノラマ動画が同時に再生される場合において、情報処理システム１は、他の表示装置で再生されている表示範囲を表す情報を、別の表示装置においてパノラマ動画とともに出力したりすることが可能である。上記のように、本実施形態においては、情報処理システム１は、過去においてまたは他の装置においてパノラマ動画が再生される際の再生内容を、現在再生中のパノラマ動画の出力に反映する。これによって、パノラマ画像を再生する際により多くの情報をユーザに提示することができる。例えば、他のユーザがパノラマ動画のどこを見ていたか等の興味深い情報をユーザに提示することができる。

【0127】

パノラマ動画が別に再生される場合における再生内容を反映してパノラマ動画を出力する態様としては、過去に再生された再生内容を反映する第１の態様と、他の装置において同時に（リアルタイムに）再生された再生内容を反映する第２の態様とが少なくとも考えられる。第１の態様は、過去にパノラマ動画が再生された場合における再生内容を、そのパノラマ動画がその後に再生される場合に反映させる態様である。第２の態様は、少なくとも２つの表示装置において同じパノラマ動画（表示範囲は異なっていてもよい）が再生される場合に、ある表示装置における再生内容を、他の表示装置におけるパノラマ動画の再生に反映させる態様である。以下、第１の態様および第２の態様について説明する。

【0128】

（５−１）第１の態様
第１の態様において、情報処理システム１は、パノラマ動画の再生中における表示範囲に関する情報を履歴情報として記憶しておき、その後において当該パノラマ動画が再生される際に、記憶した履歴情報に基づいて出力を行う（後述する第２および第３モード）。すなわち、情報処理装置３は、パノラマ動画の再生中において上述の範囲情報を取得し、情報処理装置がアクセス可能な記憶部に履歴情報として記憶する。そして、情報処理装置３は、履歴情報が記憶された後で、履歴情報に基づく情報を出力する。

【0129】

上記のように、本実施形態においては、パノラマ画像の再生中において、ユーザによって操作された表示範囲を履歴情報として記憶しておくことが可能である。これによって、履歴情報に応じた出力をパノラマ動画の再生とともに行うことが可能である。例えば、情報処理装置３は、履歴情報に基づいて付加情報を生成し、当該付加情報をパノラマ動画とともに出力したり、履歴に基づいて表示範囲を制御してパノラマ動画を再生したりすることができる。これによれば、ユーザは、例えばパノラマ動画のどの位置がよく見られているか、および／または、他のユーザがパノラマ動画のどの場所を見ていたか等を知ることができる。つまり、本実施形態によれば、単にパノラマ動画を提示するだけでなく、ユーザにとって興味深い情報をパノラマ動画とともに提示することができる。以下、履歴の記憶および履歴に基づくパノラマ動画の再生の詳細について説明する。

【0130】

（５−１−１）履歴情報の記憶
情報処理システム１は、パノラマ動画の再生中において、上記の履歴情報を記憶する。本実施形態において、情報処理システム１は、パノラマ動画における再生時点を特定可能な時間情報と、当該再生時点における表示範囲および／または当該表示範囲内の位置を特定可能な範囲情報とを関連づけた履歴情報を記憶する。履歴情報は、上述の記憶部（ここではメモリ６）に記憶される。図２０は、履歴情報の一例を示す図である。図２０に示すように、履歴情報は、上記時間情報と範囲情報との組を複数含む。本実施形態においては、時間情報はパノラマ画像のフレーム番号の情報であり、範囲情報は仮想カメラ２２の姿勢を表すベクトルの情報である。本実施形態においては、時間情報と範囲情報との組がパノラマ動画の１フレーム毎に記憶されるが、他の実施形態においては、所定時間間隔で当該組が記憶されてもよいし、キーとなるフレームについて当該組が記憶されてもよいし、所定の条件が満たされたタイミングで当該組が記憶されてもよい。上記のように、時間情報と範囲情報とを関連づけた履歴情報を記憶することによって、パノラマ動画における各再生時点における表示範囲を特定することができる。

【0131】

また、図２０に示すように、本実施形態においては、履歴情報に対応するユーザを表すユーザ情報が履歴情報と関連づけて記憶される。なお、「履歴情報に対応するユーザ」とは、履歴情報により表される表示範囲の操作を行ったユーザである。ユーザ情報は、ユーザを特定可能な情報であればどのような情報であってもよいが、本実施形態においては、予め登録されたユーザの名前がユーザ情報として記憶される。

【0132】

なお、他の実施形態においては、履歴情報には上記の情報以外の他の情報が含まれていてもよい。例えば、履歴情報は、表示範囲の大きさを示す情報（ズーム情報）を含んでいてもよい。また、履歴情報は、パノラマ動画の再生中にユーザが行った、再生に関する操作を示す情報（再生制御情報と呼ぶ）を含んでいてもよい。再生制御情報とは、例えば、パノラマ動画の再生の一時停止、巻き戻し、および早送り等の操作を示す情報である。再生制御情報は、さらに、当該操作が行われた再生時点を含んでいてもよい。また、パノラマ動画がいわゆるマルチカメラ方式である場合がある。マルチカメラ方式においては、単一の空間を異なる視点から見た複数のパノラマ動画が用意され、パノラマ動画の再生中において視点を切り替えることが可能である。この場合には、当該視点の情報を履歴情報に含めて記憶してもよい。また、上述したコメント（付加情報）がユーザによって入力される場合には、上述の入力情報と履歴情報とを関連づけて記憶しておいてもよい。つまり、上記入力情報を履歴情報の一部として記憶しておいてもよい。

【0133】

（５−１−２）履歴情報を用いたパノラマ動画の再生
情報処理システム１は、上記履歴情報に基づいてパノラマ動画の再生を行うことが可能である。すなわち、情報処理システム１は、履歴情報に応じて出力内容（表示態様）を変化させてパノラマ動画を出力する。これによって、パノラマ動画を単に提示するだけでなく、履歴情報（あるいは履歴情報に基づく情報）をユーザに提示することができる。ここで、履歴情報に応じて出力内容を変化させてパノラマ動画を出力する方法としては、例えば以下の（Ａ）〜（Ｃ）の方法が考えられる。

【0134】

（Ａ）履歴関連情報を出力する方法
本実施形態において、情報処理システム１は、履歴情報に基づいて生成される情報をパノラマ動画とともに出力することが可能である。以下では、履歴情報に基づいて生成される情報を「履歴関連情報」と呼ぶ。情報処理システム１は、以下に説明する各種の履歴関連情報を履歴情報から生成し、パノラマ動画が再生される際に当該履歴関連情報を出力する。これによれば、ユーザは、パノラマ動画の再生中に履歴関連情報を見ることにより、他のユーザの履歴に関する情報を知ることができる。

【0135】

（表示範囲の方向を表す履歴関連情報）
図２１は、履歴関連情報の画像の一例を示す図である。図２１に示す履歴関連情報は、履歴情報により特定される表示範囲の向きをユーザに提示するものである。すなわち、図２１においては、現在の表示範囲に対する、履歴情報（履歴情報に含まれる範囲情報）により特定される表示範囲の向きを表す画像５１が履歴関連情報として表示される。なお、履歴関連情報である画像５１は、上述のガイド情報であるとも言える。

【0136】

具体的には、情報処理システム１は、履歴情報に含まれる範囲情報のうち、現在の再生時点に対応する時間情報に関連づけられる範囲情報に基づいて、パノラマ画像上の範囲または位置を特定する。そして、現在の表示範囲を基準として、算出された範囲または位置の向きを算出する。なお、この向きは、上述したガイド情報が表す向きと同様の方法で算出することができる。情報処理システム１は、算出された向きを表す画像５１を端末装置２に表示させる。なお、画像５１は、ＬＣＤ１１の画面上において、算出された向きに応じた位置（図２１では、算出された向きが左向きであるので、画面左側の位置）に表示される。

【0137】

上記画像５１が提示されることによって、ユーザは、自分が見ている表示範囲を基準にして、他のユーザがパノラマ動画のどこを見ていたかを知ることができる。また、他のユーザが見ていた場所が気になる場合には、ユーザは、画像５１が示す方向に表示範囲を移動させることによって、当該他のユーザが見ていた場所と同じ場所を見ることができる。なお、図２１に示す例において、現在の表示範囲と履歴情報により特定される表示範囲とが（一部において）重なる場合には、その旨を通知する画像が表示されてもよい。

【0138】

また、図２１においては、履歴関連情報を表す画像５１とともに、当該履歴関連情報に対応するユーザ情報（履歴情報に関連づけられて記憶されるユーザ情報）を表す画像５２が表示される。これによって、ユーザは、履歴関連情報により特定される表示範囲を見ていたユーザを特定することができる。ここで、パノラマ動画は、一画面内に収まらない領域を有する動画であり、端末装置２における表示範囲はユーザが自由に操作することができる。そのため、表示範囲の位置やその変化は、パノラマ動画を見る人（ユーザ）によって異なるので、表示範囲の履歴情報はユーザの個性を反映したものと言え、このような履歴情報は他のユーザにとって有益な（興味深い）情報となり得る。したがって、履歴情報とともにユーザ情報を提示することで、パノラマ動画に対するユーザの興味を向上させることができ、パノラマ動画を何度も視聴する動機付けをユーザに与えることができる。なお、以下に説明する他の内容を表す表示態様（図２２および図２３）においても、履歴関連情報とともにユーザ情報が表示されてもよい。

【0139】

（表示頻度を表す履歴関連情報）
図２２は、履歴関連情報の画像の他の一例を示す図である。図２２に示す履歴関連情報は、履歴情報から得られる、パノラマ画像上における所定の範囲についての表示頻度をユーザに提示するものである。図２２においては、以前のパノラマ動画の再生において現在の表示範囲が表示された回数を表す画像５３が履歴関連情報として表示される。なお、上記表示頻度をユーザに提示するための画像は、回数を表す画像５３の他、どのようなものであってもよい。情報処理装置３は、例えば、履歴情報に含まれる範囲情報から得られる位置およびまたは範囲毎にユーザ情報（各ユーザを表すキャラクタ等）をパノラマ動画とともに表示するようにしてもよい。これによれば、以前のパノラマ動画の再生において現在の表示範囲が表示された回数に応じた数のユーザ情報が表示されるので、ユーザは、表示されるユーザ情報の数によって当該回数の多寡を知ることができる。

【0140】

上記回数を表示頻度として算出する場合、情報処理システム１はまず、履歴情報に含まれる範囲情報のうち、現在の再生時点に対応する時間情報に関連づけられる範囲情報を選出する。そして、選出された範囲情報に基づいて、パノラマ画像上の範囲または位置を特定し、特定された範囲または位置が現在の表示範囲に含まれるか否かを判定する。情報処理システム１は、記憶部に記憶される各履歴情報について上記の判定を行い、判定結果が肯定となる履歴情報の数をカウントする。以上のようにしてカウントされた数を表す画像５３が端末装置２に表示される。画像５３の履歴関連情報は、複数の履歴情報から得られる統計を表すものである。また、画像５３は、ＬＣＤ１１の画面上における所定位置に表示される。なお、情報処理システム１は、画像５３を繰り返し（例えば、１フレーム毎に）更新してもよい。

【0141】

上記回数は、記憶されている１以上の履歴情報のうちで、時間情報に関する条件（時間情報が現在の再生時点に対応すること）と、範囲情報に関する条件（範囲情報が表す範囲または位置が現在の表示範囲に含まれること）とを満たす履歴情報の数であった。これによって、複数回のパノラマ動画の再生を対象とした表示頻度を算出することができ、当該表示頻度をユーザに提示することができる。すなわち、上記画像５３が提示されることによって、ユーザは、自分が見ている表示範囲が他のユーザにどの程度見られているかを知ることができる。例えばユーザは、人気が高い（他のユーザによく見られている）範囲に表示範囲を合わせてパノラマ動画を再生したり、逆にあまり見られていない範囲に表示範囲を合わせてパノラマ動画を再生したりすることができる。また、上記画像５３によって、複数人のユーザ（あるいは複数回の視聴）に基づく統計情報をユーザに提供することができる。

【0142】

なお、履歴情報から算出される表示頻度は、複数回のパノラマ動画の再生を対象としたものに限らず、１回のパノラマ動画の再生を対象としたものであってもよい。つまり、表示頻度は、１回のパノラマ動画の再生において、パノラマ画像中の所定範囲がどの程度見られたかを表すものであってもよい。図２３は、履歴情報に基づく履歴関連情報の画像の他の一例を示す図である。図２３に示す履歴関連情報は、上述のオブジェクト情報が表すオブジェクトに関するものであり、１回のパノラマ動画の再生においてオブジェクト（オブジェクトの範囲）がどの程度見られたか（表示されたか）を表す。すなわち、図２３においては、現在の表示範囲内のオブジェクトについて、履歴情報に基づいて判断されるオブジェクトの表示頻度（注目度合い）を表す画像５４が履歴関連情報として表示される。なお、図２３に示すように、履歴関連情報を表す画像５４は、当該履歴関連情報に対応するオブジェクトの位置（範囲）に関連づけて表示される。上記画像５４が提示されることによって、ユーザは、パノラマ動画を他のユーザが再生した際にそのオブジェクトをどの程度注目していたかを知ることができる。

【0143】

１回のパノラマ動画の再生を対象とした表示頻度を算出する場合、情報処理システム１は、履歴情報に含まれる範囲情報のうちで、パノラマ画像上における位置に関する所定の条件を満たす範囲情報の数を算出する。具体的に本実施形態においては、情報処理システム１は、履歴情報に含まれる各範囲情報について、範囲情報により特定される表示範囲内に上記オブジェクトが含まれているか否かを判定する。なお、この判定は、各範囲情報と上記オブジェクト情報とに基づいて行うことができる。情報処理システム１は、上記の判定の結果が肯定となる範囲情報の数をカウントし、カウントされた数に応じた注目度合いを判断する。例えば、上記の数が所定数以上である場合には、当該オブジェクトに関連づけて注目度合いが高いことを表す画像５４が履歴関連情報として出力される。一方、上記の数が所定数より小さい場合には、注目度が低いことを表す画像が履歴関連情報として出力されてもよいし、履歴関連情報が出力されなくてもよい。

【0144】

なお、他の実施形態においては、複数回のパノラマ動画の再生を対象としてオブジェクトの表示頻度（注目度合い）を表す履歴関連情報を算出することも可能である。このとき、情報処理システム１は、上記範囲情報の数を算出する処理を、記憶部に記憶されている各履歴情報について行う。

【0145】

また、履歴関連情報が表す表示頻度は、パノラマ画像中の所定範囲に関する表示頻度を表すものであればよく、当該所定範囲は、表示範囲でもよいし、オブジェクトの範囲でもよい。

【0146】

また、表示頻度（注目度合い）は、上述した再生制御情報を用いて決定されてもよい。例えば、情報処理システム１は、ユーザが再生を一時停止した時点で表示範囲に含まれるオブジェクトについて注目度合いが高いと判断してもよい。また例えば、巻き戻しによって何回も繰り返し再生された期間に表示されていた範囲については、表示頻度（あるいは注目度合い）が高いと判断してもよい。

【0147】

なお、履歴関連情報は、例えば画像５４のように、パノラマ画像上における特定の位置に表示されることがあり得る。この場合、情報処理システム１は、上記（３−３−２）で説明した付加情報と同様、履歴関連情報を、当該履歴関連情報に対応するオブジェクトの移動に合わせて移動させて表示するようにしてもよい。

【0148】

また、他の実施形態においては、情報処理システム１は、履歴関連情報を表す画像を表示させることとともに、あるいは、表示させることに代えて、履歴関連情報を表す音声を出力してもよい。なお、上記音声は、端末装置２および／またはモニタ４から出力される。

【0149】

（履歴関連情報の出力先）
本実施形態においては、履歴関連情報も上記［３．ユーザによるコメントの入力］等で説明した付加情報と同様、端末装置２に表示される。これによって、ユーザに履歴関連情報をより確実に認識させることができる。なお、履歴関連情報も上記付加情報と同様、モニタ４に表示されてもよい。これによれば、端末装置２に表示されるパノラマ動画を見やすく提示することができる。また、他の実施形態において、情報処理システム１は、モニタ４にパノラマ画像の全体を表示し、全体のパノラマ画像とともに（全体のパノラマ画像に重ねて）履歴関連情報を表示してもよい。

【0150】

（Ｂ）履歴情報に基づいて決定される表示範囲を再生する方法
本実施形態において、情報処理システム１は、履歴情報に基づいて表示範囲を決定してパノラマ動画を再生することが可能である。具体的には、情報処理システム１は、パノラマ動画の各再生時点（各フレーム）における表示範囲を、履歴情報に記憶されている範囲情報に基づいて決定する。そして、決定された表示範囲のパノラマ画像を表示装置に表示させる。これによって、ユーザは、履歴情報が記憶された場合と同じ表示範囲でパノラマ動画を再生することができる。

【0151】

本実施形態においては、履歴情報に基づいて決定された表示範囲のパノラマ動画は、モニタ４に表示される。一方、端末装置２には、ユーザ入力に基づいて決定される表示範囲のパノラマ動画が表示される。これによって、ユーザは、端末装置２を用いて所望の表示範囲でパノラマ動画を見ることができるとともに、それと同時に、他のユーザが見ていた表示範囲でパノラマ動画を見ることができる。なお、他の実施形態においては、情報処理システム１は、履歴情報に基づいて決定された表示範囲のパノラマ動画を単に１つの表示装置（端末装置２またはモニタ４）によって再生してもよい。また、他の実施形態において、パノラマ画像の全体、あるいは、パノラマ画像が表す空間の画像（例えば、鳥瞰図やマップ）がモニタ４に表示される場合、モニタ４に表示される画像とともに（当該画像に重ねて）履歴関連情報が表示されてもよい。

【0152】

図２４は、履歴情報に基づいて決定された表示範囲のパノラマ動画がモニタ４に表示される場合の一例を示す図である。図２４においては、仮想カメラ２２の視線方向が正面方向を向くときの表示範囲のパノラマ動画５５とともに、履歴情報に基づいて決定された表示範囲のパノラマ動画５６がモニタ４に表示される。このように、履歴情報に基づく表示範囲のパノラマ動画５６は、モニタ４の画面領域の一部に表示されてもよい。履歴情報に基づく表示範囲のパノラマ動画５６は、端末装置２の画面領域の一部に表示されてもよい。また、例えば、複数の履歴情報からそれぞれ複数の表示範囲が決定され、決定された各表示範囲のパノラマ動画（複数のパノラマ動画）が、モニタ４および／または端末装置２に表示されてもよい。

【0153】

また、表示範囲は、複数の履歴情報に基づいて決定されてもよい。例えば、情報処理システム１は、表示頻度が高い表示範囲を、複数の履歴情報を用いて特定し、特定された表示範囲のパノラマ動画を表示するようにしてもよい。

【0154】

（Ｃ）パノラマ動画とともに他の画像を表示する方法
また、他の実施形態においては、情報処理システム１は、履歴情報に基づいて補助画像を生成し、当該補助画像をパノラマ動画とともに表示してもよい。補助画像は、履歴情報に基づいて決定される表示範囲に応じた画像であり、換言すれば、当該表示範囲をユーザに認識させることができる画像である。補助画像としては、例えば、パノラマ動画が表す空間を上方から見たマップ（あるいは俯瞰図）の画像が考えられる。

【0155】

図２５は、パノラマ動画とともに補助画像が表示される場合の一例を示す図である。図２５においては、現在の表示範囲のパノラマ動画６１とともに、パノラマ動画が表すマップ画像６２が補助画像として端末装置２に表示される。マップ画像６２は、パノラマ動画６１が表す空間を上方から見たマップを表す画像である。マップ画像６２は、例えば視点画像６３を含む。視点画像６３は、マップ上における視点の位置を表す。すなわち、カメラを表す視点画像６３が、マップ上における視点の位置に配置される。なお、視点の移動方向および移動速度が予めわかる場合、マップ上における視点の位置は、現在の再生時点（フレーム番号）から特定することができる。

【0156】

また、視点画像６３は、マップ上における視線方向を表す。すなわち、カメラを表す視点画像６３は、マップ上における視線方向を向くように配置される。上記視線方向は、履歴情報に基づいて決定される表示範囲から（例えば仮想カメラ２２の姿勢を用いて）算出することができる。このように、情報処理装置３は、範囲情報に基づく表示範囲に対応する視線方向を表す画像（視点画像６３）を表示装置に表示させてもよい。これによって、他のユーザが見ていた方向をユーザに提示することができる。なお、図２５においては、視点画像６３は、履歴情報に基づく表示範囲に対応する視線方向を表すが、履歴情報に基づく位置に対応する視線方向を表すものであってもよい。

【0157】

また、マップ画像６２は、履歴関連情報を含んでいてもよい。例えば図２５においては、注目度合いが高いことを表す画像６４がマップ上に配置される。このとき、履歴関連情報はパノラマ動画６１上にも表示されてもよいし、されなくてもよい。このように、情報処理装置３は、パノラマ動画が表す空間と、範囲情報に基づく位置（パノラマ動画上における位置。ここでは履歴関連情報の位置）に対応する当該空間内における位置とを表す画像を表示装置に表示させてもよい。これによって、範囲情報が表す位置を、パノラマ動画とは異なる視点から見た画像で表現することができ、当該位置をよりわかりやすくユーザに提示することができる。

【0158】

なお、履歴関連情報のマップ上における位置は、履歴関連情報のパノラマ動画上における位置から算出することができる。マップ上における位置は、どのような方法で算出されてもよい。例えば、パノラマ動画上の位置（あるいは仮想カメラ２２の姿勢）と、マップ上における位置とを予め対応づけた情報を用意してくことで、パノラマ動画上の位置から当該情報に基づいてマップ上の位置を算出することができる。また例えば、上記オブジェクト情報が用意される場合には、オブジェクト情報により表されるオブジェクトに関するマップ上の位置を予め算出しておき、パノラマ動画上の位置からオブジェクトを特定し、オブジェクトからマップ上の位置を特定するようにしてもよい。

【0159】

以上のように、履歴情報に基づく表示範囲および／または履歴関連情報は、マップ画像を用いて表すことも可能である。履歴情報に基づく表示範囲および／または履歴関連情報を、パノラマ動画とは別の補助画像上に表示することによって、パノラマ動画を見やすく表示することができる。

【0160】

また、他の実施形態においては、情報処理システム１は、上記の（Ａ）〜（Ｃ）の方法のうちのいくつかを同時に用いてパノラマ動画を再生してもよい。例えば、情報処理システム１は、パノラマ動画とともに履歴関連情報を端末装置２に表示しつつ、履歴情報に基づいて決定された表示範囲のパノラマ動画をモニタ４に表示するようにしてもよい。

【0161】

（５−１−３）履歴情報の取得
過去に再生された再生内容を反映する第１の態様において、履歴情報を取得する装置と、履歴情報を反映させる装置とは同じ装置であってもよいし、異なる装置であってもよい。すなわち、情報処理装置３は、履歴情報を反映したパノラマ動画を表示する表示装置において再生されるパノラマ動画に関する範囲情報を履歴情報として取得してもよい。また、情報処理装置３は、履歴情報を反映したパノラマ動画を表示する表示装置とは異なる他の表示装置において再生されるパノラマ動画に関する範囲情報を取得してもよい。このとき、例えば上記（Ｂ）で述べたように、情報処理装置３は、２つの表示装置を用いてパノラマ動画を再生してもよい。すなわち、情報処理装置３は、パノラマ動画が上記表示装置（本実施形態においては端末装置２）において表示される間、所定の入力装置に対する入力に基づいて表示範囲を決定し、決定された表示範囲のパノラマ動画を上記他の表示装置（本実施形態においてはモニタ４）に表示させてもよい（図２４）。

【0162】

情報処理システム１は、端末装置２に対する入力に応じて履歴情報を記憶する他、情報処理システム１の外部の他の装置から履歴情報を取得してもよい。そして、取得された履歴情報に応じて出力内容を変化させてパノラマ動画を出力するようにしてもよい。例えば、情報処理装置３は、インターネット等のネットワークを介して外部の装置と通信可能であってもよく、このとき、当該外部の装置から履歴情報を取得してもよい。これによれば、ユーザは、他のユーザ（例えば知人や有名人）の履歴情報に基づく情報をパノラマ動画とともに見ることができる。

【0163】

なお、外部の装置から履歴情報を取得する場合において、履歴情報には、当該履歴情報により表される入力を行ったユーザを表すユーザ情報が含まれていてもよい。このとき、情報処理システム１は、パノラマ動画を出力する場合にユーザ情報を出力してもよい。例えば、履歴関連情報を出力する場合には、履歴関連情報とともにユーザ情報を出力してもよいし（図２０参照）、履歴情報に基づいて表示範囲を決定する場合には、決定された表示範囲のパノラマ動画とともにユーザ情報を出力してもよい。

【0164】

（５−２）第２の態様
本実施形態において、情報処理システム１は、２つの表示装置（端末装置２およびモニタ４）において同じパノラマ動画を再生させ、一方の表示装置における再生内容を、他の表示装置におけるパノラマ動画の再生に反映させる（後述する第４モード）。すなわち、情報処理装置３は、パノラマ動画が表示装置（例えばモニタ４）において表示される間に、当該表示装置とは別の他の表示装置（例えば端末装置２）において当該パノラマ動画を出力させる。そして、情報処理装置３は、上記他の表示装置（端末装置２）においてパノラマ動画が再生される場合に上記範囲情報を取得する。さらに、情報処理装置３は、他の表示装置（端末装置２）においてパノラマ動画が再生される間に、取得された範囲情報に応じて出力内容を変化させて表示装置（モニタ４）にパノラマ動画を表示させる。

【0165】

上記によれば、複数のユーザが同時に１つのパノラマ動画を見ている場合において、他のユーザがパノラマ動画のどの場所を見ているかという、ユーザにとって興味深い情報をパノラマ動画とともに提示することができる。以下、他の装置において同時に再生された再生内容を反映する第２の態様について詳細を説明する。

【0166】

（５−２−１）範囲情報の取得
第２の態様において、情報処理システム１は、パノラマ動画が再生される際、少なくとも範囲情報を取得する。本実施形態においては、情報処理装置３は、端末装置２およびモニタ４においてパノラマ動画を再生させる際、端末装置２における再生に関する範囲情報を取得する。なお、第２の態様においては、ある表示装置における再生において取得した範囲情報をリアルタイムで別の表示装置における再生に反映させるので、時間情報は必ずしも取得されなくてもよい。ただし、現時点で取得した範囲情報に加えて、過去に取得した範囲情報に基づいて出力内容を変化させる場合には、情報処理装置３は、上記第１の態様と同様、範囲情報とともに時間情報を取得してもよい。また、情報処理装置３は、範囲情報とともに、ユーザ情報、ズーム情報、および再生制御情報等のうちいくつかを取得してもよい。

【0167】

（５−２−２）範囲情報を用いたパノラマ動画の再生
情報処理システム１は、上記範囲情報に基づいてパノラマ動画の再生を行う。すなわち、情報処理システム１は、範囲情報に応じて出力内容（表示態様）を変化させてパノラマ動画を出力する。これによって、パノラマ動画を単に提示するだけでなく、他の表示装置における再生内容に関する情報（範囲情報）をユーザに提示することができる。第２の態様において、範囲情報に応じて出力内容を変化させてパノラマ動画を出力する方法としては、例えば以下の方法が考えられる。

【0168】

本実施形態においては、情報処理装置３は、端末装置２における再生によって取得された範囲情報に基づいて決定される表示範囲をモニタ４において再生する。すなわち、端末装置２における表示範囲のパノラマ動画の画像を、モニタ４の一部領域において表示させる。具体的には、情報処理装置３は、パノラマ動画がモニタ４において表示される間、所定の入力装置（端末装置２）に対する入力に基づいて表示範囲を決定し、決定される表示範囲のパノラマ動画を端末装置２に表示させる。そして、情報処理装置３は、所定の範囲のパノラマ動画をモニタ４に表示させるとともに、上記範囲情報に基づく表示範囲のパノラマ動画をモニタ４に表示させる。このとき、モニタ４に表示される画像については、例えば図２４と同様、仮想カメラ２２の視線方向が正面方向を向くときの表示範囲のパノラマ動画５５とともに、上記範囲情報に基づく表示範囲のパノラマ動画がモニタ４の一部の領域に表示されてもよい。

【0169】

上記によれば、モニタ４を見ることで端末装置２の再生内容を確認することができる。ここで、端末装置２は可搬型であるので、端末装置２の表示画面を複数人で見ると見づらくなる。これに対して、モニタ４に端末装置２の再生内容を表示することで、端末装置２のユーザ以外の他のユーザは端末装置２の再生内容を容易に確認することができる。これによって、端末装置２のユーザと他のユーザとの間でコミュニケーションが図りやすくなり、例えば表示範囲を操作しない他のユーザもパノラマ動画を十分に楽しむことができる。

【0170】

なお、端末装置２において表示範囲が操作されるパノラマ動画をモニタ４に表示する場合、他のユーザは、自身が操作しない表示範囲のパノラマ動画を見ることになる。このとき、表示範囲の変化が大きい場合には、他のユーザはパノラマ動画を見づらく感じるおそれがある。例えば、表示範囲が急激に変化する場合等には、他のユーザはパノラマ動画を見づらく感じるおそれがある。また例えば、本実施形態のように端末装置２自体を動かすことで表示範囲が移動する場合に、手ぶれによる表示範囲の小さな移動（揺れ）が生じると、他のユーザはパノラマ動画を見づらく感じるおそれがある。そのため、情報処理装置３は、範囲情報に基づいて決定される表示範囲における変化を軽減してパノラマ動画を表示装置（モニタ４）に表示させてもよい。これによって、他のユーザにとってより見やすいパノラマ動画を提供することができる。なお、表示範囲の変化を軽減する方法としては、例えば以下の方法が考えられる。

【0171】

例えば、端末装置２にパノラマ動画を表示するための端末装置用仮想カメラと同じ視点に同じ視線方向となるモニタ用仮想カメラを仮想世界に設定し、当該端末装置用仮想カメラの動きと基本的に同じ動きで当該モニタ用仮想カメラを動作させる。そして、第１の制御例として、実空間における端末装置２の向きの単位時間当たり変化量が所定の閾値未満である場合や、端末装置２の動きを検出するセンサ（加速度センサ１４、ジャイロセンサ１５等）から出力される値（加速度や角速度を示す値）が所定の閾値未満である場合等には、上記モニタ用仮想カメラの姿勢を固定して、手ぶれによる画像の相対的に小さな揺れを防止する。そして、上記変化量や出力値が０になった場合や当該閾値以上となった場合に上記端末装置用仮想カメラの姿勢に近づくまたは同じとなるように当該モニタ用仮想カメラの姿勢を制御する。

【0172】

第２の制御例として、実空間における端末装置２の向きの単位時間当たり変化量が所定の閾値以上である場合や、端末装置２の動きを検出するセンサから出力される値が所定の閾値以上である場合等には、上記モニタ用仮想カメラの動きを制限して、視線方向の相対的に大きな変化を抑制する。そして、上記変化量や出力値が当該閾値未満となった場合に上記端末装置用仮想カメラの姿勢に近づくように当該モニタ用仮想カメラの姿勢を制御する。

【0173】

第３の制御例として、上記端末装置用仮想カメラの動きに所定の割合で追従するように上記モニタ用仮想カメラの動きを制御することによって、手ぶれによる画像の相対的に小さな揺れや視線方向の相対的に大きな変化を抑制する。具体的には、上記端末装置用仮想カメラの視線方向と上記モニタ用仮想カメラの視線方向との角度差に対して所定の割合（例えば、５０％）だけ、当該端末装置用仮想カメラの視線方向に近づくように当該モニタ用仮想カメラの視線方向が常に変化するように制御する。

【0174】

上記の制御例の１つまたは組み合わせを用いて姿勢制御されるモニタ用仮想カメラから見た上記立体モデル内面の画像をモニタ４に表示することによって、端末装置２に表示しているパノラマ動画の視線方向の変化を軽減した画像をモニタ４に表示することができる。

【0175】

また、上述した説明では、ある表示装置に表示しているパノラマ動画を他の表示装置に表示する場合において、表示範囲の移動の変化を軽減する例を説明した。なお、他の実施形態においては、表示範囲が拡大または縮小する際の変化を軽減することも考えられる。例えば、端末装置２を把持するユーザが端末装置２に表示されているパノラマ動画を拡大表示または縮小表示する操作を行った場合、ＬＣＤ１１には当該操作に応じて拡大または縮小したパノラマ動画がそのまま表示される。一方、端末装置２に対する操作に応じて拡大または縮小して端末装置２に表示されたパノラマ動画をモニタ４にも表示する場合、当該パノラマ動画の拡大率または縮小率が所定の閾値以上となる場合は、拡大率または縮小率を当該閾値に抑制したパノラマ動画をモニタ４に表示する。また、端末装置２に対する操作に応じて、パノラマ動画を拡大してから縮小するまでの時間またはパノラマ動画を縮小してから拡大するまでの時間が所定時間以内に行われた場合、当該所定時間内に行われた縮小または拡大を抑制したパノラマ動画をモニタ４に表示する。このような制御例の１つまたは組み合わせを用いてパノラマ動画の拡大または縮小を制御したパノラマ動画をモニタ４に表示することによって、端末装置２に拡大または縮小する画像変化を軽減したパノラマ動画をモニタ４に表示することができる。

【0176】

また、他の実施形態において、情報処理装置３は、範囲情報に基づく表示範囲または位置に対応する視線方向を表す画像をパノラマ動画とともに表示装置に表示させてもよい。図２６は、視線方向を表す画像の一例を示す図である。図２６においては、端末装置２には、端末装置２の姿勢に応じた視線方向（ここでは正面方向よりもやや右向きの視線方向）に対応する表示範囲のパノラマ動画が表示される。モニタ４には、仮想カメラ２２の視線方向が正面方向を向くときの表示範囲のパノラマ動画６５とともに、範囲情報に基づく表示範囲または位置に対応する視線方向を表す画像６６が表示される。本実施形態においては、上記視線方向を表す画像６６は、端末装置２のユーザを模したキャラクタが端末装置を把持した様子を表す。このとき、キャラクタが把持する端末装置の姿勢は、端末装置２の実際の姿勢に対応するように変化する。端末装置２の姿勢は上記視線方向に対応しているので、端末装置２の姿勢を表す画像６６を表示することによって、ユーザに上記視線方向を通知することができる。なお、図２６では、画像６６によって表されるキャラクタの向きは、端末装置２のユーザの向きと同じとなるように制御される。これに対して他の実施形態においては、キャラクタの顔が見えやすいように、端末装置２のユーザの向きに対して前後方向を逆にした向きを向くように（つまり、端末装置２のユーザの鏡像となるように）、当該キャラクタの向きが制御されてもよい。また、他の実施形態においては、上記視線方向を表す画像として、マップ画像６２および視点画像６３がパノラマ動画とともに表示されてもよい。これによっても、ユーザに上記視線方向を通知することができる。

【0177】

また、他の実施形態において、情報処理装置３は、パノラマ動画の再生中においてユーザによって指定された位置を表す範囲情報を取得し、当該範囲情報に基づいて決定されるパノラマ画像上における位置を表す画像をパノラマ動画とともに表示装置に表示させてもよい。例えば、端末装置２においてパノラマ動画上のある位置に対して付加情報が入力された場合、モニタ４においても当該位置に当該付加情報を表示するようにしてもよい。図２７は、範囲情報に基づく位置を表す画像がパノラマ画像とともに表示される場合の一例を示す図である。図２７においては、端末装置２の表示範囲内において、付加情報を表す画像６７が入力されて表示されたものとする。このとき、情報処理装置３は、表示範囲内において付加情報が入力された位置を表す範囲情報を取得する。そして、情報処理装置３は、モニタ４に表示される表示範囲において、取得された範囲情報が表す位置に、上記付加情報を表す画像６８を表示させる。これによって、ユーザは、端末装置２において入力された付加情報をモニタ４においても確認することができ、端末装置２のユーザ以外の他のユーザも付加情報を確認することができる。なお、取得された範囲情報が表す位置が、モニタ４における表示範囲外にある場合には、上記画像６８はモニタ４に表示されない。この場合、情報処理装置３は、上述したガイド画像をモニタ４に表示してもよい。また、上記画像６８が表示される期間は、対応する付加情報を表す画像６７が端末装置２に表示される期間に基づいて決定される。そのため、情報処理装置３は、付加情報が入力された位置を表す範囲情報を取得するとともに、上記期間を表す時間情報を取得してもよい。

【0178】

なお、本実施形態においては、端末装置２における再生内容をモニタ４に反映させる場合を例として説明した。ここで、他の実施形態においては、情報処理装置３は、モニタ４における再生内容を端末装置２に反映させるようにしてもよい。例えば、情報処理装置３は、モニタ４における表示範囲のパノラマ画像を端末装置２において表示させるようにしてもよい。また例えば、モニタ４における表示範囲内の位置を上記操作装置７によって指定することが可能な場合には、情報処理装置３は、モニタ４における表示範囲内において指定された位置を表す画像を端末装置２に表示させるようにしてもよい。

【0179】

以上のように、上記第１の態様および第２の態様においては、情報処理装置３は、パノラマ動画の再生中において、所定の入力装置（端末装置２）に対する入力に基づいて決定される表示範囲（および／または当該表示範囲内の位置）を特定可能な範囲情報を取得する。そして、パノラマ動画を表示装置（モニタ４）を用いて出力する場合、取得された範囲情報に応じて出力内容を変化させてパノラマ動画を出力する。これによって、過去においてまたは他の装置においてパノラマ動画が再生される際の再生内容を、現在再生中のパノラマ動画の出力に反映することができ、パノラマ画像を再生する際により多くの情報をユーザに提示することができる。

【0180】

（５−３）再生終了後における履歴情報に基づく出力
なお、上記第１の態様においては、範囲情報が履歴情報として記憶される。情報処理装置３は、パノラマ動画の再生が終了した後において当該再生時に取得された履歴情報に基づく情報を出力するようにしてもよい。例えば、情報処理装置３は、パノラマ動画の再生中において表示頻度が高かったオブジェクト、あるいは、複数回の再生において表示頻度が高かった表示範囲を再生終了後に提示することができる。これによれば、パノラマ動画の再生中にユーザがどこを見ていたか、という興味深い情報をユーザに提示することができる。

【0181】

例えば、情報処理装置３は、パノラマ動画の再生が終了した場合、当該再生において履歴情報として記憶された範囲情報に基づいて決定される表示範囲のパノラマ画像を静止画または動画として表示装置（端末装置２および／またはモニタ４）に表示させてもよい。以下、パノラマ動画の再生終了後に、履歴情報に基づいて決定される表示範囲のパノラマ画像を提示する例について説明する。

【0182】

図２８は、パノラマ動画の再生終了後において表示される画像の一例を示す図である。図２８においては、パノラマ動画の再生中において表示頻度が高かったオブジェクトを含むパノラマ画像６８がモニタ４に表示される。このとき、上記オブジェクトを指し示す画像６９が表示されてもよい。なお、情報処理装置３は、上記オブジェクトを含むパノラマ画像を、静止画として表示してもよいし、動画として表示してもよい。このように、報処理装置３は、パノラマ動画の再生中において表示頻度が高かったオブジェクト（つまり、よく見られていたオブジェクト）を、再生終了後において表示してもよい。

【0183】

具体的には、情報処理装置３は、（パノラマ動画の再生中において）上記範囲情報を履歴情報として取得しておく。そして、情報処理装置３は、履歴情報によって特定される表示範囲に、パノラマ動画中に登場するオブジェクトが含まれるか否かを判別し、出力すべきオブジェクトを判別結果に応じて選出する。なお、上記の判別は、例えば履歴情報と上述のオブジェクト情報とを用いて行うことが可能である。例えば、情報処理装置３は、パノラマ動画に登場する複数のオブジェクトについて表示時間を上記の判別によって算出し、表示時間が長い（表示頻度が高い）オブジェクトを選出してもよい。パノラマ動画の再生後において、情報処理装置３は、選出されたオブジェクトが含まれる表示範囲のパノラマ画像を表示装置（例えばモニタ４）に表示させる。

【0184】

上記において、情報処理装置３は、パノラマ動画の再生中において表示頻度が高いオブジェクトを表す範囲情報を履歴情報として取得しておき、再生後に当該履歴情報が表すオブジェクトを特定するようにしてもよい。具体的には、情報処理装置３は、（パノラマ動画の再生中において）パノラマ動画の再生中における表示範囲にオブジェクトが含まれるか否かを判別し、出力すべきオブジェクトを判別結果に応じて選出する。なお、この判別も第１の方法と同様、例えば上述のオブジェクト情報を用いて行うことが可能である。情報処理装置３は、選出されたオブジェクトを表す情報を範囲情報として記憶する。このように、オブジェクトを表す情報からパノラマ動画上における表示範囲および／または表示範囲内の位置を特定可能である場合には、当該オブジェクトを表す情報が範囲情報として記憶されてもよい。パノラマ動画の再生後において、情報処理装置３は、範囲情報が表すオブジェクトが含まれる表示範囲のパノラマ画像を表示装置（例えばモニタ４）に表示させる。

【0185】

また、情報処理装置３は、複数の履歴情報がある場合、複数の履歴情報に基づいて決定される表示範囲のパノラマ画像を静止画または動画として表示装置に表示させてもよい。例えば、情報処理装置３は、パノラマ動画の再生後において、複数の履歴情報に基づいて、パノラマ動画の領域のうちで表示頻度が高い範囲（あるいは位置）を特定する。そして、特定された表示範囲のパノラマ画像を表示装置（例えばモニタ４）に表示させる。

【0186】

なお、他の実施形態においては、情報処理装置３は、オブジェクトあるいは表示範囲について、表示頻度の高い順に複数の表示範囲のパノラマ画像を表示してもよい。これによって、ユーザは、パノラマ動画のうちでよく見られている場所（対象）のランキングを知ることができる。また、情報処理装置３は、表示頻度が低いオブジェクトあるいは表示範囲（例えば、まだ表示されたことのないオブジェクトを含む表示範囲）のパノラマ画像を表示してもよい。これによって、パノラマ動画のうちであまり見られていない場所をユーザに通知することができる。

【0187】

上記（５−１）〜（５−３）にて説明したように、本実施形態においては、情報処理システム１は、パノラマ動画の再生中に取得された範囲情報に応じて出力内容を変化させてパノラマ動画の少なくとも一部を出力する。これによって、パノラマ動画の再生時における情報（例えば、ユーザがどこの表示範囲を見ていたか等）をユーザに提示することができる。

【0188】

［６．本実施形態の具体的な処理例］
以下、図２９〜図３３を参照して、本実施形態に係る情報処理システム１の具体的な処理および動作を説明する。図２９は、本実施形態において情報処理システム１の記憶部（メモリ６）に記憶されるデータの一例を示す図である。図２９に示すように、情報処理装置３のメモリ６には、情報処理プログラム７０、パノラマ動画データ７１、および処理用データ７２が記憶される。なお、メモリ６には、図２９に示すデータの他、端末装置２から取得した操作データや、各表示装置へ出力すべき画像やそれを生成するために用いられる画像のデータ等が記憶されてもよい。

【0189】

情報処理プログラム７０は、情報処理装置３のコンピュータ（ＣＰＵ５）に実行させるためのプログラムである。なお、情報処理プログラム７０は、情報処理装置３がアクセス可能であって情報処理装置３の内部または外部に設けられるプログラム格納部（記憶装置または記憶媒体等）に記憶されている。プログラム格納部に記憶される情報処理プログラム７０の一部または全部が適宜のタイミングで読み込まれてメモリ６に記憶され、ＣＰＵ５によって実行される。また、情報処理プログラム７０の一部または全部は、情報処理プログラム７０を実行する情報処理装置内に（例えばライブラリとして）予め記憶されていてもよい。

【0190】

パノラマ動画データ７１は、情報処理システム１において再生されるパノラマ動画データを表す。パノラマ動画データ７１には、パノラマ動画を構成する複数のパノラマ画像のデータが含まれる。なお、パノラマ動画データ７１には、上述したオブジェクト情報のデータおよび／または付加情報のデータが含まれていてもよい。

【0191】

処理用データ７２は、ＣＰＵ５において実行される情報処理（図３０〜図３３）において用いられるデータである。処理用データ７２は、表示範囲データ７３、入力情報データ７４、履歴情報データ７５、および、範囲情報データ７６を含む。

【0192】

表示範囲データ７３は、ユーザの入力に応じて決定される上記表示範囲を表す。表示範囲データ７３は、パノラマ画像上における位置または範囲を示す情報であってもよいし、仮想カメラ２２の姿勢を表すベクトルを示す情報であってもよい。入力情報データ７４は、上記入力情報を表すデータであり、例えば“（３−２）付加情報の記憶”で述べた各情報を含む（図６参照）。履歴情報データ７５は、上記履歴情報を表すデータであり、例えば“（５−１−１）履歴情報の記憶”で述べた各情報を含む（図２０参照）。範囲情報データ７６は、パノラマ動画の再生中において取得される上記範囲情報を表すデータである。

【0193】

次に、本実施形態における情報処理の詳細な流れを説明する。本実施形態においては、情報処理システム１が起動されると、情報処理装置３のＣＰＵ５は、メモリ６等の記憶部を初期化し、プログラム格納部から情報処理プログラム７０をメモリ６に読み込む。そして、ＣＰＵ５によって当該情報処理プログラム７０の実行が開始される。

【0194】

ここで、本実施形態においては、情報処理システム１は、以下の４種類のモードでパノラマ動画を再生することができる。
・第１モード：パノラマ動画を再生中において上記付加情報の入力を受け付けるとともに、履歴情報を記憶するモード
・第２モード：パノラマ動画の再生中において上記付加情報、ガイド情報、および履歴関連情報を出力するモード
・第３モード：上記履歴情報に基づいて表示範囲を決定してパノラマ動画を再生するモード
・第４モード：２つの表示装置でパノラマ動画を再生し、一方の表示装置の再生内容を他方の表示装置における再生に反映させるモード
上記第１〜第４モードのいずれが実行されるかは、どのように決定されてもよく、例えばユーザの選択によって決定される。なお、情報処理システム１は、いずれか１つのモードのみを実行可能であってもよい。以下、図３０〜図３３を参照して、各モードにおける動画再生処理の流れを説明する。

【0195】

なお、図３０〜図３３に示すフローチャートにおける各ステップの処理は、単なる一例に過ぎず、同様の結果が得られるのであれば、各ステップの処理順序を入れ替えてもよいし、各ステップの処理に加えて（または代えて）別の処理が実行されてもよい。また、本実施形態では、上記フローチャートの各ステップの処理をＣＰＵ５が実行するものとして説明するが、上記フローチャートにおける一部のステップの処理を、ＣＰＵ５以外のプロセッサや専用回路が実行するようにしてもよい。

【0196】

（第１モードの再生動作）
図３０は、本実施形態において情報処理装置３のＣＰＵ５が実行する第１モードの動画再生処理の流れの一例を示すフローチャートである。第１モードの実行が選択された場合、ＣＰＵ５は、図３０に示す処理を実行する。

【0197】

まずステップＳ１において、ＣＰＵ５は、端末装置２に対する入力に基づいて表示範囲を決定する。上記ステップＳ１の処理は、例えば上記“［２．パノラマ動画の再生］”で述べた方法で行われる。なお、ステップＳ１において、表示範囲を決定するための端末装置２の姿勢はどのように算出されてもよい。本実施形態においては、ＣＰＵ５は、加速度センサ１４および／またはジャイロセンサ１５の検出結果を端末装置２から取得し、当該検出結果に基づいて端末装置２の姿勢を算出する。また、端末装置２の姿勢に基づいて決定された表示範囲を表すデータは、表示範囲データ７３としてメモリ６に記憶される。

【0198】

ステップＳ２において、ＣＰＵ５は、端末装置２からの操作データを取得し、操作データに基づいて、付加情報（コメント）の入力があるか否かを判定する。すなわち、ＣＰＵ５は、付加情報（コメント）の入力を受け付ける。付加情報の入力は、例えば、上記“（３−１）付加情報の入力”で述べた方法で行われる。ステップＳ２の判定結果が肯定である場合、ステップＳ３の処理が実行される。一方、ステップＳ２の判定結果が否定である場合、ステップＳ３の処理がスキップされてステップＳ４の処理が実行される。

【0199】

ステップＳ３において、ＣＰＵ５は、入力情報データ７４をメモリ６に記憶する。入力情報の記憶は、例えば上記“（３−２）付加情報の記憶”で述べた方法によって行われる。具体的な処理としては、ＣＰＵ５は、入力情報を表すデータを入力情報データ７４としてメモリに記憶する。

【0200】

ステップＳ４において、ＣＰＵ５は履歴情報を記憶する。履歴情報の記憶は、例えば上記“（５−１−１）履歴情報の記憶”で述べた方法によって行われる。具体的な処理としては、ＣＰＵ５は、メモリ６に記憶されている履歴情報データ７５を読み出し、履歴情報データ７５が表す履歴情報に対して、現在の時間情報と、範囲情報（表示範囲データ）とを追加する。なお、履歴情報データ７５が記憶されていない場合には、現在の時間情報と、範囲情報（表示範囲データ）とを表すデータを履歴情報データ７５としてメモリに記憶する。また、ステップＳ１〜Ｓ６における処理ループ中における任意のステップＳ４の時点で、履歴情報にユーザ情報が追加される。

【0201】

ステップＳ５において、ＣＰＵ５はパノラマ画像を表示する。本実施形態においては、端末装置２とモニタ４との両方にパノラマ画像が表示される。具体的には、ＣＰＵ５は、パノラマ動画データ７１および表示範囲データ７３をメモリ６から読み出し、現在の再生時点に対応するパノラマ画像のうち、ステップＳ１で決定された表示範囲のパノラマ画像を生成して端末装置２へ出力する。また、現在の再生時点に対応するパノラマ画像のうち、予め定められる表示範囲のパノラマ画像を生成してモニタ４へ出力する。

【0202】

ステップＳ６において、ＣＰＵ５は、パノラマ動画の再生を終了するか否かを判定する。ＣＰＵ５は、例えば、パノラマ動画の再生が最後まで終了したか、および／または、再生を停止する指示がユーザによって行われたか否かを判定する。ステップＳ６の判定結果が否定の場合、ステップＳ１の処理が再度実行される。以降、ステップＳ１〜Ｓ６の一連の処理は、ステップＳ６で再生を終了すると判定されるまで繰り返し実行される。一方、ステップＳ６の判定結果が肯定の場合、ステップＳ７の処理が実行される。

【0203】

ステップＳ７において、ＣＰＵ５は、履歴情報に基づいて、再生終了後に提示すべきオブジェクトを選出する。このオブジェクトの選出は、例えば上記“（５−３）再生終了後における履歴情報に基づく出力”で述べた方法によって行われる。なお、上述したように、提示すべきオブジェクトを選出する処理は、パノラマ動画の再生中に実行されてもよい。また、他の実施形態においては、オブジェクトの選出処理に代えて（あるいは、オブジェクトの選出処理とともに）、ＣＰＵ５は、履歴情報に基づいて表示範囲を選出する処理を実行してもよい。

【0204】

ステップＳ８において、ＣＰＵ５は、選択されたオブジェクトを含む表示範囲のパノラマ画像を表示装置に表示させる。ステップＳ８における表示処理は、例えば上記“（５−３）再生終了後における履歴情報に基づく出力”で述べた方法によって行われる。ステップＳ７の後、ＣＰＵ５は、図３０に示す動画再生処理を終了する。

【0205】

なお、他の実施形態においては、第１モードの動画再生処理においては、付加情報の入力を受け付ける処理（ステップＳ２およびＳ３）と、履歴情報を記憶する処理（ステップＳ４）とのいずれか一方のみが実行されてもよい。また、履歴情報に基づく出力を行う処理（ステップＳ７およびＳ８）が実行されなくてもよい。

【0206】

（第２モードの再生動作）
図３１は、本実施形態において情報処理装置３のＣＰＵ５が実行する第２モードの動画再生処理の流れの一例を示すフローチャートである。第２モードの実行が選択された場合、ＣＰＵ５は、図３１に示す処理を実行する。

【0207】

まずステップＳ１１において、ＣＰＵ５は、外部の装置から各種の情報を取得する。各種の情報とは、付加情報を含む入力情報、および／または、履歴情報である。ＣＰＵ５は、上記“（３−４）他のユーザによる付加情報”および“（５−１−３）履歴情報の取得”で述べた方法で各種の情報を取得し、新たな入力情報データ７４または履歴情報データ７５としてメモリ６に記憶する。

【0208】

ステップＳ１２において、ＣＰＵ５は、目標を設定する。例えば上記“（４−１）目標の設定”で述べたように、再生すべきパノラマ動画に設定されている付加情報に対応する位置が目標に設定されてもよい。また、ＣＰＵ５は、設定された目標を表す目標情報を記憶する。すなわち、ＣＰＵ５は、上記“（４−２）目標情報の記憶”で述べた方法で目標情報を表すデータをメモリ６に記憶する。

【0209】

ステップＳ１３において、ＣＰＵ５は、端末装置２に対する入力に基づいて表示範囲を決定する。ステップＳ１３の処理は、上述のステップＳ１の処理と同じである。

【0210】

ステップＳ１４において、ＣＰＵ５は、出力すべきガイド情報を生成する。すなわち、ＣＰＵ５は、入力情報データ７４と、上記目標情報を表すデータとをメモリ６から読み出し、入力情報および目標情報に基づいて、ガイド情報を出力するか否かを判別する。この判別は、上記“（４−３）ガイド情報の出力判別の方法”で述べた方法で行われる。ガイド情報を出力すると判別された場合、ＣＰＵ５は、“（４−４）ガイド情報の出力態様”で述べた方法でガイド情報（およびユーザ情報）を表す画像（図１７に示すガイド画像４１）を生成し、画面上において当該画像を表示する位置を決定する。

【0211】

ステップＳ１５において、ＣＰＵ５は、出力すべき付加情報を生成する。すなわち、ＣＰＵ５は、メモリ６から入力情報データ７４を読み出し、入力情報に基づいて、付加情報を出力するか否かを判別する。この判別は、上記“（３−３−１）付加情報の出力判別の方法”で述べた方法で行われる。付加情報を出力すると判別された場合、上記“（３−３−２）付加情報の出力態様”および“（３−３−３）付加情報の出力内容”で述べた方法で付加情報（およびユーザ情報）を表す画像（例えばコメント画像３２）を生成し、画面上において当該画像を表示する位置を決定する。

【0212】

ステップＳ１６において、ＣＰＵ５は、出力すべき履歴関連情報を生成する。すなわち、ＣＰＵ５は、メモリ６から履歴情報データ７５を読み出し、履歴情報に基づいて、履歴関連情報を表す画像を生成する。この画像の生成は、上記“（５−１−２）履歴情報を用いたパノラマ動画の再生”の“（Ａ）履歴関連情報を出力する方法”で述べた方法で行われる。また、ＣＰＵ５は、画面上において上記画像を表示する位置を決定する。なお、他の実施形態においては、ステップＳ１６において、上記“（５−１−２）履歴情報を用いたパノラマ動画の再生”の“（Ｃ）パノラマ動画とともに他の画像を表示する方法”で述べた補助画像が生成されてもよい。このとき、ステップＳ１７においては、パノラマ画像とともに補助画像が表示される。

【0213】

ステップＳ１７において、ＣＰＵ５は、上記ガイド情報、付加情報、および履歴関連情報の画像をパノラマ画像とともに表示する。具体的には、ＣＰＵ５は、パノラマ動画データ７１および表示範囲データ７３をメモリ６から読み出し、現在の再生時点に対応するパノラマ画像のうち、ステップＳ１３で決定された表示範囲のパノラマ画像を生成する。そして、生成されたパノラマ画像に対して、ステップＳ１４〜Ｓ１６で生成された画像を重ねた画像を生成し、端末装置２に出力する。なお、ステップＳ１７においてモニタ４にパノラマ動画を表示させる処理は、上記ステップＳ５と同じである。

【0214】

ステップＳ１８において、ＣＰＵ５は、ステップＳ６と同様の方法で、パノラマ動画の再生を終了するか否かを判定する。ステップＳ１８の判定結果が否定の場合、ステップＳ１３の処理が再度実行される。一方、ステップＳ１８の判定結果が肯定の場合、ＣＰＵ５は図３１に示す動画再生処理を終了する。以降、ステップＳ１３〜Ｓ１８の一連の処理は、ステップＳ１８で再生を終了すると判定されるまで繰り返し実行される。

【0215】

なお、他の実施形態においては、第２モードの動画再生処理において、各種情報（付加情報、ガイド情報、および履歴関連情報）のうち、いくつかの情報のみが出力されてもよい。例えば、第２モードの動画再生処理において、各種情報を出力する処理（ステップＳ１４〜Ｓ１６）のうち、付加情報を出力する処理（ステップＳ１４）のみが実行されてもよいし、付加情報およびガイド情報を出力する処理（ステップＳ１４およびＳ１５）のみが実行されてもよいし、履歴関連情報を出力する処理（ステップＳ１６）のみが実行されてもよい。

【0216】

（第３モードの再生動作）
図３２は、本実施形態において情報処理装置３のＣＰＵ５が実行する第３モードの動画再生処理の流れの一例を示すフローチャートである。第３モードの実行が選択された場合、ＣＰＵ５は、図３２に示す処理を実行する。

【0217】

まずステップＳ２１において、ＣＰＵ５は、表示範囲の決定に用いる履歴情報を選択する。この履歴情報はどのような方法で選択されてもよく、例えば、ユーザの指示に従って選択される。

【0218】

ステップＳ２２において、ＣＰＵ５は、端末装置２に対する入力に基づいて表示範囲を決定する。ステップＳ２２で決定される表示範囲は、端末装置２に表示されるパノラマ動画の表示範囲である。ステップＳ２２の処理は、上述のステップＳ１の処理と同じである。

【0219】

ステップＳ２３において、ＣＰＵ５は、ステップＳ２１で選択された履歴情報に基づいて表示範囲を決定する。ステップＳ２２で決定される表示範囲は、モニタ４に表示されるパノラマ動画の表示範囲である。すなわち、ＣＰＵ５は、選択された履歴情報を表す履歴情報データ７５をメモリ６から読み出し、上記“（５−２−２）履歴情報に基づいて決定される表示範囲を再生する方法”で述べた方法で表示範囲を決定する。また、ＣＰＵ５は、決定された表示範囲を表すデータを表示範囲データ７３としてメモリ６に記憶する。

【0220】

ステップＳ２４において、ＣＰＵ５はパノラマ画像を表示する。具体的には、ＣＰＵ５は、パノラマ動画データ７１および表示範囲データ７３をメモリ６から読み出し、現在の再生時点に対応するパノラマ画像のうち、ステップＳ２３で決定された表示範囲のパノラマ画像を生成してモニタ４へ出力する。このとき、履歴情報に基づく表示範囲のパノラマ画像は、図２４に示したように、モニタ４の画面領域の一部に表示されてもよい。なお、ステップＳ２４において端末装置２にパノラマ動画を表示させる処理は、上記ステップＳ５と同じである。

【0221】

なお、他の実施形態においては、第３モードの動画再生処理において、付加情報の入力を受け付ける処理（ステップＳ２およびＳ３）と、履歴情報を記憶する処理（ステップＳ４）とのうちいくつかの処理が実行されてもよい。また、第３モードの動画再生処理において、付加情報等の各種情報を出力する処理（ステップＳ１４〜Ｓ１６）のうちいくつかの処理が実行されてもよい。

【0222】

（第４モードの再生動作）
図３３は、本実施形態において情報処理装置３のＣＰＵ５が実行する第４モードの動画再生処理の流れの一例を示すフローチャートである。第４モードの実行が選択された場合、ＣＰＵ５は、図３３に示す処理を実行する。

【0223】

まずステップＳ３１において、ＣＰＵ５は、端末装置２に対する入力に基づいて表示範囲を決定する。ステップＳ３１の処理は、上述のステップＳ１の処理と同じである。

【0224】

ステップＳ３２において、ＣＰＵ５は、範囲情報を取得する。例えば、ＣＰＵ５は、上記ステップＳ３１で決定された表示範囲を表す範囲情報を取得する。範囲情報は、例えば上記“（５−２−１）範囲情報の取得”で述べた方法で取得されてもよい。取得された範囲情報を表すデータは、範囲情報データ７６としてメモリ６に記憶される。

【0225】

ステップＳ３３において、ＣＰＵ５は、パノラマ動画とともに出力すべき、範囲情報に基づく画像（端末装置２の再生内容を反映した画像）を生成する。すなわち、ＣＰＵ５は、範囲情報データ７６をメモリ６から読み出し、範囲情報に基づいて上記画像を生成する。例えば、上記“（５−２−２）範囲情報を用いたパノラマ動画の再生”で述べた画像が生成される。

【0226】

ステップＳ３４において、ＣＰＵ５は、端末装置２にパノラマ動画を表示させる。端末装置２にパノラマ動画を表示させる処理は、上記ステップＳ５と同じである。

【0227】

ステップＳ３５において、ＣＰＵ５は、範囲情報に応じて出力内容を変化させてパノラマ動画をモニタ４に表示させる。具体的には、ＣＰＵ５は、ステップＳ３３で生成された画像をパノラマ画像とともにモニタ４に表示させる。これによって、上記“（５−２−１）範囲情報の取得”で述べた、端末装置２の再生内容を反映した画像がモニタ４に表示される。なお、ステップＳ３５においてパノラマ画像を生成して表示する方法は、上記ステップＳ５と同じである。

【0228】

ステップＳ３６において、ＣＰＵ５は、ステップＳ６と同様の方法で、パノラマ動画の再生を終了するか否かを判定する。ステップＳ３６の判定結果が否定の場合、ステップＳ３１の処理が再度実行される。一方、ステップＳ３６の判定結果が肯定の場合、ＣＰＵ５は図３３に示す動画再生処理を終了する。以降、ステップＳ３１〜Ｓ３６の一連の処理は、ステップＳ３６で再生を終了すると判定されるまで繰り返し実行される。

【0229】

なお、他の実施形態においては、上記第１〜第４モードのうち、いくつかのモードにおける処理は同時に（１つのモード中で）実行されてもよい。例えば、第４モードにおいて、第１モードにおける各種情報の入力処理（ステップＳ２〜Ｓ４）が実行されてもよいし、第２モードにおける各種情報の出力処理（ステップＳ１３〜Ｓ１６）が実行されてもよい。以上で、情報処理装置３において実行される処理の説明を終了する。

【産業上の利用可能性】

【0230】

以上のように、本実施形態は、パノラマ画像を再生する際により多くの情報をユーザに提示すること等を目的として、情報処理システムや情報処理プログラムとして利用することができる。

【符号の説明】

【0231】

１ 情報処理システム
２ 端末装置
３ 情報処理装置
４ モニタ
５ ＣＰＵ
６ メモリ
２１ 立体モデル
２２ 仮想カメラ
３２ コメント画像
３５ バー
４１，４５，４６，４７ ガイド画像
５５，５６，６１，６５ パノラマ動画
６２ マップ画像
６３ 視点画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】