(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023067635
(43)【公開日】2023-05-16
(54)【発明の名称】情報処理装置、情報処理方法及び情報処理プログラム
(51)【国際特許分類】
H04N 21/2668 20110101AFI20230509BHJP
H04N 21/24 20110101ALI20230509BHJP
H04N 7/18 20060101ALI20230509BHJP
H04N 23/63 20230101ALI20230509BHJP
H04N 23/698 20230101ALI20230509BHJP
【ＦＩ】
H04N21/2668
H04N21/24
H04N7/18 E
H04N7/18 U
H04N5/232 930
H04N5/232 380
【審査請求】未請求
【請求項の数】6
【出願形態】ＯＬ
(21)【出願番号】P 2021179048
(22)【出願日】2021-11-01
(71)【出願人】
【識別番号】514020389
【氏名又は名称】ＴＩＳ株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】吉見真聡
(72)【発明者】
【氏名】井出将弘
【テーマコード（参考）】
5C054
5C122
5C164
【Ｆターム（参考）】
5C054CA04
5C054CC02
5C054CG02
5C054DA07
5C054EA01
5C054EA03
5C054EA05
5C054FC12
5C054FC13
5C054FD03
5C054FE24
5C054FE25
5C054FF02
5C054FF03
5C122DA02
5C122EA42
5C122FA02
5C122FH04
5C122FH10
5C122FK23
5C122FK24
5C122HA78
5C122HB01
5C122HB05
5C164FA07
5C164SA26S
5C164SB29S
5C164SB41P
5C164SC05P
5C164UD44S
5C164YA21
5C164YA30
(57)【要約】
【課題】特定の方向の映像を視聴し続けたいといった視聴者の要望に応えること。
【解決手段】本願に係る情報処理装置は、取得部と、決定部とを備える。取得部は、移動体に設けられた全天球カメラの撮像方向の変化に関する変化情報を取得する。決定部は、全天球カメラにより第１の撮像方向で撮像された第１の全天球画像のうち、視聴者に指定された方向に対応する領域を第１の表示領域として決定する。決定部は、全天球カメラにより第１の撮像方向と異なる第２の撮像方向で撮像された場合に、第１の撮像方向から第２の撮像方向への変化に関する変化情報に基づいて、第２の撮像方向に対応する第２の全天球画像のうち、第１の全天球画像の第１の表示領域に対応する領域を第２の表示領域として決定する。
【選択図】図７
【解決手段】本願に係る情報処理装置は、取得部と、決定部とを備える。取得部は、移動体に設けられた全天球カメラの撮像方向の変化に関する変化情報を取得する。決定部は、全天球カメラにより第１の撮像方向で撮像された第１の全天球画像のうち、視聴者に指定された方向に対応する領域を第１の表示領域として決定する。決定部は、全天球カメラにより第１の撮像方向と異なる第２の撮像方向で撮像された場合に、第１の撮像方向から第２の撮像方向への変化に関する変化情報に基づいて、第２の撮像方向に対応する第２の全天球画像のうち、第１の全天球画像の第１の表示領域に対応する領域を第２の表示領域として決定する。
【選択図】図７
【特許請求の範囲】
【請求項1】
移動体に設けられた全天球カメラの撮像方向の変化に関する変化情報を取得する取得部と、
前記全天球カメラにより第１の撮像方向で撮像された第１の全天球画像のうち、視聴者に指定された方向に対応する領域を第１の表示領域として決定する決定部を有し、
前記決定部は、
前記全天球カメラにより前記第１の撮像方向と異なる第２の撮像方向で撮像された場合に、前記第１の撮像方向から前記第２の撮像方向への変化に関する変化情報に基づいて、前記第２の撮像方向に対応する第２の全天球画像のうち、前記第１の全天球画像の第１の表示領域に対応する領域を第２の表示領域として決定する、
ことを特徴とする情報処理装置。
前記全天球カメラにより第１の撮像方向で撮像された第１の全天球画像のうち、視聴者に指定された方向に対応する領域を第１の表示領域として決定する決定部を有し、
前記決定部は、
前記全天球カメラにより前記第１の撮像方向と異なる第２の撮像方向で撮像された場合に、前記第１の撮像方向から前記第２の撮像方向への変化に関する変化情報に基づいて、前記第２の撮像方向に対応する第２の全天球画像のうち、前記第１の全天球画像の第１の表示領域に対応する領域を第２の表示領域として決定する、
ことを特徴とする情報処理装置。
【請求項2】
前記決定部は、
前記第２の全天球画像のうち、前記全天球カメラが存在する物理空間座標系における前記第１の撮像方向の画像を前記第２の表示領域として決定する、
ことを特徴とする請求項１に記載の情報処理装置。
前記第２の全天球画像のうち、前記全天球カメラが存在する物理空間座標系における前記第１の撮像方向の画像を前記第２の表示領域として決定する、
ことを特徴とする請求項１に記載の情報処理装置。
【請求項3】
前記決定部は、
前記第１の全天球画像のうち特定の方向の領域を前記第１の表示領域として決定し、前記第１の撮像方向から前記第２の撮像方向への変化と反対方向に回転させた後の前記第２の全天球画像のうち前記特定の方向の領域を前記第２の表示領域として決定する、
ことを特徴とする請求項１又は２に記載の情報処理装置。
前記第１の全天球画像のうち特定の方向の領域を前記第１の表示領域として決定し、前記第１の撮像方向から前記第２の撮像方向への変化と反対方向に回転させた後の前記第２の全天球画像のうち前記特定の方向の領域を前記第２の表示領域として決定する、
ことを特徴とする請求項１又は２に記載の情報処理装置。
【請求項4】
前記決定部は、
前記全天球カメラにより撮像される映像のフレーム毎に、前記変化情報に基づいて、各フレームに対応する全天球画像のうち表示領域を決定する、
ことを特徴とする請求項１～３のいずれか１項に記載の情報処理装置。
前記全天球カメラにより撮像される映像のフレーム毎に、前記変化情報に基づいて、各フレームに対応する全天球画像のうち表示領域を決定する、
ことを特徴とする請求項１～３のいずれか１項に記載の情報処理装置。
【請求項5】
コンピュータが実行する情報処理方法であって、
移動体に設けられた全天球カメラの撮像方向の変化に関する変化情報を取得する取得工程と、
前記全天球カメラにより第１の撮像方向で撮像された第１の全天球画像のうち、視聴者に指定された方向に対応する領域を第１の表示領域として決定する決定工程を含み、
前記決定工程は、
前記全天球カメラにより前記第１の撮像方向と異なる第２の撮像方向で撮像された場合に、前記第１の撮像方向から前記第２の撮像方向への変化に関する変化情報に基づいて、前記第２の撮像方向に対応する第２の全天球画像のうち、前記第１の全天球画像の第１の表示領域に対応する領域を第２の表示領域として決定する、
ことを特徴とする情報処理方法。
移動体に設けられた全天球カメラの撮像方向の変化に関する変化情報を取得する取得工程と、
前記全天球カメラにより第１の撮像方向で撮像された第１の全天球画像のうち、視聴者に指定された方向に対応する領域を第１の表示領域として決定する決定工程を含み、
前記決定工程は、
前記全天球カメラにより前記第１の撮像方向と異なる第２の撮像方向で撮像された場合に、前記第１の撮像方向から前記第２の撮像方向への変化に関する変化情報に基づいて、前記第２の撮像方向に対応する第２の全天球画像のうち、前記第１の全天球画像の第１の表示領域に対応する領域を第２の表示領域として決定する、
ことを特徴とする情報処理方法。
【請求項6】
移動体に設けられた全天球カメラの撮像方向の変化に関する変化情報を取得する取得手順と、
前記全天球カメラにより第１の撮像方向で撮像された第１の全天球画像のうち、視聴者に指定された方向に対応する領域を第１の表示領域として決定する決定手順をコンピュータに実行させ、
前記決定手順は、
前記全天球カメラにより前記第１の撮像方向と異なる第２の撮像方向で撮像された場合に、前記第１の撮像方向から前記第２の撮像方向への変化に関する変化情報に基づいて、前記第２の撮像方向に対応する第２の全天球画像のうち、前記第１の全天球画像の第１の表示領域に対応する領域を第２の表示領域として決定する、
ことを特徴とする情報処理プログラム。
前記全天球カメラにより第１の撮像方向で撮像された第１の全天球画像のうち、視聴者に指定された方向に対応する領域を第１の表示領域として決定する決定手順をコンピュータに実行させ、
前記決定手順は、
前記全天球カメラにより前記第１の撮像方向と異なる第２の撮像方向で撮像された場合に、前記第１の撮像方向から前記第２の撮像方向への変化に関する変化情報に基づいて、前記第２の撮像方向に対応する第２の全天球画像のうち、前記第１の全天球画像の第１の表示領域に対応する領域を第２の表示領域として決定する、
ことを特徴とする情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法及び情報処理プログラムに関する。
【背景技術】
【0002】
従来、移動可能な撮像装置により撮像された映像（動画像）を、視聴者にリアルタイムで視聴させる技術が知られている。例えば、室内にいる視聴者に、屋外移動中の撮像装置により撮像された映像を視聴させることで、随伴して屋外を移動しているような臨場感を提供する技術が知られている。
【先行技術文献】
【特許文献】
【0003】
【非特許文献1】矢崎武瑠，外１０名，“ウェアラブル・テレプレゼンスシステム“Ｔ－Ｌｅａｐ”を用いた市街地でのナビゲーション検証結果と応用可能性の検討”，第２５回日本バーチャルリアリティ学会大会論文集，２０２０年９月，［online］，［令和３年９月２８日検索］，インターネット＜http://conference.vrsj.org/ac2020/program/doc/1A1-4_PR0158.pdf＞
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来の技術では、視聴者が映像を視聴中に、撮像装置が動くと、表示される映像の方向が変化する。このため、撮像装置の撮像方向と連動して表示される映像も変化するので、特定の方向の映像を視聴し続けたいといった視聴者の要望に応えることが困難であった。
【0005】
本願は、上記に鑑みてなされたものであって、特定の方向の映像を視聴し続けたいといった視聴者の要望に応えることを目的とする。
【課題を解決するための手段】
【0006】
本願に係る情報処理装置は、移動体に設けられた全天球カメラの撮像方向の変化に関する変化情報を取得する取得部と、前記全天球カメラにより第１の撮像方向で撮像された第１の全天球画像のうち、視聴者に指定された方向に対応する領域を第１の表示領域として決定する決定部を有し、前記決定部は、前記全天球カメラにより前記第１の撮像方向と異なる第２の撮像方向で撮像された場合に、前記第１の撮像方向から前記第２の撮像方向への変化に関する変化情報に基づいて、前記第２の撮像方向に対応する第２の全天球画像のうち、前記第１の全天球画像の第１の表示領域に対応する領域を第２の表示領域として決定する、ことを特徴とする。
【発明の効果】
【0007】
実施形態の一態様によれば、特定の方向の映像を視聴し続けたいといった視聴者の要望に応えることができるという効果を奏する。
【図面の簡単な説明】
【0008】
【発明を実施するための形態】
【0009】
以下に、本願に係る情報処理装置、情報処理方法及び情報処理プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理装置、情報処理方法及び情報処理プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。
【0010】
（実施形態）
〔１．情報処理システムの構成〕
図１に示す情報処理システム１について説明する。図１に示すように、情報処理システム１は、配信者端末１０と、視聴者端末２０と、情報処理装置１００とが含まれる。配信者端末１０と、視聴者端末２０と、情報処理装置１００とは所定の通信網（ネットワークＮ）を介して、有線または無線により通信可能に接続される。図１は、実施形態に係る情報処理システム１の構成例を示す図である。なお、図１に示した情報処理システム１には、複数台の視聴者端末２０が含まれてもよい。
〔１．情報処理システムの構成〕
図１に示す情報処理システム１について説明する。図１に示すように、情報処理システム１は、配信者端末１０と、視聴者端末２０と、情報処理装置１００とが含まれる。配信者端末１０と、視聴者端末２０と、情報処理装置１００とは所定の通信網（ネットワークＮ）を介して、有線または無線により通信可能に接続される。図１は、実施形態に係る情報処理システム１の構成例を示す図である。なお、図１に示した情報処理システム１には、複数台の視聴者端末２０が含まれてもよい。
【0011】
配信者端末１０は、視聴者に映像を配信する配信者（例えば、屋外を移動しながら配信するもの）によって利用される情報処理装置である。配信者端末１０は、配信者の周囲３６０度を撮像可能な全天球カメラを有し、実施形態における処理を実現可能であれば、どのような装置であってもよい。例えば、配信者端末１０は、モバイル・ウェアラブル型の装置であり、配信者に装着される。
【0012】
また、配信者端末１０は、ジャイロセンサを有し、配信者端末１０に設けられた全天球カメラの撮像方向の変化（例えば、カメラの撮像方向の回転を含む）を検知する。例えば、ジャイロセンサは、全天球カメラの撮像方向が右に３０度回転した場合には、全天球カメラの撮像方向が右に３０度回転したことを特徴量（例えば、ベクトル量）で示すジャイロ値を出力する。そして、配信者端末１０は、出力されたジャイロ値に基づいて、全天球カメラの撮像方向の変化を検知する。なお、撮像方向の変化が大きいほど、大きい特徴量のジャイロ値が出力される。例えば、９０度回転した場合には、３０度回転した場合よりも撮像方向の変化が大きいため、大きい特徴量のジャイロ値が出力される。
【0013】
以下、配信者端末１０は配信者Ｔ１１によって利用されるものとする。
【0014】
視聴者端末２０は、配信者端末１０を介して配信された画像を視聴する視聴者によって利用される情報処理装置である。視聴者端末２０は、スマートフォンや、タブレット型端末や、ノート型ＰＣや、デスクトップＰＣや、携帯電話機や、ＰＤＡ等、実施形態における処理を実現可能であれば、どのような装置であってもよい。
【0015】
視聴者端末２０は、例えば、スマートフォンやタブレット等のスマートデバイスであり、３Ｇ～５Ｇ（Generation）やＬＴＥ（Long Term Evolution）等の無線通信網を介して任意のサーバ装置と通信を行うことができる携帯端末装置である。また、視聴者端末２０は、液晶ディスプレイ等の画面であって、タッチパネルの機能を有する画面を有し、指やスタイラス等によりタップ操作、スライド操作、スクロール操作等、コンテンツ等の表示データに対する各種の操作を受け付けてもよい。
【0016】
以下、視聴者端末２０１は視聴者Ｕ１１によって利用され、視聴者端末２０２は視聴者Ｕ１２によって利用される。なお、視聴者端末２０１及び２０２を区別する必要のないときは、「視聴者端末２０」と表記する。また、視聴者Ｕ１１及びＵ１２を区別する必要のないときは、単に「視聴者」と表記する。また、視聴者端末２０を視聴者と表記する場合がある。すなわち、以下では、視聴者を視聴者端末２０と読み替えることもできる。
【0017】
情報処理装置１００は、特定の方向の映像を視聴し続けたいといった視聴者の要望に応えることを目的とした情報処理装置であり、実施形態における処理を実現可能であれば、どのような装置であってもよい。情報処理装置１００は、例えば、サーバ装置やクラウドシステム等により実現される。
【0018】
なお、図１では、情報処理装置１００と配信者端末１０とが、別装置である場合を示すが、情報処理装置１００と配信者端末１０とが一体であってもよい。また、情報処理装置１００と視聴者端末２０とが、別装置である場合を示すが、情報処理装置１００と視聴者端末２０とが一体であってもよい。また、情報処理装置１００と、配信者端末１０と視聴者端末２０とを中継するサーバ装置等（不図示）とが一体であってもよい。
【0019】
〔２．配信者端末の構成〕
次に、図２～図４を用いて、実施形態に係る配信者端末１０の構成について説明する。図２は、実施形態に係る配信者端末１０の構成例を示す図である。図２に示すように、配信者端末１０は、通信部１１と、入力部１２と、出力部１３と、全天球カメラ１４と、ジャイロセンサ１５と、制御部１６とを有する。
次に、図２～図４を用いて、実施形態に係る配信者端末１０の構成について説明する。図２は、実施形態に係る配信者端末１０の構成例を示す図である。図２に示すように、配信者端末１０は、通信部１１と、入力部１２と、出力部１３と、全天球カメラ１４と、ジャイロセンサ１５と、制御部１６とを有する。
【0020】
（通信部１１）
通信部１１は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部１１は、所定のネットワークＮと有線又は無線で接続され、所定のネットワークＮを介して、情報処理装置１００等との間で情報の送受信を行う。
通信部１１は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部１１は、所定のネットワークＮと有線又は無線で接続され、所定のネットワークＮを介して、情報処理装置１００等との間で情報の送受信を行う。
【0021】
（入力部１２）
入力部１２は、配信者からの各種操作を受け付ける。例えば、入力部１２は、タッチパネル機能により表示面を介して配信者からの各種操作を受け付けてもよい。また、入力部１２は、配信者端末１０に設けられたボタンや、配信者端末１０に接続されたキーボードやマウスからの各種操作を受け付けてもよい。
入力部１２は、配信者からの各種操作を受け付ける。例えば、入力部１２は、タッチパネル機能により表示面を介して配信者からの各種操作を受け付けてもよい。また、入力部１２は、配信者端末１０に設けられたボタンや、配信者端末１０に接続されたキーボードやマウスからの各種操作を受け付けてもよい。
【0022】
（出力部１３）
出力部１３は、例えば液晶ディスプレイや有機ＥＬ（Electro-Luminescence）ディスプレイ等によって実現されるタブレット端末等の表示画面であり、各種情報を表示させるための表示装置である。
出力部１３は、例えば液晶ディスプレイや有機ＥＬ（Electro-Luminescence）ディスプレイ等によって実現されるタブレット端末等の表示画面であり、各種情報を表示させるための表示装置である。
【0023】
例えば、出力部１３は、観光ガイドが配信者となり、遠隔にいる複数の視聴者である観光客の買い物をサポートする際に、遠隔にいる複数の観光客から送信された情報を表示させる。例えば、出力部１３は、「商品を手に取ってよく見せてください」といったような観光客からの問い合わせに関する情報を表示させる。
【0024】
（全天球カメラ１４）
全天球カメラ１４は、配信者Ｔ１１の周囲３６０度を撮像する。図３は、実施形態に係る配信者端末１０の装着例を示す図である。全天球カメラ１４は、全天球カメラ１４の鉛直方向ＬＡ１を基準として、周囲３６０度を撮像する。具体的には、全天球カメラ１４は、全天球カメラ１４の鉛直方向ＬＡ１を、後述の端末座標系のＺ軸として、周囲３６０度を撮像する。以下、全天球カメラ１４の鉛直方向ＬＡ１を、後述の端末座標系のＺ軸とする。
全天球カメラ１４は、配信者Ｔ１１の周囲３６０度を撮像する。図３は、実施形態に係る配信者端末１０の装着例を示す図である。全天球カメラ１４は、全天球カメラ１４の鉛直方向ＬＡ１を基準として、周囲３６０度を撮像する。具体的には、全天球カメラ１４は、全天球カメラ１４の鉛直方向ＬＡ１を、後述の端末座標系のＺ軸として、周囲３６０度を撮像する。以下、全天球カメラ１４の鉛直方向ＬＡ１を、後述の端末座標系のＺ軸とする。
【0025】
また、図４は、実施形態に係る全天球画像の一例を示す図である。全天球画像ＩＭ１は、全天球カメラ１４により撮像された映像のある瞬間の全天球画像（例えば、映像のあるフレームに撮像された全天球画像）であり、各視聴者は、全天球画像ＩＭ１のうち、特定の方向の領域の映像を視聴する。例えば、視聴者Ｕ１１は、視聴者Ｕ１１が視聴したい表示領域ＩＭ１１の映像を視聴し、視聴者Ｕ１２は、視聴者Ｕ１２が視聴したい表示領域ＩＭ１２の映像を視聴する。なお、全天球画像ＩＭ１は、３６０度を撮像したものであるため実際は画像に歪みがあるが、視聴者端末２０に表示させる際は、歪みが補正された画像の映像が表示される。なお、全天球カメラ１４は、配信者端末１０に設けられているため、配信者端末１０とともに移動可能な撮像装置である。
【0026】
（ジャイロセンサ１５）
ジャイロセンサ１５は、全天球カメラ１４の撮像方向が変化（例えば、回転を含む）すると、全天球カメラ１４の撮像方向の変化を特徴量で示すジャイロ値を出力する。なお、全天球カメラ１４の撮像方向は、例えば、配信者端末１０の動きに応じて変化する。例えば、配信者がお辞儀をすると、配信者の動きに応じて配信者端末１０が前方に回転するため、全天球カメラ１４の撮像方向が下方に変化する。なお、ジャイロ値は、ベクトル等の特徴量で示されるが、方向等の特徴量は、後述の端末座標系に基づいて出力されるものとする。
ジャイロセンサ１５は、全天球カメラ１４の撮像方向が変化（例えば、回転を含む）すると、全天球カメラ１４の撮像方向の変化を特徴量で示すジャイロ値を出力する。なお、全天球カメラ１４の撮像方向は、例えば、配信者端末１０の動きに応じて変化する。例えば、配信者がお辞儀をすると、配信者の動きに応じて配信者端末１０が前方に回転するため、全天球カメラ１４の撮像方向が下方に変化する。なお、ジャイロ値は、ベクトル等の特徴量で示されるが、方向等の特徴量は、後述の端末座標系に基づいて出力されるものとする。
【0027】
（制御部１６）
制御部１６は、例えば、コントローラ（controller）であり、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、配信者端末１０内部の記憶装置に記憶されている各種プログラムがＲＡＭ（Random Access Memory)を作業領域として実行されることにより実現される。例えば、この各種プログラムには、配信者端末１０にインストールされたアプリケーションのプログラムが含まれる。例えば、この各種プログラムには、遠隔にいる複数の視聴者から送信された情報を表示させるアプリケーションのプログラムが含まれる。また、制御部１６は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。
制御部１６は、例えば、コントローラ（controller）であり、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、配信者端末１０内部の記憶装置に記憶されている各種プログラムがＲＡＭ（Random Access Memory)を作業領域として実行されることにより実現される。例えば、この各種プログラムには、配信者端末１０にインストールされたアプリケーションのプログラムが含まれる。例えば、この各種プログラムには、遠隔にいる複数の視聴者から送信された情報を表示させるアプリケーションのプログラムが含まれる。また、制御部１６は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。
【0028】
図２に示すように、制御部１６は、送信部１６１を有し、以下に説明する情報処理の作用を実現または実行する。
【0029】
（送信部１６１）
送信部１６１は、全天球カメラ１４により、例えば映像のフレーム毎（又はコマ毎）に撮像された全天球画像をリアルタイムで情報処理装置１００へ送信する。また、送信部１６２は、全天球画像を送信する際に、ジャイロセンサ１５により出力されたジャイロ値を送信する。なお、送信部１６２は、全天球カメラ１４により撮像された全天球画像の座標情報を送信する。この座標情報は、全天球カメラ１４の座標系（以下、適宜、「端末座標系」とする）に基づく座標情報である。この座標情報によって、全天球画像のどの画像が端末座標系のどの座標に対応するのか特定することができる。なお、端末座標系が配信者側の座標系であるのに対して、視聴者側の座標系を、以下、適宜、「ビューワ座標系」とする。
送信部１６１は、全天球カメラ１４により、例えば映像のフレーム毎（又はコマ毎）に撮像された全天球画像をリアルタイムで情報処理装置１００へ送信する。また、送信部１６２は、全天球画像を送信する際に、ジャイロセンサ１５により出力されたジャイロ値を送信する。なお、送信部１６２は、全天球カメラ１４により撮像された全天球画像の座標情報を送信する。この座標情報は、全天球カメラ１４の座標系（以下、適宜、「端末座標系」とする）に基づく座標情報である。この座標情報によって、全天球画像のどの画像が端末座標系のどの座標に対応するのか特定することができる。なお、端末座標系が配信者側の座標系であるのに対して、視聴者側の座標系を、以下、適宜、「ビューワ座標系」とする。
【0030】
図５は、実施形態に係る座標系（物理空間、配信者側、視聴者側）の関係性を説明するための図である。図５左側（ＦＧ１）は、物理空間座標系（ＦＧ１１）を示す。物理空間座標系は、地球ＦＧ１２の中心を基にしたグローバル座標系、すなわち、地軸の回転等の惑星規模の動きを無視して固定された座標系に該当する。
【0031】
図５中央（ＦＧ２）は、端末座標系（ＦＧ１３）を示す。端末座標系（ＦＧ１３）は、物理空間座標系（ＦＧ１１）に対するローカル座標系である。端末座標系（ＦＧ１３）は、全天球カメラ１４の姿勢を基にした物理空間座標系（ＦＧ１１）に対するローカル座標系であり、全天球カメラ１４が設けられた移動体（ここでは配信者Ｔ１１）の動きに応じて回転する。
【0032】
図５右側（ＦＧ３）は、ビューワ座標系（ＦＧ２１）を示し、端末座標系（ＦＧ１３）に対するローカル座標系である。ビューワ座標系（ＦＧ２１）は、全天球画像から視聴者の画面をレンダリングするための仮想空間の座標系である。ブラウザ等の操作によって視聴者の視点である仮想的なカメラの方向（視聴者の視界）は、ビューワ座標系ＦＧ２１を基に回転する。すなわち、ビューワ座標系（ＦＧ２１）は、視聴者の視点である仮想的なカメラの座標系である。
【0033】
従来の技術では、端末座標系（ＦＧ１３）の回転に関わらず、視聴者の視界を物理空間座標系（ＦＧ１１）に対して固定したいといった視聴者の要望に応えることが困難であった。
【0034】
〔３．視聴者端末の構成〕
次に、図６を用いて、実施形態に係る視聴者端末２０の構成について説明する。図６は、実施形態に係る視聴者端末２０の構成例を示す図である。図６に示すように、視聴者端末２０は、通信部２１と、入力部２２と、出力部２３と、制御部２４とを有する。
次に、図６を用いて、実施形態に係る視聴者端末２０の構成について説明する。図６は、実施形態に係る視聴者端末２０の構成例を示す図である。図６に示すように、視聴者端末２０は、通信部２１と、入力部２２と、出力部２３と、制御部２４とを有する。
【0035】
（通信部２１）
通信部２１は、例えば、ＮＩＣ等によって実現される。そして、通信部２１は、所定のネットワークＮと有線又は無線で接続され、所定のネットワークＮを介して、情報処理装置１００等との間で情報の送受信を行う。
通信部２１は、例えば、ＮＩＣ等によって実現される。そして、通信部２１は、所定のネットワークＮと有線又は無線で接続され、所定のネットワークＮを介して、情報処理装置１００等との間で情報の送受信を行う。
【0036】
（入力部２２）
入力部２２は、視聴者からの各種操作を受け付ける。例えば、入力部２２は、タッチパネル機能により表示面を介して視聴者からの各種操作を受け付けてもよい。また、入力部２２は、視聴者端末２０に設けられたボタンや、視聴者端末２０に接続されたキーボードやマウスからの各種操作を受け付けてもよい。
入力部２２は、視聴者からの各種操作を受け付ける。例えば、入力部２２は、タッチパネル機能により表示面を介して視聴者からの各種操作を受け付けてもよい。また、入力部２２は、視聴者端末２０に設けられたボタンや、視聴者端末２０に接続されたキーボードやマウスからの各種操作を受け付けてもよい。
【0037】
（出力部２３）
出力部２３は、例えば液晶ディスプレイや有機ＥＬディスプレイ等によって実現されるタブレット端末等の表示画面であり、各種情報を表示させるための表示装置である。
出力部２３は、例えば液晶ディスプレイや有機ＥＬディスプレイ等によって実現されるタブレット端末等の表示画面であり、各種情報を表示させるための表示装置である。
【0038】
例えば、出力部２３は、情報処理装置１００により送信された情報に基づいて、配信者がリアルタイムで配信している全天球画像のうち、視聴者に指定された方向の表示領域の映像を表示させる。
【0039】
（制御部２４）
制御部２４は、例えば、コントローラであり、ＣＰＵやＭＰＵ等によって、視聴者端末２０内部の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。例えば、この各種プログラムには、視聴者端末２０にインストールされたアプリケーションのプログラムが含まれる。例えば、この各種プログラムには、情報処理装置１００により送信された情報に基づいて、配信者端末１０によりリアルタイムに配信されている全天球画像のうち、視聴者に指定された方向の映像を表示させるアプリケーションのプログラムが含まれる。また、制御部２４は、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現される。
制御部２４は、例えば、コントローラであり、ＣＰＵやＭＰＵ等によって、視聴者端末２０内部の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。例えば、この各種プログラムには、視聴者端末２０にインストールされたアプリケーションのプログラムが含まれる。例えば、この各種プログラムには、情報処理装置１００により送信された情報に基づいて、配信者端末１０によりリアルタイムに配信されている全天球画像のうち、視聴者に指定された方向の映像を表示させるアプリケーションのプログラムが含まれる。また、制御部２４は、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現される。
【0040】
図６に示すように、制御部２４は、受信部２４１と、表示制御部２４２と、送信部２４３とを有し、以下に説明する情報処理の作用を実現または実行する。
【0041】
（受信部２４１）
受信部２４１は、情報処理装置１００により送信された情報を受信する。具体的には、受信部２４１は、配信者端末１０がリアルタイムで配信している全天球画像と、全天球画像のうち視聴者に指定された方向の映像を表示させるための情報（例えば、全天球画像の座標情報）を受信する。
受信部２４１は、情報処理装置１００により送信された情報を受信する。具体的には、受信部２４１は、配信者端末１０がリアルタイムで配信している全天球画像と、全天球画像のうち視聴者に指定された方向の映像を表示させるための情報（例えば、全天球画像の座標情報）を受信する。
【0042】
（表示制御部２４２）
表示制御部２４２は、受信部２４１により受信された情報に基づいて、配信者端末１０がリアルタイムで配信している全天球画像のうち、視聴者に指定された方向に対応する映像を出力部２３に表示させる。なお、出力部２３に表示される映像の方向は、表示領域の方向を視聴者が新たに指定することで、変更可能である。
表示制御部２４２は、受信部２４１により受信された情報に基づいて、配信者端末１０がリアルタイムで配信している全天球画像のうち、視聴者に指定された方向に対応する映像を出力部２３に表示させる。なお、出力部２３に表示される映像の方向は、表示領域の方向を視聴者が新たに指定することで、変更可能である。
【0043】
ここで、視聴者が、出力部２３に表示された映像を視聴中に、全天球カメラ１４が回転すると、全天球カメラ１４の回転に応じて端末座標系が回転するため、全天球カメラ１４の回転前には、物理空間座標系の特定の方向の映像が表示されていたとしても、全天球カメラ１４の回転後には、物理空間座標系の特定の方向と異なる方向の映像が表示される。このため、視聴者が物理空間座標系の特定の方向の映像を視聴し続けたくても、全天球カメラ１４が回転すると、特定の方向の映像を視聴し続けられなくなる。
【0044】
例えば、視聴者Ｕ１１が表示領域ＩＭ１１の映像を視聴中に配信者Ｔ１１がお辞儀をすると、配信者Ｔ１１の動きとともに全天球カメラ１４が前方に回転するため、全天球カメラ１４の座標系である端末座標系も前方に回転し、表示領域ＩＭ１１の映像ではなく、表示領域ＩＭ１３（図４）の映像が出力部２３に表示される。
【0045】
（送信部２４３）
送信部２４３は、入力部２２を介して視聴者から受け付けられた情報を情報処理装置１００へ送信する。例えば、送信部２４３は、視聴のため視聴者に指定された方向を示す指定情報を送信する。例えば、全天球画像ＩＭ１のうち、帽子ＨＡ１１を被ったオブジェクトの方向に対応する映像を視聴したい場合には、表示領域ＩＭ１２の方向を指定（例えば、タップやクリック）すると、表示領域ＩＭ１２の方向を示す指定情報が、送信部２４３から送信される。なお、送信部２４３は、視聴者が新たに表示領域ＩＭ１２の方向と異なる方向を指定した場合には、異なる方向を示す指定情報を送信する。この場合、新たに指定された方向の映像が視聴者に表示される。なお、指定情報によって示される方向は、ビューワ座標系における方向に該当する。この点については後述する。
送信部２４３は、入力部２２を介して視聴者から受け付けられた情報を情報処理装置１００へ送信する。例えば、送信部２４３は、視聴のため視聴者に指定された方向を示す指定情報を送信する。例えば、全天球画像ＩＭ１のうち、帽子ＨＡ１１を被ったオブジェクトの方向に対応する映像を視聴したい場合には、表示領域ＩＭ１２の方向を指定（例えば、タップやクリック）すると、表示領域ＩＭ１２の方向を示す指定情報が、送信部２４３から送信される。なお、送信部２４３は、視聴者が新たに表示領域ＩＭ１２の方向と異なる方向を指定した場合には、異なる方向を示す指定情報を送信する。この場合、新たに指定された方向の映像が視聴者に表示される。なお、指定情報によって示される方向は、ビューワ座標系における方向に該当する。この点については後述する。
【0046】
〔４．情報処理装置の構成〕
次に、図７を用いて、実施形態に係る情報処理装置１００の構成について説明する。図７は、実施形態に係る情報処理装置１００の構成例を示す図である。図７に示すように、情報処理装置１００は、通信部１１０と、制御部１２０とを有する。なお、情報処理装置１００は、情報処理装置１００の管理者から各種操作を受け付ける入力部（例えば、キーボードやマウス等）や、各種情報を表示させるための表示部（例えば、液晶ディスプレイ等）を有してもよい。
次に、図７を用いて、実施形態に係る情報処理装置１００の構成について説明する。図７は、実施形態に係る情報処理装置１００の構成例を示す図である。図７に示すように、情報処理装置１００は、通信部１１０と、制御部１２０とを有する。なお、情報処理装置１００は、情報処理装置１００の管理者から各種操作を受け付ける入力部（例えば、キーボードやマウス等）や、各種情報を表示させるための表示部（例えば、液晶ディスプレイ等）を有してもよい。
【0047】
（通信部１１０）
通信部１１０は、例えば、ＮＩＣ等によって実現される。そして、通信部１１０は、ネットワークＮと有線又は無線で接続され、ネットワークＮを介して、配信者端末１０等との間で情報の送受信を行う。
通信部１１０は、例えば、ＮＩＣ等によって実現される。そして、通信部１１０は、ネットワークＮと有線又は無線で接続され、ネットワークＮを介して、配信者端末１０等との間で情報の送受信を行う。
【0048】
（制御部１２０）
制御部１２０は、コントローラであり、例えば、ＣＰＵやＭＰＵ等によって、情報処理装置１００内部の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１２０は、コントローラであり、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現される。
制御部１２０は、コントローラであり、例えば、ＣＰＵやＭＰＵ等によって、情報処理装置１００内部の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１２０は、コントローラであり、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現される。
【0049】
図７に示すように、制御部１２０は、取得部１２１と、決定部１２２と、送信部１２３とを有し、以下に説明する情報処理の作用を実現または実行する。なお、制御部１２０の内部構成は、図７に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
【0050】
（取得部１２１）
取得部１２１は、配信者端末１０等の他の情報処理装置から各種情報を取得する。具体的には、取得部１２１は、全天球カメラ１４の撮像方向の変化に関する変化情報を取得する。例えば、取得部１２１は、変化情報として、全天球カメラ１４の撮像方向の変化を示すジャイロ値を情報処理装置１００から取得する。そして、取得部１２１は、ジャイロ値に基づいて、全天球カメラ１４の回転方向及び回転量を取得する。また、取得部１２１は、視聴のため視聴者が方向を指定した指定情報を視聴者端末２０から取得する。
取得部１２１は、配信者端末１０等の他の情報処理装置から各種情報を取得する。具体的には、取得部１２１は、全天球カメラ１４の撮像方向の変化に関する変化情報を取得する。例えば、取得部１２１は、変化情報として、全天球カメラ１４の撮像方向の変化を示すジャイロ値を情報処理装置１００から取得する。そして、取得部１２１は、ジャイロ値に基づいて、全天球カメラ１４の回転方向及び回転量を取得する。また、取得部１２１は、視聴のため視聴者が方向を指定した指定情報を視聴者端末２０から取得する。
【0051】
（決定部１２２）
決定部１２２は、全天球カメラ１４により撮像された全天球画像のうち、視聴者に指定された方向の領域を表示領域として決定する。
決定部１２２は、全天球カメラ１４により撮像された全天球画像のうち、視聴者に指定された方向の領域を表示領域として決定する。
【0052】
詳細は後述するが、決定部１２２は、全天球カメラ１４により第１の撮像方向と異なる第２の撮像方向で撮像された場合に、第１の撮像方向から第２の撮像方向への変化に関する変化情報に基づいて、第２の全天球画像のうち、第１の全天球画像の第１の表示領域に対応する領域を第２の表示領域として決定する。例えば、全天球カメラ１４が回転すると、第１の撮像方向と異なる第２の撮像方向で撮像される。この際、第１の撮像方向から第２の撮像方向へ撮像方向が変化するため、端末座標系で、撮像方向の変化前のオブジェクトＯＢ１１の方向の座標情報は、撮像方向の変化後のオブジェクトＯＢ１１の方向の座標情報と異なる。決定部１２２は、撮像方向の変化情報に基づいて、第２の全天球画像のうち、第１の全天球画像の第１の表示領域に対応する領域を第２の表示領域として決定する。
【0053】
図８は、撮像方向の変化に応じた視聴者側の表示映像の変化の一例を示す図である。全天球カメラ１４が回転すると、全天球カメラ１４の回転に応じて端末座標系が回転するため、例えば、全天球カメラ１４が物理空間座標系における第１の撮像方向として南の方向を撮像しており、視聴者Ｕ１１がオブジェクトＯＢ１１の方向の映像を視聴していたとしても、全天球カメラ１４が東の方向に回転すると（ステップＳ１１）、端末座標系ＡＸ１が回転するため、視聴者Ｕ１１が視聴していたオブジェクトＯＢ１１の方向の映像が表示されなくなる（ステップＳ１２）。
【0054】
決定部１２２は、第１の全天球画像のうち、特定の方向の領域を第１の表示領域として決定する。例えば、決定部１２２は、第１の全天球画像のうち、視聴者に指定された方向の領域を第１の表示領域として決定する。また、決定部１２２は、第１の撮像方向から第２の撮像方向への変化と反対方向に回転させた後の第２の全天球画像のうち、第１の表示領域の方向の領域を第２の表示領域として決定する。例えば、第１の撮像方向から第２の撮像方向へ撮像方向が変化すると、端末座標系で、撮像方向の変化前のオブジェクトＯＢ１１の方向の座標情報が、撮像方向の変化後のオブジェクトＯＢ１１の方向の座標情報と異なる。このため、決定部１２２は、撮像方向の変化情報に基づいて、第１の撮像方向から第２の撮像方向への変化と反対方向に回転させた後の第２の全天球画像のうち、オブジェクトＯＢ１１の方向の領域を第２の表示領域として決定する。
【0055】
（送信部１２３）
送信部１２３は、取得部１２１により取得された指定情報に基づいて、全天球画像のうち、特定の方向の第１の表示領域の映像を表示させるための情報（例えば、全天球画像の座標情報）を送信する。具体的には、送信部１２３は、視聴者に指定された方向の座標情報に基づいて特定された第１の表示領域の映像を表示させるための情報を送信する。
送信部１２３は、取得部１２１により取得された指定情報に基づいて、全天球画像のうち、特定の方向の第１の表示領域の映像を表示させるための情報（例えば、全天球画像の座標情報）を送信する。具体的には、送信部１２３は、視聴者に指定された方向の座標情報に基づいて特定された第１の表示領域の映像を表示させるための情報を送信する。
【0056】
また、送信部１２３は、決定部１２２により決定された第２の表示領域の映像を表示させるための情報を送信する。なお、第１の表示領域（又は第２の表示領域）の大きさは、視聴者端末２０毎に予め定められているものとする。そして、予め定められた大きさに基づいて、全天球画像のうち、第１の表示領域（又は第２の表示領域）の映像が視聴者端末２０に表示される。視聴者端末２０は、送信部１２３により送信された情報を受信すると、受信した情報に基づいて、出力部２３に映像を表示させる。
【0057】
例えば、図４に示す例では、視聴者Ｕ１１が視聴のため表示領域ＩＭ１１の方向を指定したため、送信部１２３は、画像ＩＭ１のうち、指定された方向の座標情報に応じた映像を視聴者端末２０１に表示させるための情報を送信する。同時刻、視聴者Ｕ１２が視聴のため表示領域ＩＭ１２の方向を指定したため、送信部１２３は、画像ＩＭ１のうち、指定された方向の座標情報に応じた映像を視聴者端末２０２に表示させるための情報を送信する。
【0058】
以下、情報処理装置１００による処理を説明する。情報処理装置１００による処理に先立って、図９～図１１を用いて、全天球カメラ１４の回転に応じて視聴者に提供される映像の方向が変化する場合について説明する。続いて、図１２及び図１３を用いて、情報処理装置１００により処理を説明する。
【0059】
図９は、撮像方向の変化前の端末座標系と、周囲のオブジェクトとの関係性を示す図である。座標系ＡＸ１１は、物理空間座標系である。例えば、オブジェクトＯＢ１１が、配信者Ｔ１１に対して南の方向にあることを示す。なお、オブジェクトＯＢ１１、ＯＢ１２、ＯＢ１３は、全天球カメラ１４により撮像された全天球画像に写るオブジェクトである。また、座標系ＡＸ１２は、端末座標系である。
【0060】
図１０は、ビューワ座標系と、視聴者側の表示映像との関係性を示す図である。決定部１２２は、全天球画像の座標情報に基づいて、全天球画像をビューワ座標系ＡＸ１３へ展開する。具体的には、全天球画像の各座標は、ビューワ座標系ＡＸ１３の各座標に対応している。例えば、全天球カメラ１４の正面方向が、全天球画像の座標（ｘ１、ｙ１、ｚ１）に対応し、更に、全天球画像の座標（ｘ１、ｙ１、ｚ１）が、ビューワ座標系ＡＸ１３の座標（Ｘ１、Ｙ１、Ｚ１）に対応するものとする。この場合、決定部１２２は、全天球カメラ１４の正面方向に撮像された全天球画像の座標（ｘ１、ｙ１、ｚ１）に対応する画素を、ビューワ座標系ＡＸ１３の座標（Ｘ１、Ｙ１、Ｚ１）に展開する。図１０の例では、全天球カメラ１４の正面方向に対応する全天球画像の座標（オブジェクトＯＢ１１が撮像された方向）は、ビューワ座標系ＡＸ１３の下方向（全天球画像が展開される球面の南半球方向）に対応するものとする。このように、決定部１２２は、全天球画像の各座標（すなわち、端末座標系の座標）と、ビューワ座標系ＡＸ１３の各座標に対応に基づいて、全天球画像をビューワ座標系ＡＸ１３に展開する。
【0061】
図１０に示すカメラＣＡ１１は、視聴者の視点である仮想的なカメラ（視聴者の視界）である。図１０に示す例では、視聴者Ｕ１１によって指定された指定情報がオブジェクトＯＢ１１の方向を示すため、カメラＣＡ１１が、オブジェクトＯＢ１１の方向に向けられている。この場合、オブジェクトＯＢ１１の方向の所定の領域（メッシュ部分）が表示領域となり、表示領域に応じて映像が視聴者端末２０に表示される。なお、図示されていないが、同時刻、視聴者Ｕ１２によって指定された指定情報がオブジェクトＯＢ１３の方向を示す場合には、カメラＣＡ１１が、オブジェクトＯＢ１３の方向に向けられる。この場合、オブジェクトＯＢ１３の方向の所定の領域（不図示）が表示領域となり対応する映像が表示される。なお、表示領域以外の領域は、非表示領域である。視聴者毎に表示領域が異なるように、非表示領域も異なる。全天球画像と、カメラＣＡ１１の向きとに基づいて映像が視聴者端末２０に表示される。このように、視聴者によって指定される指定情報は、ビューワ座標系における特定の方向を示す。
【0062】
図１１は、撮像方向の変化後の端末座標系と、視野固定がない場合（すなわち、指定情報が示す方向に固定しない場合）の視聴者側の表示映像との関係性を示す図である。なお、図９～図１０と同様の説明は適宜省略する。
【0063】
図１１では、最初に配信者Ｔ１１（すなわち、全天球カメラ１４の正面）が南方向を向いていたが、配信者Ｔ１１がラーメン屋であるオブジェクトＯＢ１３を発見したために、オブジェクトＯＢ１３の西の方向へ向きを変えたものとする（ステップＳ２１）。この場合、配信者Ｔ１１が南から西の方向へ向きを変えたことにより、全天球カメラ１４の正面方向も南から西の方向へ回転する。端末座標系が時計回りに回転するため、オブジェクトＯＢ１１の方向の映像を視聴していた視聴者Ｕ１１の視聴者端末２０１にオブジェクトＯＢ１１の方向の映像が表示されなくなる。なお、配信者Ｔ１１が南から西の方向へ９０度向きを変えたため、オブジェクトＯＢ１３の方向の映像が視聴者端末２０１に表示される。このため、視聴者Ｕ１１は、「あれ？タワーはどこ？」となってしまう。
【0064】
図１０の例を用いて具体的に説明する。図１０で説明したように、全天球カメラ１４の正面方向は、ビューワ座標系ＡＸ１３の下方向（全天球画像が展開される球面の南半球方向）に対応するものとする。すなわち、全天球カメラ１４の正面方向が南から西の方向へ回転した場合には、全天球カメラ１４によって撮像された西方向の映像が、ビューワ座標系ＡＸ１３の下方向に展開されることとなる。この場合、視聴者Ｕ１１によって指定されている方向がビューワ座標系ＡＸ１３の下方向であるため、視聴者端末２０１にはオブジェクトＯＢ１３の方向の映像が送信され、視聴者Ｕ１１は、オブジェクトＯＢ１３の方向の映像を視聴することとなる。
【0065】
なお、図１１の例において、同時刻、オブジェクトＯＢ１３の方向の映像を視聴していた視聴者Ｕ１２の視聴者端末２０２にオブジェクトＯＢ１３の方向の映像が表示されなくなり、オブジェクトＯＢ１２の方向の映像が視聴者端末２０２に表示される。このため、視聴者Ｕ１２は、「ラーメン屋が見えなくなった」となってしまう。
【0066】
このように、視聴者が特定の方向の映像を視聴し続けるための視野固定がない場合、端末座標系の回転によって、撮像方向の変化に応じた方向の映像が表示されてしまうため、視界が回転したかのような体験を視聴者に与えてしまう。
【0067】
【0068】
図１２では、ステップＳ２１によって、全天球カメラ１４の撮像方向の変化を打ち消すように全天球カメラ１４の撮像方向の変化と反対方向（反時計回り）に回転させた後の第２の全天球画像のうち、第１の表示領域の方向の領域を第２の表示領域として決定することで、特定の方向の映像が表示され続ける。例えば、視聴者端末２０１には、オブジェクトＯＢ１１の方向の映像が表示され続ける。このため、視聴者Ｕ１１は、オブジェクトＯＢ１１に「いつかいってみたいな」と思いを募らせながら視聴することができる。
【0069】
また、オブジェクトＯＢ１３の方向の映像を視聴していた視聴者Ｕ１２の視聴者端末２０２には、オブジェクトＯＢ１３の方向の映像が表示され続ける。このため、視聴者Ｕ１１は、オブジェクトＯＢ１３の「ここのラーメンはおいしそう」と想像を膨らませながら視聴することができる。
【0070】
この点について、図１３を用いて詳細に説明する。
【0071】
まず、図１３の説明の前提として、視聴者Ｕ１１は、図９に示した南の方向（オブジェクトＯＢ１１が存在する方向）の視聴を希望したものとする。すなわち、視聴者Ｕ１１に指定された方向は、物理空間座標系において南の方向に該当し、図１０に示したビューワ座標系ＡＸ１３において下方向（表示領域を示した領域）に該当する。この場合、全天球カメラ１４の正面が南方向を向いている限りは、ビューワ座標系ＡＸ１３の下方向には、視聴者Ｕ１１が視聴したい映像が展開される。このため、決定部１２２は、図１０に示した例のように、ビューワ座標系ＡＸ１３に展開された全天球画像（第１の全天球画像に対応する）のうち、視聴者に指定された方向に対応する領域を表示領域（第１の表示領域に対応）として決定する。このように、視聴者に視聴方向を指定された時点における全天球カメラ１４の撮像方向（第１の撮像方向に対応）と同じ方向で全天球カメラ１４が撮像している場合には、決定部１２２は、ビューワ座標系ＡＸ１３に展開された全天球画像のうち、指定情報に対応する領域を表示領域として決定すれば、視聴者の希望する方向の映像を表示領域として決定することができる。
【0072】
続いて、図１２に示した例のように、全天球カメラ１４の撮像方向が回転したものとする。すなわち、視聴者に視聴方向を指定された時点における全天球カメラ１４の撮像方向（第１の撮像方向に対応）と異なる撮像方向（第２の撮像方向に対応）で全天球カメラ１４の撮像方向により撮像されたものとする。この場合、図１３の左側に示した例のように、第２の撮像方向で撮像された全天球画像（第２の全天球画像に対応）は、全天球カメラ１４の回転に応じて、ビューワ座標系ＡＸ１３において回転して展開される。具体的には、図１３の左例に示した全天球画像は、図１０に示した全天球画像と比較して、方向Ｒ２に９０度回転してビューワ座標系ＡＸ１３に展開される。
【0073】
そこで、第１の撮像方向から第２の撮像方向への変化情報である全天球カメラ１４の回転方向及び回転量に基づいて、図１３の左側に示した全天球画像を、ビューワ座標系において回転させる。具体的には、決定部１２２は、図１３の真ん中に示すように、全天球カメラ１４の回転に応じた全天球画像の方向Ｒ２への回転を打ち消すように、方向Ｒ１へ全天球画像を回転させる。
【0074】
そして、決定部１２２は、図１３の右側に示すように、回転させた後の全天球画像のうち、視聴者によって指定された方向に対応する領域を表示領域（メッシュ部分）として決定する。このとき、決定部１２２は、表示領域に対応する全天球画像の座標情報を特定する。これにより、送信部１２３により、表示領域に対応する座標情報が視聴者端末２０へ送信される。なお、ここでいう表示領域に対応する全天球画像の座標情報とは、ビューワ座標系における座標ではなく、上記で説明した全天球画像の座標（ｘ１、ｙ１、ｚ１）等である。
【0075】
〔５．情報処理のフロー〕
次に、図１４を用いて、実施形態に係る情報処理システム１による情報処理の手順について説明する。図１４は、実施形態に係る情報処理システム１による情報処理の手順を示すフローチャートである。
次に、図１４を用いて、実施形態に係る情報処理システム１による情報処理の手順について説明する。図１４は、実施形態に係る情報処理システム１による情報処理の手順を示すフローチャートである。
【0076】
図１４に示すように、情報処理装置１００は、全天球カメラ１４の撮像方向の変化に関する変化情報を取得する（ステップＳ１０１）。
【0077】
情報処理装置１００は、全天球カメラ１４により第１の撮像方向で撮像された第１の全天球画像のうち、視聴者に指定された方向に対応する領域を第１の表示領域として決定する（ステップＳ１０２）。
【0078】
情報処理装置１００は、全天球カメラ１４により第１の撮像方向と異なる第２の撮像方向で撮像された場合に、第１の撮像方向から第２の撮像方向への変化に関する変化情報に基づいて、第２の撮像方向に対応する第２の全天球画像のうち、第１の全天球画像の第１の表示領域に対応する領域を第２の表示領域として決定する（ステップＳ１０３）。
【0079】
〔６．変形例〕
上述した実施形態に係る情報処理システム１は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下では、情報処理システム１の他の実施形態について説明する。
上述した実施形態に係る情報処理システム１は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下では、情報処理システム１の他の実施形態について説明する。
【0080】
上記実施形態では、情報処理装置１００が、回転後の第２の全天球画像を視聴者端末２０に送信し、視聴者端末２０が、受信した第２の全天球画像のうち、第２の表示領域に対応する画像を切り出して映像を表示させる場合を示したが、この例に限られない。例えば、情報処理装置１００は、回転後の第２の全天球画像のうち、第２の表示領域に基づいて切り出された画像を視聴者端末２０に送信してもよい。そして、リアルタイムで切り出された画像を情報処理装置１００が送信し続けることにより、視聴者端末２０に、第２の表示領域に対応する映像が表示され続けるようにしてもよい。
【0081】
上記実施形態では、情報処理装置１００と視聴者端末２０とが別装置である場合を示したが、情報処理装置１００と視聴者端末２０とが一体であってもよい。この場合、視聴者端末２０は、配信者端末１０を介して配信された全天球画像を受信する。そして、視聴者端末２０は、ジャイロ値に応じて全天球カメラ１４の回転を打ち消すように全天球カメラ１４の回転と反対方向に第２の全天球画像を回転させる。そして、視聴者端末２０は、回転後の第２の全天球画像のうち、第２の表示領域に基づいて切り出された画像を表示させる。なお、リアルタイムで全天球画像を配信者端末１０が配信し続けることにより、視聴者端末２０に、第２の表示領域に対応する映像が表示され続けるようにしてもよい。
【0082】
上記実施形態では、配信者端末１０と全天球カメラ１４とが一体である場合を示したが、この例に限られない。例えば、配信者端末１０と全天球カメラ１４とが一体でない場合には、全天球カメラ１４は、配信者端末１０とは別に、配信者に装着されるものとする。この場合、全天球カメラ１４の装着位置（物理的配置）は固定されるものとする。
【0083】
上記実施形態では、配信者端末１０とジャイロセンサ１５とが一体である場合を示したが、この例に限られない。例えば、配信者端末１０とジャイロセンサ１５とが一体でない場合には、ジャイロセンサ１５は、配信者端末１０とは別に、配信者に装着されるものとする。この場合、ジャイロセンサ１５の装着位置は固定されるものとする。
【0084】
上記実施形態では、配信者端末１０を利用する配信者が人である場合を示したが、全天球カメラ１４とジャイロセンサ１５とが接続可能な移動体であれば、配信者は人に限定されないものとする。例えば、配信者は、ロボットや車等であってもよい。なお、配信者が人でなくものである場合には、配信者と配信者端末１０とが一体であってもよい。この場合、上記実施形態に係る撮像方向の変化を、進行方向の変化と読み替えることもできるものとする。
【0085】
〔７．効果〕
上述してきたように、実施形態に係る情報処理装置１００は、取得部１２１と、決定部１２２とを有する。取得部１２１は、移動体に設けられた全天球カメラ１４の撮像方向の変化に関する変化情報を取得する。決定部１２２は、全天球カメラ１４により第１の撮像方向で撮像された第１の全天球画像のうち、視聴者に指定された方向に対応する領域を第１の表示領域として決定する。また、決定部１２２は、全天球カメラ１４により第１の撮像方向と異なる第２の撮像方向で撮像された場合に、第１の撮像方向から第２の撮像方向への変化に関する変化情報に基づいて、第２の撮像方向に対応する第２の全天球画像のうち、第１の全天球画像の第１の表示領域に対応する領域を第２の表示領域として決定する。
上述してきたように、実施形態に係る情報処理装置１００は、取得部１２１と、決定部１２２とを有する。取得部１２１は、移動体に設けられた全天球カメラ１４の撮像方向の変化に関する変化情報を取得する。決定部１２２は、全天球カメラ１４により第１の撮像方向で撮像された第１の全天球画像のうち、視聴者に指定された方向に対応する領域を第１の表示領域として決定する。また、決定部１２２は、全天球カメラ１４により第１の撮像方向と異なる第２の撮像方向で撮像された場合に、第１の撮像方向から第２の撮像方向への変化に関する変化情報に基づいて、第２の撮像方向に対応する第２の全天球画像のうち、第１の全天球画像の第１の表示領域に対応する領域を第２の表示領域として決定する。
【0086】
これにより、実施形態に係る情報処理装置１００は、全天球カメラ１４の撮像方向が変化しても、第２の全天球画像のうち、第１の全天球画像の第１の表示領域に対応する領域を第１の表示領域として決定することができるため、特定の方向の映像を視聴し続けたいといった視聴者の要望に応えることができる。
【0087】
また、決定部１２２は、第２の全天球画像のうち、全天球カメラが存在する物理空間座標系における第１の撮像方向の画像を第２の表示領域として決定する。
【0088】
これにより、実施形態に係る情報処理装置１００は、全天球カメラ１４の撮像方向が変化しても、第２の全天球画像のうち、第１の撮像方向の画像を物理空間座標系に基づいて特定することができるため、特定の方向の映像を視聴し続けたいといった視聴者の要望に応えることができる。
【0089】
また、決定部１２２は、第１の全天球画像のうち特定の方向の領域を第１の表示領域として決定し、第１の撮像方向から第２の撮像方向への変化と反対方向に回転させた後の第２の全天球画像のうち特定の方向の領域を第２の表示領域として決定する。
【0090】
これにより、実施形態に係る情報処理装置１００は、全天球カメラ１４の撮像方向の変化に応じて、撮像方向の変化と反対方向に回転させることができるため、ビューワ座標系を物理空間座標系に対して固定することができ、この結果、特定の方向の映像を視聴し続けたいといった視聴者の要望に応えることができる。
【0091】
また、決定部１２２は、全天球カメラ１４により撮像される映像のフレーム毎に、変化情報に基づいて、各フレームに対応する全天球画像のうち表示領域を決定する。
【0092】
これにより、実施形態に係る情報処理装置１００は、映像のフレーム毎に表示領域を決定することができるため、全天球カメラ１４の撮像方向が変化しても、フレーム毎に上記実施形態に係る処理を行うことができ、この結果、特定の方向の映像を視聴し続けたいといった視聴者の要望に応えることができる。
【0093】
〔８．ハードウェア構成〕
また、上述してきた実施形態に係る情報処理装置１００は、例えば図１５に示すような構成のコンピュータ１０００によって実現される。図１５は、情報処理装置１００の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を備える。
また、上述してきた実施形態に係る情報処理装置１００は、例えば図１５に示すような構成のコンピュータ１０００によって実現される。図１５は、情報処理装置１００の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を備える。
【0094】
ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
【0095】
ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス１５００は、所定の通信網を介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータを所定の通信網を介して他の機器へ送信する。
【0096】
ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、生成したデータを入出力インターフェイス１６００を介して出力装置へ出力する。
【0097】
メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラムまたはデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
【0098】
例えば、コンピュータ１０００が情報処理装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１３０の機能を実現する。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置から所定の通信網を介してこれらのプログラムを取得してもよい。
【0099】
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
【0100】
〔９．その他〕
また、上記実施形態及び変形例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
また、上記実施形態及び変形例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
【0101】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
【0102】
また、上述してきた実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【0103】
また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、特定部は、特定手段や特定回路に読み替えることができる。
【符号の説明】
【0104】
１ 情報処理システム
１０ 配信者端末
２０ 視聴者端末
１００ 情報処理装置
１１０ 通信部
１２１ 取得部
１２２ 決定部
１２３ 送信部
Ｎ ネットワーク
１０ 配信者端末
２０ 視聴者端末
１００ 情報処理装置
１１０ 通信部
１２１ 取得部
１２２ 決定部
１２３ 送信部
Ｎ ネットワーク
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】