特許7400195画像通信システム、撮像装置、通信端末、モード切替方法、プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-11
(45)【発行日】2023-12-19
(54)【発明の名称】画像通信システム、撮像装置、通信端末、モード切替方法、プログラム
(51)【国際特許分類】
H04N 7/15 20060101AFI20231212BHJP
H04M 3/56 20060101ALI20231212BHJP
G06T 19/00 20110101ALI20231212BHJP
【ＦＩ】
H04N7/15
H04M3/56 C
G06T19/00 A
【請求項の数】
13
(21)【出願番号】P 2019044187
(22)【出願日】2019-03-11
(65)【公開番号】P2020150330
(43)【公開日】2020-09-17
【審査請求日】2021-12-23
(73)【特許権者】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】相川 智慎
(72)【発明者】
【氏名】森田 健一郎
(72)【発明者】
【氏名】安中 英邦
(72)【発明者】
【氏名】本間 毅史
(72)【発明者】
【氏名】曽根田 拓也
(72)【発明者】
【氏名】城 英樹
(72)【発明者】
【氏名】武田 貴文
【審査官】富樫 明
(56)【参考文献】
【文献】特開２００９－１７１２７２（ＪＰ，Ａ）
【文献】特開２０１４－１３１２１５（ＪＰ，Ａ）
【文献】特開２０１８－０６１２４３（ＪＰ，Ａ）
【文献】特開２０１８－０５６９３０（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ７／１４－７／１５
Ｈ０４Ｍ ３／５６
Ｇ０６Ｔ １９／００
(57)【特許請求の範囲】
【請求項1】
撮像装置が撮像した画像を、第一の通信端末からネットワークを介して受信した第二の通信端末が画面に表示する画像通信システムであって、前記撮像装置又は前記第一の通信端末は、
前記画像の閲覧に関するモードを、表示できる所定領域を制限するモードに切り替える操作を受け付けるモード受付部と、
前記モード受付部が前記画像の閲覧に関するモードを前記表示できる所定領域を制限するモードに切り替える操作を受け付けた場合、前記第二の通信端末が画面に表示する前記画像の前記所定領域に関する第一の所定領域情報を前記第二の通信端末に送信する送信部と、有し、
前記第二の通信端末は、
前記第一の所定領域情報及び前記画像を受信する受信部と、
前記受信部が受信した前記第一の所定領域情報で決定される前記画像の前記所定領域を画面に表示する表示制御部と、を有し、
前記撮像装置は、前記撮像装置の姿勢情報を取得することで特定した前記撮像装置が指し示す方向を前記第一の所定領域情報として取得することを特徴とする画像通信システム。
【請求項2】
前記モード受付部が前記画像の閲覧に関するモードを、前記表示できる所定領域を制限するモードに切り替える操作を受け付けた場合、前記送信部は、前記第一の所定領域情報、及び、前記第一の所定領域情報に基づいて決定される、前記表示できる所定領域を制限するモードである旨を前記第二の通信端末に送信し、前記表示制御部は、前記第一の所定領域情報に基づいて決定される、前記表示できる所定領域を制限するモードである旨を受信した場合に、前記第一の所定領域情報で決定される前記画像の前記所定領域を画面に表示することを特徴とする請求項１に記載の画像通信システム。
【請求項3】
前記表示制御部は、前記受信部が、前記第一の所定領域情報を受信しない場合、前記第二の通信端末のユーザが決定した所定領域を画面に表示することを特徴とする請求項２に記載の画像通信システム。
【請求項4】
前記第二の通信端末は第二の所定領域情報を送信する他の通信端末と前記所定領域を共有しており、前記受信部は、前記第一の通信端末から前記第一の所定領域情報、前記画像及び優先度を受信し、
前記他の通信端末から前記第二の所定領域情報及び優先度を受信し、
前記表示制御部は、前記第一の所定領域情報と前記第二の所定領域情報のうち前記優先度が高い方に基づいて前記画像の所定領域を画面に表示することを特徴とする請求項１～３のいずれか１項に記載の画像通信システム。
【請求項5】
前記第一の通信端末は、前記第一の通信端末が画面に表示した前記画像に対する操作で決定された前記所定領域に基づいて前記第一の所定領域情報を決定することを特徴とする請求項１～４のいずれか１項に記載の画像通信システム。
【請求項6】
前記撮像装置は、前記画像における注目点を定義する注目点定義部と、
前記撮像装置の姿勢情報を取得する姿勢情報取得部と、
前記姿勢情報取得部が取得した前記姿勢情報に応じて、前記注目点定義部が定義した注目点を前記第一の所定領域情報に変換する注目点変換部と、を有することを特徴とする請求項１に記載の画像通信システム。
【請求項7】
前記姿勢情報取得部が取得した前記姿勢情報を用いて画像の天頂補正に関する処理を行う天頂補正部を有し、前記注目点変換部は、前記天頂補正部による天頂補正の結果を用いて、前記注目点定義部が定義した注目点を変換することを特徴とする請求項６に記載の画像通信システム。
【請求項8】
前記天頂補正部は、撮像素子の座標値を球面座標系の座標値に変換する変換テーブルに、前記姿勢情報を用いて天頂補正を施し、 前記注目点変換部は前記注目点定義部が定義した注目点を撮像素子の座標値とし、前記姿勢情報で天頂補正が施された変換テーブルを用いて、前記注目点定義部が定義した注目点を球面座標系の座標値に変換することを特徴とする請求項７に記載の画像通信システム。
【請求項9】
前記天頂補正は、前記撮像装置の姿勢に関わらず、前記画像の上側に実空間の上側が写るように補正するものであり、前記撮像装置の長手方向の上側が指し示す対象が写る撮像素子の座標値を、前記注目点定義部が前記注目点として定義することを特徴とする請求項７又は８に記載の画像通信システム。
【請求項10】
第二の通信端末に対し撮像した画像を送信する撮像装置であって、前記画像の閲覧に関するモードを、表示できる所定領域を制限するモードに切り替える操作を受け付けるモード受付部と、
前記モード受付部が前記画像の閲覧に関するモードを、前記表示できる所定領域を制限するモードに切り替える操作を受け付けた場合、前記第二の通信端末が画面に表示する前記画像の所定領域に関する第一の所定領域情報を前記第二の通信端末に送信する送信部と、
を有し、
前記撮像装置は、前記撮像装置の姿勢情報を取得することで特定した前記撮像装置が指し示す方向を前記第一の所定領域情報として取得することを特徴とする撮像装置。
【請求項11】
撮像装置の姿勢情報を取得することで特定した前記撮像装置が指し示す方向を第一の所定領域情報として取得する撮像装置が撮像した画像を第二の通信端末に送信する通信端末であって、前記画像の閲覧に関するモードを、表示できる所定領域を制限するモードに切り替える操作を受け付けるモード受付部と、
前記モード受付部が前記画像の閲覧に関するモードを、前記表示できる所定領域を制限するモードに切り替える操作を受け付けた場合、前記第二の通信端末が画面に表示する前記画像の所定領域に関する前記第一の所定領域情報を前記第二の通信端末に送信する送信部と、
有することを特徴とする通信端末。
【請求項12】
撮像装置が撮像した画像を、第一の通信端末からネットワークを介して受信した第二の通信端末が画面に表示する画像通信システムが行うモード切替方法であって、前記撮像装置又は前記第一の通信端末において、
モード受付部が、前記画像の閲覧に関するモードを、表示できる所定領域を制限するモードに切り替える操作を受け付けるステップと、
前記モード受付部が前記画像の閲覧に関するモードを、前記表示できる所定領域を制限するモードに切り替える操作を受け付けた場合、送信部が、前記第二の通信端末が画面に表示する前記画像の所定領域に関する第一の所定領域情報を前記第二の通信端末に送信するステップと、有し、
前記第二の通信端末において、
受信部が、前記第一の所定領域情報及び前記画像を受信するステップと、
表示制御部が、前記受信部が受信した前記第一の所定領域情報で決定される前記画像の前記所定領域を画面に表示するステップと、を有し、
前記撮像装置は、前記撮像装置の姿勢情報を取得することで特定した前記撮像装置が指し示す方向を前記第一の所定領域情報として取得することを特徴とするモード切替方法。
【請求項13】
第二の通信端末に撮像した画像を送信する撮像装置を、前記画像の閲覧に関するモードを、表示できる所定領域を制限するモード切り替える操作を受け付けるモード受付部と、
前記モード受付部が前記画像の閲覧に関するモードを、前記表示できる所定領域を制限するモードに切り替える操作を受け付けた場合、前記第二の通信端末が画面に表示する前記画像の所定領域に関する第一の所定領域情報を前記第二の通信端末に送信する送信部、
として機能させ、
前記撮像装置は、前記撮像装置の姿勢情報を取得することで特定した前記撮像装置が指し示す方向を前記第一の所定領域情報として取得するためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像通信システム、撮像装置、通信端末、モード切替方法、及び、プログラムに関する。
【背景技術】
【0002】
インターネット等の通信ネットワークを介して、遠隔地との間で映像を送受信する画像通信システムが普及している。画像通信システムにおいては、遠隔会議を行う出席者等の当事者の一方がいる会議室において、遠隔会議システムの通信端末を用いて会議の当事者などの会議室の画像及び発言などの音声を撮像及び収集し、これらをデジタルデータに変換して相手方の通信端末に送信している。これにより、相手方の会議室のディスプレイに画像表示及びスピーカにより音声出力して、映像通話（ビデオ通話）を行うことができるため、実際の会議に近い状態で遠隔地間の会議を行うことができる（特許文献１参照）。
【0003】
また、通信端末に周囲３６０度を撮像可能な全天球画像をリアルタイムに取得可能な撮像装置を接続し、この撮像装置から取得された全天球画像を相手方の各通信端末に送信し、相手方の各通信端末において、全天球画像の一部である所定領域を示す所定領域画像をディスプレイ等に表示する技術が知られている（特許文献２参照）。これにより、各拠点の利用者は、全天球画像の全体画像のうちで自分が気になる所定領域を独自に決めて表示することができる。
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来の画像通信システムでは、所定領域を共有したり任意に表示したりする各拠点の通信端末のモードと、撮像者が注目させたい対象を各拠点の通信端末が表示するモードとを切り替えることができないという問題があった。すなわち、各拠点のユーザは例えば全天球画像の任意の所定領域を表示したり、操作権を取得したユーザが決定した所定領域を共有したりできる。これに対し、撮像者は撮像装置自体を移動させるなどして映像を変化させながら、特定の対象に注目して欲しいという意図を有する場合がある。しかし、各拠点のユーザが任意の所定領域を表示している状態では、撮像者が見せたい対象を各ユーザに見せることができなかった。
【0005】
本発明は、上記課題に鑑み、画像の表示に関する各拠点の通信端末のモードを切り替えることができる画像通信システム等を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記課題に鑑み、本発明は、撮像装置が撮像した画像を、第一の通信端末からネットワークを介して受信した第二の通信端末が画面に表示する画像通信システムであって、前記撮像装置又は前記第一の通信端末は、前記画像の閲覧に関するモードを、表示できる所定領域を制限するモードに切り替える操作を受け付けるモード受付部と、前記モード受付部が前記画像の閲覧に関するモードを前記表示できる所定領域を制限するモードに切り替える操作を受け付けた場合、前記第二の通信端末が画面に表示する前記画像の前記所定領域に関する第一の所定領域情報を前記第二の通信端末に送信する送信部と、有し、
前記第二の通信端末は、前記第一の所定領域情報及び前記画像を受信する受信部と、前記受信部が受信した前記第一の所定領域情報で決定される前記画像の前記所定領域を画面に表示する表示制御部と、を有し、前記撮像装置は、前記撮像装置の姿勢情報を取得することで特定した前記撮像装置が指し示す方向を前記第一の所定領域情報として取得することを特徴とする。
前記第二の通信端末は、前記第一の所定領域情報及び前記画像を受信する受信部と、前記受信部が受信した前記第一の所定領域情報で決定される前記画像の前記所定領域を画面に表示する表示制御部と、を有し、前記撮像装置は、前記撮像装置の姿勢情報を取得することで特定した前記撮像装置が指し示す方向を前記第一の所定領域情報として取得することを特徴とする。
【発明の効果】
【0007】
画像の表示に関する各拠点の通信端末のモードを切り替えることができる画像通信システム等を提供することができる。
【図面の簡単な説明】
【0008】
【図1】４つ拠点間で通信している画像通信システムの動作の概略を説明する図である。
【図2】（ａ）は撮像装置の左側面図であり、（ｂ）は撮像装置の正面図であり、（ｃ）は撮像装置の平面図である。
【図3】撮像装置の使用イメージ図である。
【図4】（ａ）は撮像装置で撮像された半球画像（前）、（ｂ）は撮像装置で撮像された半球画像（後）、（ｃ）はメルカトル図法により表された画像を示した図である。
【図5】（ａ）メルカトル画像で球を被う状態を示した概念図、（ｂ）全天球パノラマ画像を示した図である。
【図6】全天球パノラマ画像を３次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。
【図8】所定領域情報と所定領域Ｔの画像との関係を示した図である。
【図9】球座標による３次元ユークリッド空間内の点を示した図である。
【図10】本実施形態の画像通信システムの構成の概略図である。
【図11】撮像装置の一例のハードウェア構成図である。
【図12】通信端末３，４の一例のハードウェア構成図である
【図13】通信管理システムの一例のハードウェア構成図である。
【図14】通信端末１，２の一例のハードウェア構成図である。
【図15】画像通信システムの機能をブロック状に示す一例の機能ブロック図である（その１）。
【図16】画像通信システムの機能をブロック状に示す一例の機能ブロック図である（その２）。
【図17】モード管理テーブルを示す概念図である。
【図18】画像種類管理テーブルを示す概念図である。
【図19】撮像装置管理テーブルを示す概念図である。
【図20】所定領域管理テーブルを示す概念図である。
【図21】閲覧者ビュー情報テーブルを示す概念図である。
【図22】セッション管理テーブルを示す概念図である。
【図23】画像種類管理テーブルを示す概念図である。
【図24】所定領域情報管理テーブルを示す概念図である。
【図25】特定の通信セッションへの参加処理を示した一例のシーケンス図である。
【図26】通信セッション（仮想の会議室）の一例の選択画面を示した図である。
【図27】拠点Ａにおいて通信端末のディスプレイに表示された映像表示画面の一例を示す図である。
【図28】撮像装置の一例の座標軸を説明する図である。
【図29】基準となる撮像装置の姿勢の一例を説明する図である。
【図30】加速度・方位センサが検出する値の一例を説明する図である。
【図31】（ａ）は撮像者が対象を指し示す様子の概念図、（ｂ）は天頂補正なしに全天球画像が正距円筒図法で表された一例の正距円筒画像、（ｃ）は天頂補正ありに全天球画像が正距円筒図法で表された一例の正距円筒画像、である。
【図32】撮像装置が有する画像処理部の一例の機能ブロック図である。
【図33】一例の変換テーブル及び平面座標系から球面座標系への変換の一例を説明する図である。
【図34】姿勢情報に基づく変換テーブルの補正の一例を説明する図である。
【図35】画像回転部による一例の画像回転処理を模式的に示す図である。
【図36】映像通話における全天球画像及び音データの一例の通信処理を示すシーケンス図である。
【図37】モード切替トリガーの検出に応じて撮像者ビュー情報を送信する一例の送信手順を示すシーケンス図である。
【図38】通信端末においてモード切替トリガーが検出された場合の一例の送信手順を示すシーケンス図である。
【図39】撮像装置がモード切替トリガーを検出して、モードを切り替える一例の手順のフローチャート図である。
【図40】通信端末が撮像者ビュー情報の有無に応じて全天球画像を表示する一例の手順のフローチャート図である。
【図41】撮像者ビュー情報と撮像者ビューモードを通知する一例の送信手順を示すシーケンス図である。
【図42】拠点Ｂにおいて通信端末のディスプレイに表示された一例の映像表示画面を示す図である。
【図43】通信端末が優先度に従って所定領域画像を作成する一例の手順を示すシーケンス図である。
【発明を実施するための形態】
【0009】
以下、本発明を実施するための形態の一例として、画像処理システムと画像処理システムが行うモード切替方法について図面を参照しながら説明する。
【0010】
＜画像通信システムの動作の概略＞
まず、図１を用いて画像通信システム１０の動作の概略を説明する。図１は、４つ拠点間で通信している画像通信システム１０の動作の概略を説明する図である。拠点Ａでは撮像者８が全天球画像をリアルタイムに撮像して、通信ネットワーク１００を介して拠点Ｂ～Ｄに全天球画像を送信している。拠点Ｂ～Ｄも全天球画像又は画像を送信できる。音声データは送信してもしなくてもよい。全天球画像は静止画でもよいし動画のように繰り返し送信されてもよい。
まず、図１を用いて画像通信システム１０の動作の概略を説明する。図１は、４つ拠点間で通信している画像通信システム１０の動作の概略を説明する図である。拠点Ａでは撮像者８が全天球画像をリアルタイムに撮像して、通信ネットワーク１００を介して拠点Ｂ～Ｄに全天球画像を送信している。拠点Ｂ～Ｄも全天球画像又は画像を送信できる。音声データは送信してもしなくてもよい。全天球画像は静止画でもよいし動画のように繰り返し送信されてもよい。
【0011】
撮像者８は撮像装置５ａによる全天球画像の閲覧に関するモードを以下の２つのどちらかに切り替えることができる。
・自由視点モード（ユーザが任意に所定領域画像を変更できる）
・撮像者ビューモード（撮像者が送信した撮像者ビュー情報に所定領域画像が制限される）
図示するように、撮像者８が撮像者ビューモードにモードを切り替えると、通信端末１（第一の通信端末の一例）から全天球画像と共に撮像者ビュー情報（第一の所定領域情報の一例）が各拠点Ｂ～Ｄに送信される。拠点Ｂ～Ｄの通信端末２～４（第二の通信端末の一例）は全天球画像と撮像者ビュー情報を受信すると、それまで表示していた所定領域画像に関わりなく、撮像者ビュー情報で所定領域画像を生成して表示する。
・自由視点モード（ユーザが任意に所定領域画像を変更できる）
・撮像者ビューモード（撮像者が送信した撮像者ビュー情報に所定領域画像が制限される）
図示するように、撮像者８が撮像者ビューモードにモードを切り替えると、通信端末１（第一の通信端末の一例）から全天球画像と共に撮像者ビュー情報（第一の所定領域情報の一例）が各拠点Ｂ～Ｄに送信される。拠点Ｂ～Ｄの通信端末２～４（第二の通信端末の一例）は全天球画像と撮像者ビュー情報を受信すると、それまで表示していた所定領域画像に関わりなく、撮像者ビュー情報で所定領域画像を生成して表示する。
【0012】
また、撮像者ビュー情報で生成された所定領域画像は、少なくとも一定時間、閲覧者が変更できない。すなわち、強制的に撮像者ビュー情報で生成された所定領域画像が表示される。
【0013】
このように撮像者すなわち、画像の表示に関する各拠点の通信端末の動作を切り替えることができる。撮像者ビューモードではユーザが表示できる所定領域が撮像者ビュー情報に制限されるので、撮像者８は各拠点Ｂ～Ｄのユーザを、撮像者８が見せたい対象に注目させることができる。また、通信端末２～４が撮像者ビュー情報を受信しなければ自由視点モードでユーザが任意に全天球画像の所定領域を変更できるので、撮像者８が見せたい対象がある場合にのみ、撮像者ビューモードにして対象に注目させることができる。
【0014】
＜用語について＞
画像の閲覧に関するモードとは、閲覧者が所定領域を決定する自由度に関するモードである。本実施形態では、自由視点モードと撮像者ビューモードという用語で説明される。
画像の閲覧に関するモードとは、閲覧者が所定領域を決定する自由度に関するモードである。本実施形態では、自由視点モードと撮像者ビューモードという用語で説明される。
【0015】
【0016】
まず、図２を用いて、撮像装置５ａの外観を説明する。撮像装置５ａは、３次元の全天球（３６０°）画像の元になる撮像画像を得るためのデジタルカメラである。なお、図２（ａ）は撮像装置５ａの左側面図であり、図２（ｂ）は撮像装置５ａの正面図であり、図２（ｃ）は撮像装置５ａの平面図である。
【0017】
図２（ａ）に示されているように、撮像装置５ａは、人間が片手で持つことができる大きさである。また、図２（ａ），図２（ｂ），図２（ｃ）に示されているように、撮像装置５ａの上部には、正面側（前側）に撮像素子１０３ａ及び背面側（後側）に撮像素子１０３ｂが設けられている。これら撮像素子（画像センサ）１０３ａ，１０３ｂは、半球画像（画角１８０°以上）の撮像が可能な光学部材（例えば、後述する図１１の魚眼レンズ１０２ａ，１０２ｂ）と併せて用いられる。また、図２（ｂ）に示されているように、撮像装置５ａの正面側と反対側の面には、シャッターボタン等の操作部１１５が設けられている。
【0018】
次に、図３を用いて、撮像装置５ａの使用状況を説明する。なお、図３は、撮像装置の使用イメージ図である。撮像装置５ａは、図３に示されているように、例えば、ユーザが手に持ってユーザの周りの被写体を撮像するために用いられる。この場合、図２に示されている撮像素子１０３ａ及び撮像素子１０３ｂによって、それぞれユーザの周りの被写体が撮像されることで、２つの半球画像を得ることができる。
【0019】
次に、図４及び図５を用いて、撮像装置５ａで撮像された画像から全天球画像が作成されるまでの処理の概略を説明する。なお、図４（ａ）は撮像装置で撮像された半球画像（前側）、図４（ｂ）は撮像装置で撮像された半球画像（後側）、図４（ｃ）は正距円筒図法により表された画像（以下、「正距円筒画像」という）を示した図である。図５（ａ）は正距円筒画像で球を被う状態を示した概念図、図５（ｂ）は全天球画像を示した図である。
【0020】
図４（ａ）に示されているように、撮像素子１０３ａによって得られた画像は、後述の魚眼レンズ１０２ａによって湾曲した半球画像（前側）となる。また、図４（ｂ）に示されているように、撮像素子１０３ｂによって得られた画像は、後述の魚眼レンズ１０２ｂによって湾曲した半球画像（後側）となる。そして、半球画像（前側）と、１８０度反転された半球画像（後側）とは、撮像装置５ａによって合成され、図４（ｃ）に示されているように、正距円筒画像が作成される。
【0021】
そして、OpenGL ES（Open Graphics Library for Embedded Systems）が利用されることで、図５（ａ）に示されているように、正距円筒画像が球面を覆うように貼り付けられ、図５（ｂ）に示されているような全天球画像が作成される。このように、全天球画像は、正距円筒画像が球の中心を向いた画像として表される。なお、OpenGL ESは、２Ｄ(2－Dimensions)及び３Ｄ(3－Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。なお、全天球画像は、静止画であっても動画であってもよい。
【0022】
以上のように、全天球画像は、球面を覆うように貼り付けられた画像であるため、人間が見ると違和感を持ってしまう。そこで、全天球画像の一部の所定領域（以下、「所定領域画像」という）を湾曲の少ない平面画像として表示することで、人間に違和感を与えない表示をすることができる。これに関して、図６及び図７を用いて説明する。
【0023】
なお、図６は、全天球画像を三次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。仮想カメラＩＣは、三次元の立体球として表示されている全天球画像ＣＥに対して、その画像を見るユーザの視点の位置に相当するものである。また、図７（ａ）は図６の立体斜視図、図７（ｂ）はディスプレイに表示された場合の所定領域画像を表す図である。また、図７（ａ）では、図６に示されている全天球画像ＣＥが、三次元の立体球ＣＳで表されている。このように生成された全天球画像ＣＥが、立体球ＣＳであるとすると、図６に示されているように、仮想カメラＩＣが全天球画像ＣＥの内部に位置している。全天球画像ＣＥにおける所定領域Ｔは、仮想カメラＩＣの撮像領域であり、全天球画像ＣＥを含む三次元の仮想空間における仮想カメラＩＣの撮像方向と画角を示す所定領域情報によって特定される。
【0024】
そして、図７（ａ）に示されている所定領域Ｔは、図７（ｂ）に示されているように、所定のディスプレイに、仮想カメラＩＣの撮像領域の画像として表示される。図７（ｂ）に示されている画像は、例えば初期設定された所定領域情報によって表された所定領域画像である。なお、所定領域情報は、仮想カメラＩＣの位置座標ではなく、所定領域Ｔである仮想カメラＩＣの撮像領域（Ｘ，Ｙ，Ｚ）によって示してもよい。以下では、仮想カメラＩＣの撮像方向（ｒＨ，ｒＶ）と画角（α）を用いて説明する。
【0025】
図８を用いて、所定領域情報と所定領域Ｔの画像の関係について説明する。なお、図８は、所定領域情報と所定領域Ｔの画像の関係との関係を示した図である。図８に示されているように、ｒＨはHorizontal Radian、ｒＶはVertical Radian、αは画角(Angle)を示す。即ち、撮像方向（ｒＨ，ｒＶ）で示される仮想カメラＩＣの注視点が、仮想カメラＩＣの撮像領域である所定領域Ｔの中心点ＣＰとなるように、仮想カメラＩＣの姿勢を変更することになる。所定領域画像Ｑは、全天球画像ＣＥにおける所定領域Ｔの画像である。ｆは仮想カメラＩＣから中心点ＣＰまでの距離である。Ｌは所定領域Ｔの任意の頂点と中心点ＣＰとの距離である（２Ｌは対角線）。そして、図８では、一般的に以下の式（Ａ）で示される三角関数が成り立つ。
【0026】
Ｌｆ＝ｔａｎ（α／２） ・・・（Ａ）
図９は、球座標による３次元ユークリッド空間内の点を示した図である。中心点ＣＰを球面座標系で表現したときの位置座標を（ｒ、θ、φ）とする。（ｒ、θ、φ）は、それぞれ動径、極角、方位角である。動径ｒは、全天球画像を含む三次元の仮想空間の原点から中心点ＣＰまでの距離であるため、ｆに等しい。図９は、これらの関係を表した図である。以降、中心点を位置座標（ｒ，θ、φ）を用いて説明する。
図９は、球座標による３次元ユークリッド空間内の点を示した図である。中心点ＣＰを球面座標系で表現したときの位置座標を（ｒ、θ、φ）とする。（ｒ、θ、φ）は、それぞれ動径、極角、方位角である。動径ｒは、全天球画像を含む三次元の仮想空間の原点から中心点ＣＰまでの距離であるため、ｆに等しい。図９は、これらの関係を表した図である。以降、中心点を位置座標（ｒ，θ、φ）を用いて説明する。
【0027】
【0028】
図１０に示されているように、本実施形態の画像通信システム１０は、拠点Ａ～拠点Ｄに配置された各通信端末１～４がインターネット等の通信ネットワーク１００を介して通信して、各拠点の通信端末１～４が映像を共有することができる。拠点Ａには撮像装置５ａと通信端末１が配置されており、拠点Ｂには通信端末２と撮像装置５ｂが配置されており、拠点Ｃには撮像装置５ｃ、通信端末３，及び、ディスプレイ６ｃが配置されており、拠点Ｄには通信端末４とディスプレイ６ｄが配置されている。
【0029】
撮像装置５ａ，５ｃは、上記のように、被写体や風景等を撮像して全天球画像の元になる２つの半球画像を得るための特殊なデジタルカメラである。一方、撮像装置５ｂは、被写体や風景等を撮像して一般の平面画像を得るための一般のデジタルカメラである。
【0030】
通信端末３、４はビデオ会議専用のビデオ会議端末であり、ＵＳＢ(Universal Serial Bus)ケーブル等の有線ケーブルを介して映像通話（ビデオ通話）の画像を、それぞれディスプレイ６ｃ，６ｄに表示する。通信端末３，４は、通常は後述の図１２のカメラ３１２でユーザ等を撮像するが、撮像装置５ｃを取り付けるクレードル７に有線ケーブルで接続されると撮像装置５ｃが優先され、全天球画像を得ることができる。有線ケーブルを利用する場合、クレードル７は、撮像装置５ｃと通信端末３との間の通信を行うだけでなく、撮像装置５ｃに電源供給及び撮像装置５ｃを支える役割を果たす。
【0031】
通信端末１，２はビデオ会議用のアプリケーションソフトを動作させることで他の拠点と通信する汎用的な情報処理装置である。通信端末１は例えば、ノートＰＣ（Personal Computer）、携帯電話、スマートフォン、タブレット端末、カーナビ、ゲーム機、ＰＤＡ（Personal Digital Assistant）、ウェアラブルＰＣ又はデスクトップＰＣ等である。しかし、これらには限られない。
【0032】
通信端末１は、自装置に設けられた後述のディスプレイ９１７に映像通話の画像を表示する。通信端末１は、通常は自装置に設けられた後述のＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサ９０５等で撮像するが、Wi－Fi(Wireless Fidelity)やBluetooth（登録商標）等の無線通信技術を利用して、撮像装置５ａで得られた全天球画像を取得することができる。
【0033】
通信端末２は、自装置に設けられた後述のディスプレイ９１７に映像通話の画像を表示する。通信端末２は、外付けされた撮像装置５ｂでユーザ等を撮像する。
【0034】
また、通信端末１～４には、OpenGL ESがインストールされており、全天球画像の一部の領域を示す所定領域情報を作成したり、他の通信端末から送られて来た全天球画像から所定領域画像を作成したりすることができる。従って、各通信端末１～４は全天球画像から切り出した所定領域画像を表示できる。
【0035】
拠点Ａには、少なくとも一人の撮像者８が存在し、撮像装置５ａを手に把持したり棒状部材に取り付けたりして保持している。撮像者８は撮像装置５ａと共に移動することができる。また、通信端末１は、撮像装置５ａ～５ｃ及び通信端末４のカメラ３１２が撮像する映像をディスプレイ９１７に表示する。
【0036】
拠点Ｂには一人のユーザ９ｂが存在し、通信端末２は撮像装置５ａ～５ｃ及び通信端末４のカメラ３１２が撮像する映像をディスプレイ９１７に表示する。拠点Ｂのユーザ９ｂは、撮像者８により指定された注目点に注目するユーザの一人である。ただし、ユーザの人数は一例である。
【0037】
拠点Ｃには二人のユーザ９ｃ１，９ｃ２が存在し、通信端末３は撮像装置５ａ～５ｃ及び通信端末４のカメラ３１２が撮像する映像をディスプレイ６ｃに表示する。拠点Ｃのユーザ９ｃ１，９ｃ２は、撮像者８により指定された注目点に注目するユーザの一人である。ただし、ユーザの人数は一例である。
【0038】
拠点Ｄには一人のユーザ９ｄが存在し、通信端末４は撮像装置５ａ～５ｃ及び通信端末４のカメラ３１２が撮像する映像をディスプレイ６ｄに表示する。拠点Ｄのユーザ９ｄは、撮像者８により指定された注目点に注目するユーザの一人である。ただし、ユーザの人数は一例である。
【0039】
通信管理システム５０は、通信端末１～４の通信を管理及び制御する。よって、通信管理システム５０は通信制御システムでもある。なお、通信管理システム５０は、ビデオ通信のサービスを行うサービス会社等に設置されている。また、通信管理システム５０は、単一のコンピュータによって構築されてもよいし、各部（機能、手段、又は記憶部）を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。
【0040】
なお、図１０に示した、拠点数、各拠点に配置される通信端末１～４の種類、撮像装置５ａ～５ｃの種類、及び、ユーザの人数は一例であり、本実施形態では、拠点Ａと他の１つの拠点があればよい。また、拠点Ｂは撮像装置５ｂを有していなくてもよく、拠点Ａから送信される全天球画像を表示できればよい。
【0041】
また、拠点Ａの撮像装置５ａと通信端末１は一体でもよい。つまり、撮像装置５ａが通信ネットワーク１００に接続する機能を有していれば、通信端末１はなくてよい。この場合、撮像装置５ａが通信端末１となる。本実施形態では、撮像者８が撮像装置５ａだけで注目点を指定できるためである。しかし、通信端末１があることで、撮像者８は通信端末１を操作して注目点を指定できる。また、通信端末１は拠点Ａの撮像装置５ａと通信せずに記憶媒体を介して全天球画像と注目点座標を受信してもよい。
【0042】
以降、撮像装置５ａ～５ｃのうち任意の撮像装置を表す場合には、「撮像装置５」として表す。更に、ディスプレイ６ｃ，６ｄのうち任意のディスプレイを表す場合には、「ディスプレイ６」として表す。
【0043】
＜＜実施形態のハードウェア構成＞＞
次に、図１１～図１４を用いて、本実施形態の撮像装置５ａ、５ｃ、通信端末１～４、通信管理システムのハードウェア構成を詳細に説明する。なお、撮像装置５ｃは、一般のカメラであるため、詳細な説明は省略する。
次に、図１１～図１４を用いて、本実施形態の撮像装置５ａ、５ｃ、通信端末１～４、通信管理システムのハードウェア構成を詳細に説明する。なお、撮像装置５ｃは、一般のカメラであるため、詳細な説明は省略する。
【0044】
＜撮像装置５ａ、５ｃのハードウェア構成＞
まず、図１１を用いて、撮像装置５ａ、５ｃのハードウェア構成を説明する。図１１は、撮像装置５ａ、５ｃのハードウェア構成図である。以下では、撮像装置５ａ、５ｃは、２つの撮像素子を使用した全天球（全方位）撮像装置とするが、撮像素子は２つ以上いくつでもよい。また、必ずしも全方位撮像専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位撮像ユニットを取り付けることで、実質的に撮像装置５ａ、５ｃと同じ機能を有するようにしてもよい。
まず、図１１を用いて、撮像装置５ａ、５ｃのハードウェア構成を説明する。図１１は、撮像装置５ａ、５ｃのハードウェア構成図である。以下では、撮像装置５ａ、５ｃは、２つの撮像素子を使用した全天球（全方位）撮像装置とするが、撮像素子は２つ以上いくつでもよい。また、必ずしも全方位撮像専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位撮像ユニットを取り付けることで、実質的に撮像装置５ａ、５ｃと同じ機能を有するようにしてもよい。
【0045】
図１１に示されているように、撮像装置５ａ、５ｃは、撮像ユニット１０１、画像処理ユニット１０４、撮像制御ユニット１０５、マイク１０８、音処理ユニット１０９、ＣＰＵ(Central Processing Unit)１１１、ＲＯＭ(Read Only Memory)１１２、ＳＲＡＭ(Static Random Access Memory)１１３、ＤＲＡＭ(Dynamic Random Access Memory)１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信部１１７、及びアンテナ１１７ａによって構成されている。
【0046】
このうち、撮像ユニット１０１は、各々半球画像を結像するための１８０°以上の画角を有する広角レンズ（いわゆる魚眼レンズ）１０２ａ，１０２ｂと、各広角レンズに対応させて設けられている２つの撮像素子１０３ａ，１０３ｂを備えている。撮像素子１０３ａ，１０３ｂは、魚眼レンズ１０２ａ，１０２ｂによる光学像を電気信号の画像データに変換して出力するＣＭＯＳセンサやＣＣＤ(Charge Coupled Device)センサなどの画像センサ、この画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。
【0047】
撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、各々、画像処理ユニット１０４とパラレルＩ／Ｆバスで接続されている。一方、撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、撮像制御ユニット１０５とは別に、シリアルＩ／Ｆバス（Ｉ２Ｃバス等）で接続されている。画像処理ユニット１０４及び撮像制御ユニット１０５は、バス１１０を介してＣＰＵ１１１と接続される。更に、バス１１０には、ＲＯＭ１１２、ＳＲＡＭ１１３、ＤＲＡＭ１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信部１１７、加速度・方位センサ１１８、及び、ジャイロセンサ１１９なども接続される。
【0048】
画像処理ユニット１０４は、撮像素子１０３ａ，１０３ｂから出力される画像データをパラレルＩ／Ｆバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、図４（ｃ）に示されているような正距円筒画像のデータを作成する。
【0049】
撮像制御ユニット１０５は、一般に撮像制御ユニット１０５をマスタデバイス、撮像素子１０３ａ，１０３ｂをスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ１１１から受け取る。また、撮像制御ユニット１０５は、同じくＩ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群のステータスデータ等を取り込み、ＣＰＵ１１１に送る。
【0050】
また、撮像制御ユニット１０５は、操作部１１５のシャッターボタンが押下されたタイミングで、撮像素子１０３ａ，１０３ｂに画像データの出力を指示する。撮像装置５ａ、５ｃによっては、ディスプレイ（例えば、通信端末１、３が有するディスプレイ）によるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子１０３ａ，１０３ｂからの画像データの出力は、所定のフレームレート（フレーム／分）によって連続して行われる。
【0051】
また、撮像制御ユニット１０５は、後述するように、ＣＰＵ１１１と協働して撮像素子１０３ａ，１０３ｂの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、撮像装置５ａ、５ｃには表示部（ディスプレイ）が設けられていないが、表示部を設けてもよい。
【0052】
マイク１０８は、音を音（信号）データに変換する。音処理ユニット１０９は、マイク１０８から出力される音データをＩ／Ｆバスを通して取り込み、音データに対して所定の処理を施す。
【0053】
ＣＰＵ１１１は、撮像装置５ａ、５ｃの全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ１１２は、ＣＰＵ１１１のための種々のプログラムを記憶している。ＳＲＡＭ１１３及びＤＲＡＭ１１４はワークメモリであり、ＣＰＵ１１１で実行するプログラムや処理途中のデータ等を記憶する。特にＤＲＡＭ１１４は、画像処理ユニット１０４での処理途中の画像データや処理済みの正距円筒画像のデータを記憶する。
【0054】
操作部１１５は、種々の操作ボタンや電源スイッチ、シャッターボタン、表示と操作の機能を兼ねたタッチパネルなどの総称である。ユーザは操作ボタンを操作することで、種々の撮像モードや撮像条件などを入力する。
【0055】
ネットワークＩ／Ｆ１１６は、ＳＤカード等の外付けのメディアやパーソナルコンピュータなどとのインタフェース回路（ＵＳＢＩ／Ｆ等）の総称である。また、ネットワークＩ／Ｆ１１６としては、無線、有線を問わない。ＤＲＡＭ１１４に記憶された正距円筒画像のデータは、このネットワークＩ／Ｆ１１６を介して外付けのメディアに記録されたり、必要に応じてネットワークＩ／Ｆ１１６を介して通信端末３等の外部装置に送信されたりする。
【0056】
通信部１１７は、撮像装置５ａ、５ｃに設けられたアンテナ１１７ａを介して、Wi－FiやNFC（Near Field Communication）等の近距離無線技術によって、通信端末１，３等の外部装置と通信を行う。この通信部１１７によっても、正距円筒画像のデータを通信端末１，３等の外部装置に送信することができる。
【0057】
加速度・方位センサ１１８は、地球の磁気から撮像装置５ａ、５ｃの方位及び傾き(ロール角、ヨー角、ピッチ角)を算出し、方位・傾き情報を出力する。この方位・傾き情報はExifに沿った関連情報（メタデータ）の一例であり、撮像画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮像日時、及び画像データのデータ容量の各データも含まれている。
【0058】
ジャイロセンサ１１９は、Ｘ、Ｙ、Ｚ軸それぞれの回りの回転速度を検出する３軸又は６軸のセンサである。回転速度を蓄積（積分）することで回転角（姿勢情報）が得られる。
【0059】
＜通信端末３，４（ビデオ会議端末）のハードウェア構成＞
次に、図１２を用いて、通信端末３，４のハードウェア構成を説明する。図１２は、通信端末３，４のハードウェア構成図である。図１２に示されているように、通信端末３，４は、ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、フラッシュメモリ３０４、ＳＳＤ３０５、メディアＩ／Ｆ３０７、操作ボタン３０８、電源スイッチ３０９、バスライン３１０、ネットワークＩ／Ｆ３１１、カメラ３１２、撮像素子Ｉ／Ｆ３１３、マイク３１４、スピーカ３１５、音入出力Ｉ／Ｆ３１６、ディスプレイＩ／Ｆ３１７、外部機器接続Ｉ／Ｆ３１８、近距離通信回路３１９、近距離通信回路３１９のアンテナ３１９ａを備えている。
次に、図１２を用いて、通信端末３，４のハードウェア構成を説明する。図１２は、通信端末３，４のハードウェア構成図である。図１２に示されているように、通信端末３，４は、ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、フラッシュメモリ３０４、ＳＳＤ３０５、メディアＩ／Ｆ３０７、操作ボタン３０８、電源スイッチ３０９、バスライン３１０、ネットワークＩ／Ｆ３１１、カメラ３１２、撮像素子Ｉ／Ｆ３１３、マイク３１４、スピーカ３１５、音入出力Ｉ／Ｆ３１６、ディスプレイＩ／Ｆ３１７、外部機器接続Ｉ／Ｆ３１８、近距離通信回路３１９、近距離通信回路３１９のアンテナ３１９ａを備えている。
【0060】
これらのうち、ＣＰＵ３０１は、通信端末３，４全体の動作を制御する。ＲＯＭ３０２は、ＩＰＬ(Initial Program Loader)等のＣＰＵ３０１の駆動に用いられるプログラムを記憶する。ＲＡＭ３０３は、ＣＰＵ３０１のワークエリアとして使用される。フラッシュメモリ３０４は、通信用プログラム、画像データ、及び音データ等の各種データを記憶する。ＳＳＤ（Solid State Drive）３０５は、ＣＰＵ３０１の制御に従ってフラッシュメモリ３０４に対する各種データの読み出し又は書き込みを制御する。なお、ＳＳＤに代えてＨＤＤを用いてもよい。メディアＩ／Ｆ３０７は、フラッシュメモリ等の記録メディア３０６に対するデータの読み出し又は書き込み（記憶）を制御する。操作ボタン３０８は、通信端末３，４の宛先を選択する場合などに操作されるボタンである。電源スイッチ３０９は、通信端末３，４の電源のＯＮ／ＯＦＦを切り換えるためのスイッチである。
【0061】
また、ネットワークＩ／Ｆ３１１は、インターネット等の通信ネットワーク１００を利用してデータ通信をするためのインタフェースである。カメラ３１２は、ＣＰＵ３０１の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子Ｉ／Ｆ３１３は、カメラ３１２の駆動を制御する回路である。マイク３１４は、音声を入力する内蔵型の集音手段の一種である。音入出力Ｉ／Ｆ３１６は、ＣＰＵ３０１の制御に従ってマイク３１４及びスピーカ３１５との間で音信号の入出力を処理する回路である。ディスプレイＩ／Ｆ３１７は、ＣＰＵ３０１の制御に従って外付けのディスプレイ６に画像データを送信する回路である。外部機器接続Ｉ／Ｆ３１８は、各種の外部機器を接続するためのインタフェースである。近距離通信回路３１９は、ＮＦＣ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。
【0062】
また、バスライン３１０は、図１２に示されているＣＰＵ３０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【0063】
ディスプレイ６は、被写体の画像や操作用アイコン等を表示する液晶や有機ＥＬ（electro luminescence）によって構成された表示手段の一種である。また、ディスプレイ６は、ケーブル６ｙによってディスプレイＩ／Ｆ３１７に接続される。このケーブル６ｙは、アナログＲＧＢ（ＶＧＡ）信号用のケーブルであってもよいし、コンポーネントビデオ用のケーブルであってもよいし、ＨＤＭＩ(High－Definition Multimedia Interface)（登録商標）やＤＶＩ(Digital Video Interactive)信号用のケーブルであってもよい。
【0064】
なお、カメラ３１２は、レンズや、光を電荷に変換して被写体の画像（映像）を電子化する固体撮像素子を含み、固体撮像素子として、ＣＭＯＳセンサや、ＣＣＤセンサ等が用いられる。外部機器接続Ｉ／Ｆ３１８には、ＵＳＢ(Universal Serial Bus)ケーブル等によって、外付けカメラ、外付けマイク、及び外付けスピーカ等の外部機器がそれぞれ接続可能である。外付けカメラが接続された場合には、ＣＰＵ３０１の制御に従って、内蔵型のカメラ３１２に優先して、外付けカメラが駆動する。同じく、外付けマイクが接続された場合や、外付けスピーカが接続された場合には、ＣＰＵ３０１の制御に従って、それぞれが内蔵型のマイク３１４や内蔵型のスピーカ３１５に優先して、外付けマイクや外付けスピーカが駆動する。
【0065】
また、記録メディア３０６は、通信端末３，４に対して着脱自在な構成となっている。また、ＣＰＵ３０１の制御に従ってデータの読み出し又は書き込みを行う不揮発性メモリであれば、フラッシュメモリ３０４に限らず、ＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）等を用いてもよい。
【0066】
【0067】
通信管理システム５０は、通信管理システム５０全体の動作を制御するＣＰＵ５０１、ＩＰＬ等のＣＰＵ５０１の駆動に用いられるプログラムを記憶したＲＯＭ５０２、ＣＰＵ５０１のワークエリアとして使用されるＲＡＭ５０３、通信管理システム５０用のプログラム等の各種データを記憶するＨＤ５０４、ＣＰＵ５０１の制御に従ってＨＤ５０４に対する各種データの読み出し又は書き込みを制御するＨＤＤ(Hard Disk Drive)５０５、フラッシュメモリ等の記録メディア５０６に対するデータの読み出し又は書き込み（記憶）を制御するメディアドライブ５０７、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するディスプレイ５０８、通信ネットワーク１００を利用してデータ通信するためのネットワークＩ／Ｆ５０９、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード５１１、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス５１２、着脱可能な記録媒体の一例としてのＣＤ－ＲＷ(Compact Disc－ReWritable)５１３に対する各種データの読み出しを制御するＣＤ－ＲＷドライブ５１４、及び、上記各構成要素を図１３に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン５１０を備えている。
【0068】
＜通信端末１，２のハードウェア構成＞
次に、図１４を用いて、通信端末１，２のハードウェアについて説明する。図１４は、通信端末１，２のハードウェア構成図である。図１４に示されているように、通信端末１，２は、ＣＰＵ９０１、ＲＯＭ９０２、ＲＡＭ９０３、ＥＥＰＲＯＭ９０４、ＣＭＯＳセンサ９０５、加速度・方位センサ９０６、メディアＩ／Ｆ９０８、ＧＰＳ受信部９０９を備えている。
次に、図１４を用いて、通信端末１，２のハードウェアについて説明する。図１４は、通信端末１，２のハードウェア構成図である。図１４に示されているように、通信端末１，２は、ＣＰＵ９０１、ＲＯＭ９０２、ＲＡＭ９０３、ＥＥＰＲＯＭ９０４、ＣＭＯＳセンサ９０５、加速度・方位センサ９０６、メディアＩ／Ｆ９０８、ＧＰＳ受信部９０９を備えている。
【0069】
これらのうち、ＣＰＵ９０１は、通信端末１，２全体の動作を制御する。ＲＯＭ９０２は、ＩＰＬ等のＣＰＵ９０１の駆動に用いられるプログラムを記憶する。ＲＡＭ９０３は、ＣＰＵ９０１のワークエリアとして使用される。ＥＥＰＲＯＭ９０４は、ＣＰＵ９０１の制御に従って、通信端末１，２用プログラム等の各種データの読み出し又は書き込みを行う。ＣＭＯＳセンサ９０５は、ＣＰＵ９０１の制御に従って被写体（主に自画像）を撮像し画像データを得る。加速度・方位センサ９０６は、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種センサである。メディアＩ／Ｆ９０８は、フラッシュメモリ等の記録メディア９０７に対するデータの読み出し又は書き込み（記憶）を制御する。ＧＰＳ受信部９０９は、ＧＰＳ衛星からＧＰＳ信号を受信する。
【0070】
また、通信端末１，２は、遠距離通信回路９１１、カメラ９１２、撮像素子Ｉ／Ｆ９１３、マイク９１４、スピーカ９１５、音入出力Ｉ／Ｆ９１６、ディスプレイ９１７、外部機器接続Ｉ／Ｆ９１８、近距離通信回路９１９、近距離通信回路９１９のアンテナ９１９ａ、及びタッチパネル９２１を備えている。
【0071】
これらのうち、遠距離通信回路９１１は、通信ネットワーク１００を介して、他の機器と通信する回路である。カメラ９１２は、ＣＰＵ９０１の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子Ｉ／Ｆ９１３は、カメラ９１２の駆動を制御する回路である。マイク９１４は、音声を入力する内蔵型の集音手段の一種である。音入出力Ｉ／Ｆ９１６は、ＣＰＵ９０１の制御に従ってマイク９１４及びスピーカ９１５との間で音信号の入出力を処理する回路である。ディスプレイ９１７は、被写体の画像や各種アイコン等を表示する液晶や有機ＥＬなどの表示手段の一種である。外部機器接続Ｉ／Ｆ９１８は、各種の外部機器を接続するためのインタフェースである。近距離通信回路９１９は、ＮＦＣやＢｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。タッチパネル９２１は、利用者がディスプレイ９１７を押下することで、通信端末１，２を操作する入力手段の一種である。
【0072】
また、通信端末１，２は、バスライン９１０を備えている。バスライン９１０は、ＣＰＵ９０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【0073】
なお、上記各プログラムが記憶されたＣＤ－ＲＯＭ等の記録媒体、並びに、これらプログラムが記憶されたＨＤは、いずれもプログラム製品(Program Product)として、国内又は国外へ提供されることができる。
【0074】
【0075】
＜撮像装置５ａの機能構成＞
図１５に示されているように、撮像装置５ａは、受付部１２ａ、撮像部１３ａ、集音部１４ａ、姿勢情報取得部１５ａ、画像処理部１６ａ、モード受付部１７ａ、通信部１８ａ（送信部と受信部を有する）、及び記憶・読出部１９ａを有している。これら各部は画像処理部１６ａを除いて、図１１に示されている各構成要素のいずれかが、ＳＲＡＭ１１３からＤＲＡＭ１１４上に展開された撮像装置用のプログラムに従ったＣＰＵ１１１からの命令によって動作することで実現される機能又は手段である。画像処理部１６ａはASIC（Application Specific Integrated Circuit）、DSP（digital signal processor）、FPGA（field programmable gate array）等の回路モジュールで実現されるとするが、ソフト的に実現されてもよい。
図１５に示されているように、撮像装置５ａは、受付部１２ａ、撮像部１３ａ、集音部１４ａ、姿勢情報取得部１５ａ、画像処理部１６ａ、モード受付部１７ａ、通信部１８ａ（送信部と受信部を有する）、及び記憶・読出部１９ａを有している。これら各部は画像処理部１６ａを除いて、図１１に示されている各構成要素のいずれかが、ＳＲＡＭ１１３からＤＲＡＭ１１４上に展開された撮像装置用のプログラムに従ったＣＰＵ１１１からの命令によって動作することで実現される機能又は手段である。画像処理部１６ａはASIC（Application Specific Integrated Circuit）、DSP（digital signal processor）、FPGA（field programmable gate array）等の回路モジュールで実現されるとするが、ソフト的に実現されてもよい。
【0076】
また、撮像装置５ａは、図１１に示されているＲＯＭ１１２、ＳＲＡＭ１１３、及びＤＲＡＭ１１４によって構築される記憶部１０００ａを有している。記憶部１０００ａには、自装置のＧＵＩＤ(Globally Unique Identifier)及びモード管理ＤＢ１００１ａが記憶されている。モード管理ＤＢ１００１ａは、図１７に示されているモード管理テーブルによって構成されている。
【0077】
（モード管理テーブル）
図１７はモード管理テーブルを示す概念図である。モード管理テーブルでは全天球画像の閲覧に関するモードが現在、撮像者ビューモードになっているか、自由視点モードになっているかを記憶する。撮像者ビューモードになっている場合、撮像者ビュー情報が各拠点に送信される。
図１７はモード管理テーブルを示す概念図である。モード管理テーブルでは全天球画像の閲覧に関するモードが現在、撮像者ビューモードになっているか、自由視点モードになっているかを記憶する。撮像者ビューモードになっている場合、撮像者ビュー情報が各拠点に送信される。
【0078】
（撮像装置５ａの各機能構成）
撮像装置５ａの受付部１２ａは、主に、図１１に示されている操作部１１５及びＣＰＵ１１１の処理によって実現され、撮像者８からの操作入力を受け付ける。
撮像装置５ａの受付部１２ａは、主に、図１１に示されている操作部１１５及びＣＰＵ１１１の処理によって実現され、撮像者８からの操作入力を受け付ける。
【0079】
撮像部１３ａは、主に、図１１に示されている撮像ユニット１０１、画像処理ユニット１０４、及び撮像制御ユニット１０５、並びにＣＰＵ１１１の処理によって実現され、風景等を撮像し、撮像画像データ（全天球画像）を得る。
【0080】
集音部１４ａは、図１１に示されている１０８及び音処理ユニット１０９、並びにＣＰＵ１１１の処理によって実現され、撮像装置５ａの周囲の音を集音する。
【0081】
姿勢情報取得部１５ａは、撮像装置の姿勢（三次元空間の傾き）に関する姿勢情報を取得する。画像処理部１６ａは２つの半球画像を１つの正距円筒画像に合成する処理を行う。この処理の際に、姿勢情報に基づいて天頂補正を行う過程があり、長手方向（上側）が指し示す注目点座標を、撮像者が指し示す方向を表す球面座標系（正距円筒座標）の座標に変換できる。
【0082】
モード受付部１７ａは、自由視点モードと撮像者ビューモードへの切り替えを受け付ける。撮像者ビューモードでなければ自由視点モードなので、撮像者ビューモードか否かを受け付ければよい。モード受付部１７ａは後述する表１のジャイロセンサ又は映像情報に基づくモードの切り替えを受け付ける。
【0083】
通信部１８ａは、主に、ＣＰＵ１１１の処理によって実現され、通信端末１の通信部９８と、NFC規格、Bluetooth（登録商標）、WiーFi等による近距離無線通信技術によって通信することができる。
【0084】
記憶・読出部１９ａは、主に、図１１に示されているＣＰＵ１１１の処理によって実現され、記憶部１０００ａに各種データ（又は情報）を記憶したり、記憶部１０００ａから各種データ（又は情報）を読み出したりする。
【0085】
なお、撮像装置５ｃは、受付部１２ｃ、撮像部１３ｃ、集音部１４ｃ、姿勢情報取得部１５ｃ、画像処理部１６ｃ、モード受付部１７ｃ、通信部１８ｃ、記憶・読出部１９ｃ、及び記憶部１０００ｃを有しているが、それぞれ、撮像装置５ａにおける受付部１２ａ、撮像部１３ａ、集音部１４ａ、姿勢情報取得部１５ａ、画像処理部１６ａ、モード受付部１７ａ、通信部１８ａ、記憶・読出部１９ａ及び記憶部１０００ａと同様の機能を実現するため、これらの説明を省略する。記憶部１０００ｃに構築されているモード管理ＤＢ１００１ｃについても、撮像装置５ａが有するモード管理ＤＢ１００１ａと同様であるため、その説明を省略する。
＜通信端末１の機能構成＞
図１５に示されているように、通信端末１は、送受信部９１（送信部と受信部を有する）、受付部９２、画像・音処理部９３、表示制御部９４、判断部９５、作成部９６、算出部９７、通信部９８、及び記憶・読出部９９を有している。これら各部は、図１４に示されている各構成要素のいずれかが、ＥＥＰＲＯＭ９０４からＲＡＭ９０３上に展開された通信端末１用プログラムに従ったＣＰＵ９０１からの命令によって動作することで実現される機能又は手段である。
＜通信端末１の機能構成＞
図１５に示されているように、通信端末１は、送受信部９１（送信部と受信部を有する）、受付部９２、画像・音処理部９３、表示制御部９４、判断部９５、作成部９６、算出部９７、通信部９８、及び記憶・読出部９９を有している。これら各部は、図１４に示されている各構成要素のいずれかが、ＥＥＰＲＯＭ９０４からＲＡＭ９０３上に展開された通信端末１用プログラムに従ったＣＰＵ９０１からの命令によって動作することで実現される機能又は手段である。
【0086】
また、通信端末１は、図１４に示されているＲＯＭ９０２、ＲＡＭ９０３、及びＥＥＰＲＯＭ９０４によって構築される記憶部９０００を有している。この記憶部９０００には、画像種類管理ＤＢ９００１、撮像装置管理ＤＢ９００２、所定領域管理ＤＢ９００３、及び、閲覧者ビュー情報ＤＢ９００４が構築されている。
【0087】
これらのうち、画像種類管理ＤＢ９００１は、図１８に示されている画像種類管理テーブルによって構成されている。撮像装置管理ＤＢ９００２は、図１９に示される撮像装置管理テーブルによって構成されている。所定領域管理ＤＢ９００３は、図２０に示されている所定領域管理テーブルによって構成されている。閲覧者ビュー情報ＤＢ９００４は、図２１に示されている閲覧者ビュー情報テーブルによって構成されている。
【0088】
（画像種類管理テーブル）
図１８は、画像種類管理テーブルを示す概念図である。この画像種類管理テーブルでは、画像データＩＤ、送信元端末の宛先の一例であるＩＰアドレス、及びソース名が関連付けて記憶されて管理されている。これらのうち、画像データＩＤは、ビデオ通信を行う際の画像データを識別するための画像データ識別情報の一例である。同じ送信元端末から送信される画像データには、同じ画像データＩＤが付加されている。これにより、宛先端末（受信側の通信端末）は、受信した画像データの送信元端末を特定することができる。送信元端末のＩＰアドレスは、関連付けられている画像データＩＤで示される画像データを送信する通信端末のＩＰアドレスを示す。ソース名は、関連付けられている画像データＩＤで示される画像データを出力する撮像装置を特定するための名称であり、画像種類情報の一例である。このソース名は、所定の名称の命名規則に従って、通信端末３等によって作成された名称である。
図１８は、画像種類管理テーブルを示す概念図である。この画像種類管理テーブルでは、画像データＩＤ、送信元端末の宛先の一例であるＩＰアドレス、及びソース名が関連付けて記憶されて管理されている。これらのうち、画像データＩＤは、ビデオ通信を行う際の画像データを識別するための画像データ識別情報の一例である。同じ送信元端末から送信される画像データには、同じ画像データＩＤが付加されている。これにより、宛先端末（受信側の通信端末）は、受信した画像データの送信元端末を特定することができる。送信元端末のＩＰアドレスは、関連付けられている画像データＩＤで示される画像データを送信する通信端末のＩＰアドレスを示す。ソース名は、関連付けられている画像データＩＤで示される画像データを出力する撮像装置を特定するための名称であり、画像種類情報の一例である。このソース名は、所定の名称の命名規則に従って、通信端末３等によって作成された名称である。
【0089】
例えば、ＩＰアドレスがそれぞれ「１．２．１．３」、「１．２．２．３」、「１．３．１．３」、「１．３．２．３」の４つの通信端末は、それぞれ、画像データＩＤ「ＲＳ００１」、「ＲＳ００２」、「ＲＳ００３」、「ＲＳ００４」によって示される画像データを送信していることが表されている。更に、各通信端末のソース名によって示される画像の種類は、「Video_Wide」、「Video_ Wide」、「Video」、「Video」であり、これらは順に画像種類が「特殊画像」、「特殊画像」、「一般画像」、「一般画像」である旨を示している。なお、特殊画像は、ここでは、全天球画像である。
【0090】
なお、画像データ以外のデータについても、画像データＩＤと関連付けて管理してもよい。画像データ以外のデータは、例えば、音データ、画面共有時の資料データである。また、画像データ以外のデータについても、画像データＩＤと関連付けて管理してもよい。画像データ以外のデータは、例えば、音データ、画面共有時の資料データである。
【0091】
（撮像装置管理テーブル）
図１９は、撮像装置管理テーブルを示す概念図である。この撮像装置管理テーブルでは、全天球画像の元になる２つの半球画像を得ることができる撮像装置のＧＵＩＤのうちのベンダＩＤとプロダクトＩＤが記憶されて管理されている。ＧＵＩＤとしては、例えば、ＵＳＢデバイスで利用されるベンダＩＤ(ＶＩＤ)とプロダクトＩＤ(ＰＩＤ)が利用できる。このベンダＩＤとプロダクトＩＤは、通信端末３、４の工場出荷時から記憶されているが、工場出荷後に追加で記憶してもよい。
図１９は、撮像装置管理テーブルを示す概念図である。この撮像装置管理テーブルでは、全天球画像の元になる２つの半球画像を得ることができる撮像装置のＧＵＩＤのうちのベンダＩＤとプロダクトＩＤが記憶されて管理されている。ＧＵＩＤとしては、例えば、ＵＳＢデバイスで利用されるベンダＩＤ(ＶＩＤ)とプロダクトＩＤ(ＰＩＤ)が利用できる。このベンダＩＤとプロダクトＩＤは、通信端末３、４の工場出荷時から記憶されているが、工場出荷後に追加で記憶してもよい。
【0092】
（所定領域管理テーブル）
図２０は、所定領域管理テーブルを示す概念図である。この所定領域管理テーブルでは、撮像画像データの送信元の通信端末のＩＰアドレス、撮像画像データの送信先の通信端末のＩＰアドレス、及び、撮像画像データの送信先の通信端末で表示中の所定領域画像を示す所定領域情報が関連付けられて記憶されて管理されている。なお、撮像画像データの送信先の通信端末は、所定領域情報の送信元の通信端末でもある。所定領域情報は、図６及び図７に示されているように、撮像画像から、この撮像画像における所定領域Ｔの画像（所定領域画像）に変換するための変換テーブルである。なお、ＩＰアドレスは、宛先情報の一例であって、宛先情報には、ＭＡＣ(Media Access Control)アドレス、通信端末を特定するための端末ＩＤ(Identification)等が含まれる。また、ここでは、ＩＰアドレスは、ＩＰｖ４アドレスを簡略化して表されている。ＩＰアドレスは、ＩＰｖ６でもよい。
図２０は、所定領域管理テーブルを示す概念図である。この所定領域管理テーブルでは、撮像画像データの送信元の通信端末のＩＰアドレス、撮像画像データの送信先の通信端末のＩＰアドレス、及び、撮像画像データの送信先の通信端末で表示中の所定領域画像を示す所定領域情報が関連付けられて記憶されて管理されている。なお、撮像画像データの送信先の通信端末は、所定領域情報の送信元の通信端末でもある。所定領域情報は、図６及び図７に示されているように、撮像画像から、この撮像画像における所定領域Ｔの画像（所定領域画像）に変換するための変換テーブルである。なお、ＩＰアドレスは、宛先情報の一例であって、宛先情報には、ＭＡＣ(Media Access Control)アドレス、通信端末を特定するための端末ＩＤ(Identification)等が含まれる。また、ここでは、ＩＰアドレスは、ＩＰｖ４アドレスを簡略化して表されている。ＩＰアドレスは、ＩＰｖ６でもよい。
【0093】
例えば、図２０の所定領域管理テーブルの１行目から３行目までは、通信端末３のＩＰアドレスが「１．２．１．３」の場合、通信端末３から送信された撮像画像データが、通信管理システム５０を介して、ＩＰアドレスが「１．２．２．３」の通信端末４、ＩＰアドレスが「１．３．１．３」の通信端末２、及びＩＰアドレスが「１．３．２．３」の通信端末１に送信された旨が管理されている。更に、通信端末４は、所定領域情報（ｒ＝１０，θ＝２０，φ＝３０）の送信元の通信端末である旨が管理されている。同様に、通信端末２は、所定領域情報（ｒ＝１０，θ＝３０，φ＝４０）の送信元の通信端末である旨が管理されている。また、通信端末１は、所定領域情報（ｒ＝３０，θ＝４０，φ＝５０）の送信元の通信端末である旨が管理されている。つまり、通信端末１，２，４がどのような所定領域情報で全天球画像を見ているか管理されている。
【0094】
また、送受信部３１ｃによって、既に管理されている撮像画像データの送信元の通信端末のＩＰアドレス及び撮像画像データの送信先の通信端末のＩＰアドレスと同じ組のＩＰアドレスを含む所定領域情報が新たに受信された場合には、記憶・読出部３９ｃは既に管理している所定領域情報を新たに受信された所定領域情報に書き換える。
【0095】
（閲覧者ビュー情報テーブル）
図２１は、閲覧者ビュー情報テーブルを示す概念図である。閲覧者ビュー情報テーブルには、通信端末１の現在の閲覧者ビュー情報を記憶する。閲覧者ビュー情報は、閲覧者（ユーザ）が全体画像から表示すべき中心点ＣＰを特定するための動径、極角、方位角の情報である。これにより所定領域が決定される。図２１では閲覧者ビュー情報は１つであるが、他の拠点から複数の全天球画像が送信されている場合は、画像データＩＤに対応付けてその数だけ閲覧者ビュー情報が登録される。
図２１は、閲覧者ビュー情報テーブルを示す概念図である。閲覧者ビュー情報テーブルには、通信端末１の現在の閲覧者ビュー情報を記憶する。閲覧者ビュー情報は、閲覧者（ユーザ）が全体画像から表示すべき中心点ＣＰを特定するための動径、極角、方位角の情報である。これにより所定領域が決定される。図２１では閲覧者ビュー情報は１つであるが、他の拠点から複数の全天球画像が送信されている場合は、画像データＩＤに対応付けてその数だけ閲覧者ビュー情報が登録される。
【0096】
（通信端末１の各機能構成）
通信端末１の送受信部９１は、主に、図１４に示されている遠距離通信回路９１１及びＣＰＵ９０１の処理によって実現され、通信ネットワーク１００を介して、通信管理システム５０と各種データ（又は情報）の送受信を行う。
通信端末１の送受信部９１は、主に、図１４に示されている遠距離通信回路９１１及びＣＰＵ９０１の処理によって実現され、通信ネットワーク１００を介して、通信管理システム５０と各種データ（又は情報）の送受信を行う。
【0097】
受付部９２は、主にタッチパネル９２１及びＣＰＵ９０１による処理によって実現され、利用者から各種の選択又は入力を受け付ける。また、タッチパネル９２１だけでなく、他の入力手段として音声入力等を用いてもよい。本実施形態では、自由視点モードと撮像者ビューモードのモードの切り替えを受け付ける。また、撮像者ビューモードにおいて撮像者ビュー情報を受け付ける。撮像者ビューモードでなければ自由視点モードなので、撮像者ビューモードか否かを受け付ければよい。表１に撮像装置５ａ及び通信端末１が撮像者ビューモードの開始と終了を受け付ける契機（以下、モード切替トリガーという）の一例を示す。
【0098】
【表1】
【0099】
ソフトボタンの押下は通信端末１の受付部９２が検出する。また、受付部９２は映像情報の変化をモード切替トリガーとして受け付けることができる。図１５ではモード管理ＤＢ１００１ａを撮像装置５ａが有しているため、受付部９２は撮像者ビューモードか自由視点モードかをモード管理ＤＢ１００１ａに記憶しにくい。撮像装置５ａに送信すればよいが、記憶部９０００に通信端末１が管理するモード管理ＤＢを設けるとよい。
【0100】
図１５に戻り、画像・音処理部９３は、図１４に示されているＣＰＵ９０１からの命令によって実現され、カメラ９１２が被写体を撮像して得た画像データに対して画像処理を行う。また、画像・音処理部９３は、マイク９１４によって利用者の音声が音声信号に変換された後、この音声信号に係る音データに対して音声処理を行う。
【0101】
更に、画像・音処理部９３は、表示制御部９４がディスプレイ９１７に画像を表示させるため、ソース名等の画像種類情報に基づき、他の通信端末から受信された画像データに対して画像処理を行う。また、画像・音処理部９３は、他の通信端末から通信管理システム５０を介して受信された音データに係る音声信号をスピーカ９１５に出力し、スピーカ９１５から音声を出力させる。
【0102】
表示制御部９４は、主にディスプレイ９１７及びＣＰＵ９０１の処理によって実現され、ディスプレイ９１７に各種画像や文字等を表示させるための制御を行う。
【0103】
判断部９５は、主にＣＰＵ９０１の処理によって実現され、例えば、撮像装置５ａから受信された画像データに係る画像種類を判断する。
【0104】
作成部９６は、主にＣＰＵ９０１の処理によって実現され、判断部９５によって、一般画像又は特殊画像（ここでは、全天球画像）と判断された結果に基づき、上記の命名規則に従って、画像種類情報の一例であるソース名を作成する。例えば、判断部９５が、一般画像であると判断した場合には、作成部９６は、一般画像である旨を示すソース名「Video」を作成する。一方、判断部９５が、特殊画像であると判断した場合には、作成部９６は、特殊画像である旨を示すソース名「Video_Wide」を作成する。
【0105】
算出部９７は、主にＣＰＵ９０１の処理によって実現され、所定領域Ｔを示す所定領域情報、及び送受信部９１によって他の通信端末から受信された所定領域情報に基づき、撮像画像において所定領域Ｔ１の位置（位置情報）を算出する。また、撮像画像の全体が表示された場合の画像は、「全体画像」ともいう。
【0106】
通信部９８は、主に、近距離通信回路９１９、アンテナ９１９ａ、及びＣＰＵ９０１の処理によって実現され、撮像装置５ａの通信部１８ａと、NFC、Bluetooth（登録商標）、WiーFi等による近距離無線技術によって通信することができる。なお、通信部９８と送受信部９１は通信ユニットを別個に有する構成で説明したが、共用構成であってもよい。
【0107】
記憶・読出部９９は、主に、図１４に示されているＣＰＵ９０１の処理によって実現され、記憶部９０００に各種データ（又は情報）を記憶したり、記憶部９０００から各種データ（又は情報）を読み出したりする。
【0108】
＜通信端末２の機能構成＞
次に、通信端末２の機能構成について詳細に説明する。通信端末２は、基本的に通信端末１と同じ機能を有している。即ち、図１６に示されているように、通信端末２は、送受信部７１（送信部と受信部を有する）、受付部７２、画像・音処理部７３、表示制御部７４、判断部７５、作成部７６、算出部７７、通信部７８、及び記憶・読出部７９を有している。しかし、各機能はそれぞれ、通信端末１における送受信部９１、受付部９２、画像・音処理部９３、表示制御部９４、判断部９５、作成部９６、算出部９７、通信部９８、及び記憶・読出部９９と同様の機能を実現するため、これらの説明を省略する。
次に、通信端末２の機能構成について詳細に説明する。通信端末２は、基本的に通信端末１と同じ機能を有している。即ち、図１６に示されているように、通信端末２は、送受信部７１（送信部と受信部を有する）、受付部７２、画像・音処理部７３、表示制御部７４、判断部７５、作成部７６、算出部７７、通信部７８、及び記憶・読出部７９を有している。しかし、各機能はそれぞれ、通信端末１における送受信部９１、受付部９２、画像・音処理部９３、表示制御部９４、判断部９５、作成部９６、算出部９７、通信部９８、及び記憶・読出部９９と同様の機能を実現するため、これらの説明を省略する。
【0109】
また、通信端末２は、図１４に示されているＲＯＭ９０２、ＲＡＭ９０３、及びＥＥＰＲＯＭ９０４によって構築される記憶部７０００を有している。この記憶部７０００には、画像種類管理ＤＢ７００１、撮像装置管理ＤＢ７００２、所定領域管理ＤＢ７００３、及び、閲覧者ビュー情報ＤＢ７００４が構築されている。なお、画像種類管理ＤＢ７００１、撮像装置管理ＤＢ７００２、所定領域管理ＤＢ７００３及び、閲覧者ビュー情報ＤＢ７００４は、それぞれ通信端末１における画像種類管理ＤＢ９００１、撮像装置管理ＤＢ９００２、所定領域管理ＤＢ９００３、及び、閲覧者ビュー情報ＤＢ９００４と同じデータ構造であるため、これらの説明を省略する。
【0110】
＜通信端末３の機能構成＞
次に、通信端末３の機能構成について説明する。通信端末３は、基本的に通信端末１と同じ機能を有している。即ち、図１５に示されているように、通信端末３は、送受信部３１ｃ、受付部３２ｃ、画像・音処理部３３ｃ、表示制御部３４ｃ、判断部３５ｃ、作成部３６ｃ、算出部３７ｃ、通信部３８ｃ、記憶・読出部３９ｃを有している。しかし、これらは、通信端末１における送受信部９１、受付部９２、画像・音処理部９３、表示制御部９４、判断部９５、作成部９６、算出部９７、通信部９８、記憶・読出部９９、及び記憶部９０００と同様の機能を実現するため、これらの説明を省略する。
次に、通信端末３の機能構成について説明する。通信端末３は、基本的に通信端末１と同じ機能を有している。即ち、図１５に示されているように、通信端末３は、送受信部３１ｃ、受付部３２ｃ、画像・音処理部３３ｃ、表示制御部３４ｃ、判断部３５ｃ、作成部３６ｃ、算出部３７ｃ、通信部３８ｃ、記憶・読出部３９ｃを有している。しかし、これらは、通信端末１における送受信部９１、受付部９２、画像・音処理部９３、表示制御部９４、判断部９５、作成部９６、算出部９７、通信部９８、記憶・読出部９９、及び記憶部９０００と同様の機能を実現するため、これらの説明を省略する。
【0111】
また、通信端末３は、図１２に示されているＲＯＭ３０２、ＲＡＭ３０３、及びＳＳＤ３０５によって構築される記憶部３０００ｃを有している。記憶部３０００ｃには、画像種類管理ＤＢ３００１ｃ、撮像装置管理ＤＢ３００２ｃ、所定領域管理ＤＢ３００３ｃ及び、閲覧者ビュー情報ＤＢ３００４ｃが構築されているが、これらは、通信端末１における画像種類管理ＤＢ９００１、撮像装置管理ＤＢ９００２、所定領域管理ＤＢ９００３及び、閲覧者ビュー情報ＤＢ９００４と同様の機能を実現するため、これらの説明を省略する。
【0112】
＜通信端末４の機能構成＞
次に、通信端末４の機能構成について説明する。通信端末４は、基本的に通信端末１と同じ機能を有している。即ち、図１６に示されているように、通信端末４は、送受信部３１ｄ、受付部３２ｄ、画像・音処理部３３ｄ、表示制御部３４ｄ、判断部３５ｄ、作成部３６ｄ、算出部３７ｄ、通信部３８ｄ、記憶・読出部３９ｄ、及び記憶部３０００ｄを有している。しかし、これらは、通信端末１における送受信部９１、受付部９２、画像・音処理部９３、表示制御部９４、判断部９５、作成部９６、算出部９７、通信部９８、記憶・読出部９９、及び記憶部９０００と同様の機能を実現するため、これらの説明を省略する。
次に、通信端末４の機能構成について説明する。通信端末４は、基本的に通信端末１と同じ機能を有している。即ち、図１６に示されているように、通信端末４は、送受信部３１ｄ、受付部３２ｄ、画像・音処理部３３ｄ、表示制御部３４ｄ、判断部３５ｄ、作成部３６ｄ、算出部３７ｄ、通信部３８ｄ、記憶・読出部３９ｄ、及び記憶部３０００ｄを有している。しかし、これらは、通信端末１における送受信部９１、受付部９２、画像・音処理部９３、表示制御部９４、判断部９５、作成部９６、算出部９７、通信部９８、記憶・読出部９９、及び記憶部９０００と同様の機能を実現するため、これらの説明を省略する。
【0113】
また、通信端末４は、図１２に示されているＲＯＭ３０２、ＲＡＭ３０３、及びＳＳＤ３０５によって構築される記憶部３０００ｄを有している。記憶部３０００ｄには、画像種類管理ＤＢ３００１ｄ、撮像装置管理ＤＢ３００２ｄ、所定領域管理ＤＢ３００３ｄ及び、閲覧者ビュー情報ＤＢ３００４ｄが構築されているが、これらは、通信端末１における画像種類管理ＤＢ９００１、撮像装置管理ＤＢ９００２、所定領域管理ＤＢ９００３及び、閲覧者ビュー情報ＤＢ９００４と同様の機能を実現するため、これらの説明を省略する。
【0114】
＜通信管理システムの機能構成＞
次に、通信管理システム５０の各機能構成について詳細に説明する。通信管理システム５０は、送受信部５１、判断部５５、生成部５６、及び記憶・読出部５９を有している。これら各部は、図１３に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３上に展開された通信管理システム５０用プログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能又は手段である。
次に、通信管理システム５０の各機能構成について詳細に説明する。通信管理システム５０は、送受信部５１、判断部５５、生成部５６、及び記憶・読出部５９を有している。これら各部は、図１３に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３上に展開された通信管理システム５０用プログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能又は手段である。
【0115】
また、通信管理システム５０は、図１３に示されているＲＡＭ５０３、及びＨＤ５０４によって構築される記憶部５０００を有している。この記憶部５０００には、セッション管理ＤＢ５００１、画像種類管理ＤＢ５００２、及び所定領域管理ＤＢ５００３が構築されている。このうち、セッション管理ＤＢ５００１は、図２２に示されているセッション管理テーブルによって構成されている。画像種類管理ＤＢ５００２は、図２３に示される画像種類管理テーブルによって構成されている。所定領域管理ＤＢ５００３は、図２４に示される所定領域情報管理テーブルによって構成されている。
【0116】
（セッション管理テーブル）
図２２は、セッション管理テーブルを示す概念図である。このセッション管理テーブルでは、セッションＩＤ、及び参加した通信端末のＩＰアドレスが関連付けて記憶されて管理されている。このうち、セッションＩＤは、映像通話を実現する通信セッションを識別するためのセッション識別情報の一例であり、仮想の会議室ごとに生成される。セッションＩＤは、通信端末１～４でも管理されており、各通信端末において通信セッションの選択の際に利用される。参加した通信端末のＩＰアドレスは、関連付けられているセッションＩＤで示される仮想の会議室に参加した通信端末のＩＰアドレスを示している。
図２２は、セッション管理テーブルを示す概念図である。このセッション管理テーブルでは、セッションＩＤ、及び参加した通信端末のＩＰアドレスが関連付けて記憶されて管理されている。このうち、セッションＩＤは、映像通話を実現する通信セッションを識別するためのセッション識別情報の一例であり、仮想の会議室ごとに生成される。セッションＩＤは、通信端末１～４でも管理されており、各通信端末において通信セッションの選択の際に利用される。参加した通信端末のＩＰアドレスは、関連付けられているセッションＩＤで示される仮想の会議室に参加した通信端末のＩＰアドレスを示している。
【0117】
（画像種類管理テーブル）
図２３は、画像種類管理テーブルを示す概念図である。図２３に示されている画像種類管理テーブルは、図１８に示されている画像種類管理テーブルで管理されている各情報に加え、セッション管理テーブルで管理されているセッションＩＤと同じセッションＩＤが関連付けて管理されている。ここでは、同じセッションＩＤ「ｓｅ１０１」で示される仮想の会議室には、ＩＰアドレスがそれぞれ「１．２．１．３」、「１．２．２．３」、「１．３．１．３」の３つの通信端末が参加していることが示されている。なお、通信管理システム５０において、通信端末１～４（ビデオ会議端末）等の通信端末で管理される、画像データＩＤ、送信元端末のＩＰアドレス、及び画像種類情報を同じものを管理するのは、新たな通信端末が仮想の会議室に入る場合等に、既に映像通話中の通信端末と新たに参加した通信端末に、画像種類情報等を送信するためである。これにより、既に映像通話中の通信端末と新たに参加した通信端末との間で、画像種類情報等の送受信を行う必要がない。
図２３は、画像種類管理テーブルを示す概念図である。図２３に示されている画像種類管理テーブルは、図１８に示されている画像種類管理テーブルで管理されている各情報に加え、セッション管理テーブルで管理されているセッションＩＤと同じセッションＩＤが関連付けて管理されている。ここでは、同じセッションＩＤ「ｓｅ１０１」で示される仮想の会議室には、ＩＰアドレスがそれぞれ「１．２．１．３」、「１．２．２．３」、「１．３．１．３」の３つの通信端末が参加していることが示されている。なお、通信管理システム５０において、通信端末１～４（ビデオ会議端末）等の通信端末で管理される、画像データＩＤ、送信元端末のＩＰアドレス、及び画像種類情報を同じものを管理するのは、新たな通信端末が仮想の会議室に入る場合等に、既に映像通話中の通信端末と新たに参加した通信端末に、画像種類情報等を送信するためである。これにより、既に映像通話中の通信端末と新たに参加した通信端末との間で、画像種類情報等の送受信を行う必要がない。
【0118】
（所定領域情報管理テーブル）
図２４は、所定領域情報管理テーブルを示す概念図である。この所定領域情報管理テーブルは、基本的に図２０に示されている所定領域情報管理テーブルと同様のデータ構造を有している。但し、後述のように、送受信部５１は、各通信端末に一定期間（例えば３０秒）毎に最新の所定領域情報を送信するため、所定領域情報が一定期間毎に送信されるまでの間に、送受信部５１によって受信された全ての所定領域情報は削除されずに保存されている。図２４では、新しい所定領域情報ほど上位で管理されている。
図２４は、所定領域情報管理テーブルを示す概念図である。この所定領域情報管理テーブルは、基本的に図２０に示されている所定領域情報管理テーブルと同様のデータ構造を有している。但し、後述のように、送受信部５１は、各通信端末に一定期間（例えば３０秒）毎に最新の所定領域情報を送信するため、所定領域情報が一定期間毎に送信されるまでの間に、送受信部５１によって受信された全ての所定領域情報は削除されずに保存されている。図２４では、新しい所定領域情報ほど上位で管理されている。
【0119】
（通信管理システムの各機能構成）
通信管理システム５０の送受信部５１は、主に、図１３に示されているネットワークＩ／Ｆ５０９及びＣＰＵ５０１の処理によって実現され、通信ネットワーク１００を介して通信端末１～４と各種データ（又は情報）の送受信を行う。
通信管理システム５０の送受信部５１は、主に、図１３に示されているネットワークＩ／Ｆ５０９及びＣＰＵ５０１の処理によって実現され、通信ネットワーク１００を介して通信端末１～４と各種データ（又は情報）の送受信を行う。
【0120】
判断部５５は、主にＣＰＵ５０１の処理によって実現され、各種判断を行う。
【0121】
生成部５６は、主にＣＰＵ５０１の処理によって実現され、画像データＩＤを生成する。
【0122】
記憶・読出部５９は、主に、図１３に示されているＨＤＤ５０５、及びＣＰＵ５０１の処理によって実現され、記憶部５０００に各種データ（又は情報）を記憶したり、記憶部５０００から各種データ（又は情報）を読み出したりする。
【0123】
＜参加の処理＞
まず、図２５及び図２６を用いて、特定の通信セッションへの参加処理について説明する。図２５は、特定の通信セッションへの参加処理を示したシーケンス図である。図２６は、通信セッション（仮想の会議室）の選択画面を示した図である。
まず、図２５及び図２６を用いて、特定の通信セッションへの参加処理について説明する。図２５は、特定の通信セッションへの参加処理を示したシーケンス図である。図２６は、通信セッション（仮想の会議室）の選択画面を示した図である。
【0124】
まず、拠点Ａの撮像者８が、通信端末１において、通信セッション（仮想の会議室）の選択画面の表示を行う操作をすると、受付部９２が選択画面を表示する操作を受け付け、表示制御部９４が通信端末１のディスプレイ９１７に、図２６に示されているような選択画面を表示する（ステップＳ２１）。この選択画面には、選択対象である各仮想の会議室Ｒ１，Ｒ２，Ｒ３等を示す選択ボタンｂ１，ｂ２，ｂ３等が表示されている。また、各選択ボタンｂ１等には、各セッションＩＤが関連付けられている。
【0125】
ここで、撮像者８が仮想の会議室の所望の選択ボタン（ここでは選択ボタンｂ１）を選択すると、受付部９２は、通信セッションの選択を受け付ける（ステップＳ２２）。選択される会議室は予め決まっている会議室である。
【0126】
そして、送受信部９１は、通信管理システム５０に対して、仮想の会議室への参加要求を送信する（ステップＳ２３）。この参加要求には、ステップＳ２２で選択を受け付けられた通信セッションを示すセッションＩＤ、及び要求元端末である通信端末１のＩＰアドレスが含まれている。これにより、通信管理システム５０の送受信部５１は、参加要求を受信する。
【0127】
次に、通信管理システム５０の記憶・読出部５９は、セッション管理ＤＢ５００１において、ステップＳ２３で受信されたセッションＩＤと同じセッションＩＤのレコードにおける参加端末ＩＰアドレスのフィールドに、ステップＳ２３で受信されたＩＰアドレスを追加することで、通信セッションへの参加処理を行う（ステップＳ２４）。
【0128】
そして、送受信部５１は、通信端末１に対して、参加要求応答を送信する（ステップＳ２５）。この参加要求応答には、ステップＳ２３によって受信されたセッションＩＤ、及び参加処理結果が含まれている。これにより、通信端末１の送受信部９１は、参加要求応答を受信する。以降、参加処理が成功した場合について説明する。
【0129】
なお、同様の参加要求を拠点Ｂ～Ｄの通信端末２～４も行い、それぞれが同じ会議室を選択することで、通信端末１～４が同一のセッションに参加し、互いに映像通話が可能になる。また、図２５、図２６に示したセッションへの参加方法は一例に過ぎず、撮像者８は宛先の通信端末又はユーザの識別情報を指定してセッションを確立してもよい。この場合、宛先に指定された宛先の通信端末又はユーザは呼び出しに応答することでセッションが確立する。
【0130】
【0131】
＜＜撮像者ビュー情報の受け付け方法１＞＞
図２７は、拠点Ａにおいて通信端末１のディスプレイ９１７に表示された映像表示画面２５０の一例である。映像表示画面２５０の左側の表示領域（レイアウト番号「１」）には拠点Ｂの全天球画像が表示され、右側上段の表示領域（レイアウト番号「２」）には拠点Ｃの全天球画像が表示されている。更に、映像表示画面２５０の右側中段の表示領域（レイアウト番号「３」）には拠点Ｄの画像が表示され、右側下段の表示領域（レイアウト番号「４」）には拠点Ａ（自拠点）の画像が表示されている。レイアウト番号「１」の表示領域は主表示領域であり、レイアウト番号「２」、「３」及び「４」の表示領域は副表示領域である。主表示領域の画像と副表示領域の画像は、各通信端末で変更することができる。通常、各拠点では、主表示領域に、映像通話の中心人物がいる拠点の画像が表示される。
図２７は、拠点Ａにおいて通信端末１のディスプレイ９１７に表示された映像表示画面２５０の一例である。映像表示画面２５０の左側の表示領域（レイアウト番号「１」）には拠点Ｂの全天球画像が表示され、右側上段の表示領域（レイアウト番号「２」）には拠点Ｃの全天球画像が表示されている。更に、映像表示画面２５０の右側中段の表示領域（レイアウト番号「３」）には拠点Ｄの画像が表示され、右側下段の表示領域（レイアウト番号「４」）には拠点Ａ（自拠点）の画像が表示されている。レイアウト番号「１」の表示領域は主表示領域であり、レイアウト番号「２」、「３」及び「４」の表示領域は副表示領域である。主表示領域の画像と副表示領域の画像は、各通信端末で変更することができる。通常、各拠点では、主表示領域に、映像通話の中心人物がいる拠点の画像が表示される。
【0132】
なお、レイアウト番号２、４の表示領域には、全天球アイコン１９２が表示されている。これにより、表示領域に表示されている映像が全天球画像であることがわかり、自由視点モードではユーザは所定領域を変更できる。受付部９２は所定領域を受け付ける。
【0133】
レイアウト番号４の表示領域にはエアコンが写っている。エアコンは撮像者８が注目させたい対象の一例である。レイアウト番号４の表示領域には、ビューボタン２５１が表示されている。ビューボタン２５１は自由視点モードと撮像者ビューモードを切り替えるソフトボタンである。全天球画像を受信したと判断した場合に通信端末１が該当するレイアウトに表示する。例えば、撮像者が１回、ビューボタン２５１を押下すると、撮像者ビューモードになり、もう１回、ビューボタン２５１を押下すると、自由視点モードに戻る。自由視点モード又は撮像者ビューモードのいずれでも、算出部９７がレイアウト番号４の表示領域に表示されている所定領域に対応する所定領域情報を作成する。撮像者ビューモードではこの所定領域情報が、撮像者ビュー情報として他の拠点Ｂ～Ｄに送信される。
【0134】
なお、図２７では説明を分かりやすくするため、拠点Ａ～Ｄそれぞれの表示領域を示したが、撮像者８は例えばレイアウト番号４の表示領域のみを映像表示画面２５０に拡大して表示できる。これにより、所定領域を決定する際の操作性が向上する。
【0135】
【表2】
【0136】
＜＜撮像者ビュー情報の受け付け方法２＞＞
２つめの撮像者ビュー情報の受け付け方法は撮像装置５ａを使用する方法である。撮像者８は所定のボタンを押して撮像装置５ａを指し示すだけで撮像者ビュー情報を作成できる。この方法では、撮像装置５ａに予め注目点座標が定義されており、撮像者がこの注目点座標で見せたい対象を指し示す。撮像装置５ａはこの時の姿勢情報を検出しており、注目点座標を姿勢情報に応じて変換する。変換された注目点座標が撮像者ビュー情報である。
２つめの撮像者ビュー情報の受け付け方法は撮像装置５ａを使用する方法である。撮像者８は所定のボタンを押して撮像装置５ａを指し示すだけで撮像者ビュー情報を作成できる。この方法では、撮像装置５ａに予め注目点座標が定義されており、撮像者がこの注目点座標で見せたい対象を指し示す。撮像装置５ａはこの時の姿勢情報を検出しており、注目点座標を姿勢情報に応じて変換する。変換された注目点座標が撮像者ビュー情報である。
【0137】
・姿勢情報について
まず、図２８～図３０を用いて撮像装置５ａの姿勢情報について説明する。図２８は、撮像装置５ａの座標軸を説明する図の一例であり、図２９は基準となる撮像装置５ａの姿勢を説明する図の一例である。基準となる撮像装置５ａの姿勢とは、撮像装置の姿勢の初期状態である。
まず、図２８～図３０を用いて撮像装置５ａの姿勢情報について説明する。図２８は、撮像装置５ａの座標軸を説明する図の一例であり、図２９は基準となる撮像装置５ａの姿勢を説明する図の一例である。基準となる撮像装置５ａの姿勢とは、撮像装置の姿勢の初期状態である。
【0138】
図２８に示すように、撮像装置５ａの長手方向をＺ軸、シャッターボタンＳＢがある面からない面に向かって２つのレンズを通過する方向をＹ軸、撮像装置５ａの幅方向をＸ軸とする。この軸は撮像装置５ａと共に移動する。撮像装置５ａはＸ軸、Ｙ軸、Ｚ軸のそれぞれを中心に回転することができる。Ｘ軸を中心とする回転角をα、Ｙ軸を中心とする回転角をβ、Ｚ軸を中心とする回転角をγとする。
【0139】
【0140】
図３０は加速度・方位センサ１１８が検出する値を説明する図である。加速度・方位センサ１１８が検出する値を(ax, ay, az)とすると、図３０（ａ）のように本体はＸ軸を中心にα回転しており、その角度は
α＝ atan2(ay,－az) ay^2+az^2 ≧ threshR^2
＝ ０ ay^2+az^2 < threshR^2
と表せる。αは－π<α≦πの値をとる。
α＝ atan2(ay,－az) ay^2+az^2 ≧ threshR^2
＝ ０ ay^2+az^2 < threshR^2
と表せる。αは－π<α≦πの値をとる。
【0141】
Ｙ軸に関する回転は，図３０（ｂ）のように表せる。Ｚ軸に関する回転は，図３０（ｃ）のように表せる。しかし、応答性を向上させるためにはジャイロセンサ１１９を使用するとよい。ジャイロセンサ１１９の値(gα,gβ,gγ)は角速度[rad/sec]に相当する値が出力される。撮像装置５ａの回転角（姿勢情報）α,β、γは，ジャイロセンサ１１９の値を用いて，
α(n+1)=α(n)+k*gα*dt
β(n+1)=β(n)+k*gβ*dt
γ(n+1)=γ(n)+k*gγ*dt
として算出できる。
α(n+1)=α(n)+k*gα*dt
β(n+1)=β(n)+k*gβ*dt
γ(n+1)=γ(n)+k*gγ*dt
として算出できる。
【0142】
ただし、初期状態の向き(α(0)、β(0)、γ(0))=(α0、0、0)とする。kはジャイロセンサ１１９の感度に関する係数である。初期値を，k=1.0とする。手振れなどの影響を避ける場合はk=0.5とするなどすればローパスフィルタの効果を持たせられる。こうして得られた (α、β、γ) が姿勢情報である。なお、Ｚ軸回りの回転角γは指し示す方向に影響しないので、γは算出しなくてもよい。
【0143】
Ｘ軸回りの回転角αは加速度・方位センサ１１８の信号により、初期値がゼロでなくても正しい値を得られる。また、Ｚ軸回りの回転角γは指し示す方向に影響しない。これに対し、Ｙ軸回りの回転角βは単に初期値を０にするだけなので、例えば、電源ＯＮ時の初期状態が傾いていると正しい回転角βが得られない。そこで、撮像者８が対象を指し示す際は、撮像装置５ａを成立させ、所定のボタンを長押しするなどの回転角α、β、γの初期化を行うことが好ましい。
【0144】
あるいは、Ｙ軸回りの回転角βについてもＸ軸回りの回転角αと同様に、加速度・方位センサ１１８の出力から初期値を求めるとよい。
【0145】
・撮像者が指し示した注目点座標が天頂補正でどのように処理されるか
図３１を用いて、撮像者８が指し示した注目点座標が天頂補正でどのように処理されるかのイメージを説明する。図３１（ａ）は撮像者８が対象を指し示す様子を示す。撮像者８は撮像装置５ａで人形１９０を指し示している。
図３１を用いて、撮像者８が指し示した注目点座標が天頂補正でどのように処理されるかのイメージを説明する。図３１（ａ）は撮像者８が対象を指し示す様子を示す。撮像者８は撮像装置５ａで人形１９０を指し示している。
【0146】
例えば、撮像装置５ａの長手方向（上側）の被写体が写る画素又はある範囲を注目点座標とすると、図３１（ａ）の状態で撮像された画像は図３１（ｂ）のようになる。図３１（ｂ）は全天球画像が正距円筒図法で表された正距円筒画像である。この正距円筒画像は"天頂補正が行われていない"。正距円筒画像を作成する際、長手方向（上側）の被写体は上端部に横方向に拡大して変換される。すなわち、天頂補正しなければ長手方向（上側）の被写体は上端部に配置され、正距円筒画像なので上端部の被写体は横に広がる。天頂補正しない場合、注目点座標は正距円筒画像において常に同じ場所になる。
【0147】
撮像装置５ａは撮像装置５ａの姿勢に関わらず、実空間の上にあるものは画像の上側、下にあるものは画像の下側に表示するため、姿勢情報に基づいて画像を天頂補正する。図３１（ｃ）は"天頂補正された"正距円筒画像を示す。天頂補正の方向と量は姿勢情報によって決まるので、天頂補正のために画像を回転させる座標変換情報で、定義されている元の注目点座標を回転させれば正距円筒画像における注目点座標になる。図３１（ｃ）では注目点座標を丸１９１で囲んで示すが、丸１９１の中に図３１（ａ）の人形１９０が写っている。つまり、注目点座標で撮像者８が指し示す対象を特定できる。
【0148】
・画像処理部１６ａの機能について
図３２は、撮像装置５ａが有する画像処理部１６ａの主要な機能ブロックを示す。画像処理部１６ａは、撮像画像取得部２０２と、つなぎ合わせ処理部２０４と、天頂補正部２０６と、全天球画像生成部２０８と、画像圧縮部２１０と、注目点定義部１９４と、注目点変換部１９６と、注目点指定有無判断部１９８と、を有する。
図３２は、撮像装置５ａが有する画像処理部１６ａの主要な機能ブロックを示す。画像処理部１６ａは、撮像画像取得部２０２と、つなぎ合わせ処理部２０４と、天頂補正部２０６と、全天球画像生成部２０８と、画像圧縮部２１０と、注目点定義部１９４と、注目点変換部１９６と、注目点指定有無判断部１９８と、を有する。
【0149】
撮像画像取得部２０２は、上記した２つの撮像素子１３０Ａ，１３０Ｂを制御し、それぞれからの撮像画像を取得する。静止画の場合は、シャッターが押されたタイミングで取得された１フレーム分の２つの撮像画像が取得される。動画の場合は、連続したフレームが順次撮像され、各フレーム毎に２つの撮像画像が取得される。撮像素子１３０各々で撮像される画像は、概ね全天球のうちの半球を視野に収めた魚眼画像であり、全天球画像の部分的な画像を構成する。以下、撮像素子１３０それぞれが撮像した画像を部分画像と参照する場合がある。
【0150】
つなぎ合わせ処理部２０４は、取得された２つの部分画像間のつなぎ位置を検出し、２つの部分画像をつなぎ合わせるための処理を実行する。つなぎ位置検出処理では、フレーム毎に、複数の部分画像間に存在する重複領域において、複数の対応点各々の位置ずらし量を検出する処理が行われる。
【0151】
注目点定義部１９４は平面画像の中で注目点座標(x,y)を定義し保持している。注目点座標はユーザ（撮像者８等）が設定するのではなく、製造時、設計時、又は出荷時等に予め定義されている（固定されている）。なお、注目点座標が複数あってもよい。この場合、撮像者８は自分が使いたい注目点座標を撮像装置５ａ又は通信装置１を操作して選択する。
【0152】
注目点指定有無判断部１９８は、撮像者８が注目点を指定しようとしているか否かを判断する。例えば、撮像装置５ａの本体上のボタンが押下されている間、注目点指定有無判断部１９８は撮像者８が注目点を指定していると判断する。押下されていない間、注目点が指定されていないと判断する。撮像者８が注目点を指定していると注目点指定有無判断部１９８が判断した場合、注目点指定有無判断部１９８は記憶・読出部１９ａを介して、撮像者ビューモードである旨をモード管理ＤＢ１００１ａに記憶する。
【0153】
天頂補正部２０６は、姿勢情報取得部１５ａが取得した姿勢情報に基づいて、生成される全天球画像の天頂方向が所定の基準方向に一致するようにするための補正処理を実行する。具体的には後述する変換テーブルを補正する。ここで、所定の基準方向とは、典型的には、鉛直方向であり、重力加速度が作用する方向である。全天球画像の天頂方向が鉛直方向（天方向）に一致するよう補正することにより、特に動画像において、閲覧時に視野の変更を行う場合でもユーザに３次元酔いなどの違和感を与えないようにすることが可能となる。なお、変換テーブルについては図３３にて説明する。
【0154】
注目点変換部１９６は、注目点定義部１９４と注目点指定有無判断部１９８と、補正された変換テーブルを元に、平面座標上の注目点座標(x,y)を球面座標上の注目点座標(θ,φ)に変換する。つまり、姿勢情報に基づいて天頂補正された後の注目点座標を決定する。注目点変換部１９６はこの注目点情報を撮像者ビュー情報として全天球画像に添付する。
【0155】
ただし、この２つめの撮像者ビュー情報の受け付け方法では撮像者が動径を指定できない。動径は撮像装置５ａの方向だけでは定まらないためである。このため、注目点変換部１９６は予め定められている値を動径にする。例えば動径（ｒ）＝１０とする。
【0156】
全天球画像生成部２０８は、注目点変換部１９６の処理結果が反映された状態で、撮像された２つの部分画像から全天球画像を生成する処理を実行する。説明する実施形態においては、２つの部分画像から全天球画像を生成するためにも変換テーブルが使用される。全天球画像生成部２０８は、補正された変換テーブルを用いて、２つの部分画像から全天球画像を生成する。このように処理することにより、最終的な全天球画像を得るための処理負荷を軽減することができる。
【0157】
しかしながら、上記した実施形態に限定されるものではなく、２つの部分画像をつなぎ合わせて全天球画像を生成し、生成された全天球画像に対して天頂補正処理を施して、天頂補正が施された全天球画像を生成するよう構成することもできる。
【0158】
画像圧縮部２１０は、静止画圧縮ブロックを含み構成され、静止画を撮像する場合、撮像された画像を、ＪＰＥＧ（Joint Photographic Experts Group）などの所定の静止画形式の画像データに圧縮する。画像圧縮部２１０は、動画を撮像する場合、撮像された連続する画像フレームを所定の動画形式の画像データに圧縮する。動画圧縮形式としては、特に限定されるものではないが、Ｈ．２６４／ＭＰＥＧ－４ ＡＶＣ（Advanced Video Coding）、Ｈ．２６５／ＨＥＶＣ（High Efficiency Video Coding）、Ｍｏｔｉｏｎ ＪＰＥＧ、Ｍｏｔｉｏｎ ＪＰＥＧ２０００などの種々の動画圧縮形式を挙げることができる。生成された画像データは、伝送部２１１により他の拠点Ｂ～Ｄに送信される。伝送部２１１は撮像装置５ａの通信部１８ａと通信端末１の送受信部９１に相当する。
【0159】
なお、通信端末２の表示制御部７４の機能については後述する。
・変換テーブルについて
図３３は変換テーブル及び平面座標系から球面座標系への変換を説明する図である。図３３（ａ）は、本実施形態による撮像装置５ａが用いる変換テーブルを説明する図である。変換テーブルは、撮像素子の平面座標系（ｘ、ｙ）で表現される部分画像から、球面座標系（θ、φ）の正距円筒画像（以下、補正後画像という）への射影を規定する。変換テーブルは、各魚眼レンズごとに、補正後画像の座標値（θ,φ）と、該座標値（θ,φ）にマッピングされる補正前の部分画像の座標値（ｘ、ｙ）とを対応付ける情報を、全座標値（θ，φ）に対して保持したものである。図３３の例示では、１画素が担当する角度は、φ方向及びθ方向いずれも１／１０度であり、変換テーブルは、各魚眼レンズについて、３６００×１８００の対応関係を示す情報を有している。オリジナルの変換テーブルは、事前に製造元等で理想的なレンズモデルからの歪みを補正した上で計算され、テーブル化されたものを用いることができる。
・変換テーブルについて
図３３は変換テーブル及び平面座標系から球面座標系への変換を説明する図である。図３３（ａ）は、本実施形態による撮像装置５ａが用いる変換テーブルを説明する図である。変換テーブルは、撮像素子の平面座標系（ｘ、ｙ）で表現される部分画像から、球面座標系（θ、φ）の正距円筒画像（以下、補正後画像という）への射影を規定する。変換テーブルは、各魚眼レンズごとに、補正後画像の座標値（θ,φ）と、該座標値（θ,φ）にマッピングされる補正前の部分画像の座標値（ｘ、ｙ）とを対応付ける情報を、全座標値（θ，φ）に対して保持したものである。図３３の例示では、１画素が担当する角度は、φ方向及びθ方向いずれも１／１０度であり、変換テーブルは、各魚眼レンズについて、３６００×１８００の対応関係を示す情報を有している。オリジナルの変換テーブルは、事前に製造元等で理想的なレンズモデルからの歪みを補正した上で計算され、テーブル化されたものを用いることができる。
【0160】
図３３（ｂ）に示すように、変換テーブルにより、平面座標系（ｘ、ｙ）で表現される注目点座標１９９Ａが球面座標系（θ、φ）に射影される。平面座標系（ｘ、ｙ）で表現される注目点座標１９９Ａは撮像装置５ａから見て常に一定方向である。従って、変換テーブルが固定なら球面座標系（θ、φ）における注目点座標１９９Ｂも一定になる。
【0161】
しかし、撮像装置５ａはユーザの持ち方によって姿勢が変わるので、姿勢情報に応じて変換テーブルを補正しないと、実空間の天地方向と補正後画像の天地方向が一致しない。このため、天頂補正では、この変換テーブルが姿勢情報に応じて補正される。
【0162】
・変換テーブルの補正
図３４は、姿勢情報に基づく変換テーブルの補正を説明する図である。ここで、座標変換前の３次元直交座標を（ｘ１，ｙ１，ｚ１）、（ｘ１，ｙ１，ｚ１）の球面座標を（θ１，φ１）と表記し、座標変換後の３次元直交座標を（ｘ２，ｙ２，ｚ２）、（ｘ２，ｙ２，ｚ２）の球面座標を（θ２，φ２）と表記する。
図３４は、姿勢情報に基づく変換テーブルの補正を説明する図である。ここで、座標変換前の３次元直交座標を（ｘ１，ｙ１，ｚ１）、（ｘ１，ｙ１，ｚ１）の球面座標を（θ１，φ１）と表記し、座標変換後の３次元直交座標を（ｘ２，ｙ２，ｚ２）、（ｘ２，ｙ２，ｚ２）の球面座標を（θ２，φ２）と表記する。
【0163】
変換テーブルの補正処理では、式（１）～（６）を用いて、球面座標（θ１、φ１）から球面座標（θ２、φ２）への変換を行う。
【0164】
【数1】
【0165】
次に、対象を指し示す撮像装置５ａの姿勢情報α、β、γを用いて、式（４）により、３次元直交座標系（ｘ１，ｙ１，ｚ１）を、３次元直交座標系（ｘ２，ｙ２，ｚ２）に変換する。式（４）は、元の座標系を、ｘ軸を軸にα回転させ、ｙ軸を軸にβ回転させ、ｚ軸を軸にγ回転させることにより、変換後の座標系になることを意味している。
【0166】
最後に、式（５）及び式（６）を用いて、変換後の３次元直交座標（ｘ２，ｙ２，ｚ２）を球面座標（θ２，φ２）に戻す変換を行う。（θ１，φ１）を変換テーブルの補正前の球面座標系の座標とすれば、撮像装置５ａの姿勢情報に応じて、変換テーブルの球面座標を（θ２，φ２）に補正できる。
【0167】
注目点変換部１９６が補正後の変換テーブルで平面座標系の注目点座標を球面座標系の注目点座標に変換すれば、それが天頂補正後の球面座標系の注目点座標になる。
【0168】
以上で、撮像者ビュー情報の受け付け方法２の説明を終了する。
【0169】
＜各通信端末の表示制御部の機能＞
他の拠点から送信された全天球画像を受信すると、通信端末１～４は全天球画像を表示する。各通信端末１～４の表示制御部７４の機能は、撮像者ビュー情報の受け付け方法１，２に共通である。図３２では表示制御部７４の機能を説明するが、通信端末３の表示制御部３４ｃ、通信端末４の表示制御部３４ｄ、及び、通信端末１の表示制御部９４も同様になる。
他の拠点から送信された全天球画像を受信すると、通信端末１～４は全天球画像を表示する。各通信端末１～４の表示制御部７４の機能は、撮像者ビュー情報の受け付け方法１，２に共通である。図３２では表示制御部７４の機能を説明するが、通信端末３の表示制御部３４ｃ、通信端末４の表示制御部３４ｄ、及び、通信端末１の表示制御部９４も同様になる。
【0170】
図３２に示すように、通信端末２の表示制御部７４は、画像展開部２１２と、注目点決定部２１４と、画像回転部２１６と、切出処理部２２０と、拡大／レターボックス処理部２２２と、出力部２２４とを有する。
【0171】
画像展開部２１２は、撮像装置５ａから送信された全天球画像を読み出し、全天球画像を取得する。取得された全天球画像は、メモリ上に展開される。
【0172】
画像回転部２１６は、注目点変換部１９６により決定された注目点に応じて、全天球画像を回転させる。これにより、注目点座標は正距円筒画像の中央に移動する。回転処理については図３５にて説明する。
【0173】
切出処理部２２０は、回転された全天球画像の一部（中央）を切り出して、切出画像を生成する。切り出すとはある部分を取り出すことをいう。また、トリミングといってもよい。好ましい実施形態では、切出処理部２２０は、変換後全天球画像の中央部分を切り出す処理であり、これにより、全天球画像における注目点を中心とした一定サイズの部分に対応した画像が切り出される。
【0174】
なお、説明する実施形態では、切出処理部２２０は、画像の一部を切り出して切出画像を生成する機能を有するものとして説明する。しかしながら、他の実施形態では、切出処理部２２０が備える機能としては、画像の一部を切り出して切出画像を生成するという機能のみならず、解像度を低下させる機能であってもよい。
【0175】
拡大／レターボックス処理部２２２は、切出処理部２２０で切り出された画像に対し、出力先のディスプレイやプロジェクタなどの映像出力装置の解像度及びアスペクト比に応じて拡大処理を実行し、切り出された画像部分の上下に黒帯を追加する処理を行い、表示画像を生成する。出力部２２４は、拡大／レターボックス処理部２２２により処理されて生成された表示画像を、映像出力インタフェース１２９を介して出力する（表示する）。なお、拡大／レターボックス処理部２２２による処理は、切出画像が映像出力装置の解像度及びアスペクト比に対応している場合には省略することができる。
【0176】
静止画の場合は、少なくとも注目点が変化する毎、典型的には所定インターバル毎に、同一の全天球画像に対し、上記機能部（画像回転部２１６と、切出処理部２２０と、拡大／レターボックス処理部２２２と、出力部２２４）による映像出力処理が繰り返し実行され、その時点の注目点に応じて表示画像が更新される。動画の場合は、典型的にはフレーム毎に、上記機能部による映像出力処理が繰り返し実行され、表示画像が更新される。
【0177】
撮像者８が、撮像装置５ａを真上方向に向けた状態を基準とし、前後左右に傾けたり、回転させたりすることにより、注目点を変更し、変更された注目点に応じた全天球画像の表示画像をユーザが閲覧することが可能となる。
【0178】
＜画像回転部による画像回転処理＞
続いて、図３５を用いて、画像回転部２１６による回転処理について説明する。図３５は画像回転部２１６の画像回転処理を模式的に示す図である。画像回転とは球面座標上で注目点座標を画像中央に移動させる処理をいう。
・回転後の新しい座標を(θN,φN)
・注目点座標を(θ0,φ0)
・回転の対象となる任意の座標を（θ、φ）
とする。
続いて、図３５を用いて、画像回転部２１６による回転処理について説明する。図３５は画像回転部２１６の画像回転処理を模式的に示す図である。画像回転とは球面座標上で注目点座標を画像中央に移動させる処理をいう。
・回転後の新しい座標を(θN,φN)
・注目点座標を(θ0,φ0)
・回転の対象となる任意の座標を（θ、φ）
とする。
【0179】
式（７）（８）により注目点座標を画像中央に移動させることができる。
θN=θ－θ0 + 180° (θ－θ0 ≦ 180°)
θ－θ0 － 180° (θ－θ0 > 180°) … （７）
φN=φ－φ0 + 90° (φ－φ0 ≦ 90°)
φ－φ0 － 90° (φ－φ0 > 90°) … （８）
式（７）（８）は、中央点と注目点座標のθ方向とφ方向の差だけ任意の画素を回転（移動）させている。
θN=θ－θ0 + 180° (θ－θ0 ≦ 180°)
θ－θ0 － 180° (θ－θ0 > 180°) … （７）
φN=φ－φ0 + 90° (φ－φ0 ≦ 90°)
φ－φ0 － 90° (φ－φ0 > 90°) … （８）
式（７）（８）は、中央点と注目点座標のθ方向とφ方向の差だけ任意の画素を回転（移動）させている。
【0180】
＜全天球画像の送信手順＞
続いて、図３６を用い、拠点Ａで得られた全天球画像及び音データが、通信管理システム５０を介して、他の各通信端末２～４へ送信される処理について説明する。図３６は、映像通話における全天球画像及び音データの通信処理を示すシーケンス図である。
続いて、図３６を用い、拠点Ａで得られた全天球画像及び音データが、通信管理システム５０を介して、他の各通信端末２～４へ送信される処理について説明する。図３６は、映像通話における全天球画像及び音データの通信処理を示すシーケンス図である。
【0181】
まず、撮像装置５ａの通信部１８ａから通信端末１の通信部９８に対して、被写体や風景等を撮像して得た全天球画像及び集音して得た音データを送信する（ステップＳ１０１）。これにより、通信端末１の通信部９８は、全天球画像及び音データを受信する。
・撮像者ビュー情報の受け付け方法２の場合、注目点指定有無判断部１９８は記憶・読出部１９ａを介して、撮像者ビューモードか自由視点モードかをモード管理ＤＢ１００１ａに記憶する。また、撮像者ビューモードの場合、注目点変換部１９６が撮像者ビュー情報を生成するので、撮像者ビュー情報も通信端末１に送信される。
・撮像者ビュー情報の受け付け方法２の場合、注目点指定有無判断部１９８は記憶・読出部１９ａを介して、撮像者ビューモードか自由視点モードかをモード管理ＤＢ１００１ａに記憶する。また、撮像者ビューモードの場合、注目点変換部１９６が撮像者ビュー情報を生成するので、撮像者ビュー情報も通信端末１に送信される。
【0182】
次に、通信端末１の送受信部９１は、通信管理システム５０に対して、撮像装置５ａから送られてきた全天球画像、音データ、及び注目点情報を送信する（ステップＳ１０２）。この送信には、送信対象である撮像画像データを識別するための画像データＩＤが含まれている。これにより、通信管理システム５０の送受信部５１は、全天球画像（画像データＩＤ）、音データ、及び注目点情報を受信する。
・撮像者ビュー情報の受け付け方法１の場合、受付部９２はビューボタン２５１が押下されると、記憶・読出部９９を介して、撮像者ビューモードか自由視点モードかを記憶部９０００に記憶する。算出部９７は撮像装置５ａから送信された全天球画像を画面のレイアウト番号４の表示領域に表示した際の所定領域を示す所定領域情報を閲覧者ビュー情報ＤＢ９００４に記憶しているので、これが撮像者ビュー情報となる。
・撮像者ビュー情報の受け付け方法１の場合、受付部９２はビューボタン２５１が押下されると、記憶・読出部９９を介して、撮像者ビューモードか自由視点モードかを記憶部９０００に記憶する。算出部９７は撮像装置５ａから送信された全天球画像を画面のレイアウト番号４の表示領域に表示した際の所定領域を示す所定領域情報を閲覧者ビュー情報ＤＢ９００４に記憶しているので、これが撮像者ビュー情報となる。
【0183】
次に、通信管理システム５０の送受信部５１は、通信端末１と同じ映像通話に参加している通信端末２～４に対して、全天球画像（画像データＩＤ）、音データ、及び、撮像者ビューモードの場合は撮像者ビュー情報を送信する（ステップＳ１０３，Ｓ１０４，Ｓ１０５）。これら各送信には、送信対象である全天球画像を識別するための画像データＩＤが含まれている。これにより、通信端末２の送受信部７１、通信端末３の送受信部３１ｃ及び通信端末４の送受信部３１ｄは、それぞれ、全天球画像（画像データＩＤ）、音データ、及び、及び、撮像者ビューモードの場合は撮像者ビュー情報を受信する。なお、一般には通信端末１も自拠点の全天球画像を通信管理システム５０から受信して表示するが、図３６では省略されている。
【0184】
＜モード切替トリガーの検出に応じた処理＞
図３７は、モード切替トリガーの検出に応じて撮像者ビュー情報を送信する一例の送信手順をシーケンス図である。自由視点モードからモード切替トリガーにより撮像者ビューモードとなり、再び、モード切替トリガーにより自由視点モードに戻る例を示している。
図３７は、モード切替トリガーの検出に応じて撮像者ビュー情報を送信する一例の送信手順をシーケンス図である。自由視点モードからモード切替トリガーにより撮像者ビューモードとなり、再び、モード切替トリガーにより自由視点モードに戻る例を示している。
【0185】
図３７では撮像装置５ａがモード切替トリガーの切り替えを検出する場合を説明する。また、説明の便宜上、通信端末１は省略し、送信先の通信端末２のみ示した。
【0186】
S200：注目点変換部１９６はモード管理ＤＢ１００１ａから現在のモードを取得する。現在は自由視点モードとなっている。
【0187】
S201：自由視点モードであるため、注目点変換部１９６は撮像者ビュー情報を作成せず、通信部１８ａは全天球画像と音データを、通信端末１を介して通信端末２に送信する。
【0188】
S202：通信端末２の送受信部７１は全天球画像と音データを受信するが、撮像者ビュー情報が添付されていないため、表示制御部７４は閲覧者ビュー情報ＤＢ７００４から閲覧者ビュー情報を取得する。
【0189】
S203：表示制御部７４は閲覧者ビュー情報に基づき、所定領域画像を生成する。
【0190】
S204：表示制御部７４は所定領域画像をディスプレイ９１７に表示する。
【0191】
S205：モード切替トリガーが発生した。表１にて説明したように、撮像装置５ａで発生するモードの切り替えの契機は物理ボタン、ジャイロセンサ、又は、映像情報のいずれかである。
【0192】
S206：モード切替トリガーが発生し、撮像者ビューモードに切り替わったため、注目点変換部１９６は撮像者ビュー情報を作成する。
【0193】
S207：撮像者ビューモードになった旨を、注目点指定有無判断部１９８又はモード受付部１７ａがモード管理ＤＢ１００１に記憶する。
【0194】
S208：撮像者ビューモードであるため、通信部１８ａは全天球画像、音データ及び撮像者ビュー情報を、通信端末１を介して通信端末２に送信する。
【0195】
S209：通信端末２の送受信部７１は全天球画像、音データ及び撮像者ビュー情報を受信する。撮像者ビュー情報が添付されているため、表示制御部７４は撮像者ビュー情報に基づき、所定領域画像を生成する。例えば、図３５で説明した方法を使用する。
【0196】
S210：表示制御部７４は所定領域画像をディスプレイ９１７に表示する。
【0197】
S211：記憶・読出部７９は閲覧者ビュー情報ＤＢ７００４に撮像者ビュー情報を記憶する。こうすることで撮像者ビューモードが終了した場合、最後に撮像者ビューモードで表示された所定領域画像を継続して表示できる。
【0198】
S212：再度、モード切替トリガーが発生し、撮像者ビューモードが終了した。
【0199】
S213：モードが切り替わったため、注目点指定有無判断部１９８又はモード受付部１７ａが自由視点モードである旨をモード管理ＤＢ１００１に記憶する。
【0200】
S214：自由視点モードであるため、注目点変換部１９６は撮像者ビュー情報を作成せず、通信部１８ａは全天球画像と音データを、通信端末１を介して通信端末２に送信する。
【0201】
このように、モード切替トリガーにより自由視点モードと撮像者ビューモードを切り替え、撮像者が見せたい対象をユーザに見せることができる。
【0202】
なお、動画の場合、ステップS214で全天球画像が送信されるが撮像者ビュー情報が送信されないことで、通信端末２は自由視点モードに戻ったことを検出できる。静止画の場合、全天球画像が送信されないので、通信端末２が自由視点モードに戻ったことを検出しにくくなる。静止画の場合、撮像装置５ａは自由視点モードであることを送信してもよいし、通信端末２が撮像者ビュー情報を受信してから一定時間が経過すると、自動的に自由視点モードに戻ってもよい。
【0203】
【0204】
S300：記憶・読出部９９は通信端末１が持っているモード管理ＤＢから現在のモードを取得する。現在は自由視点モードとなっている。
【0205】
S300－2:撮像装置５ａは全天球画像と音データを通信端末1に送信する。静止画の場合は一度だけ送信され、動画の場合は繰り返し送信される。
【0206】
S301：通信端末１の送受信部９１は全天球画像と音データを通信端末２に送信する。
【0207】
続く、ステップS302～S304は図３７のステップS202～S204と同様でよい。
【0208】
S305：モード切替トリガーが発生した。表１に示すように、通信端末１で発生するモードの切り替えの契機はソフトボタン、又は映像情報のいずれかである。
【0209】
S306：モード切替トリガーが発生し、撮像者ビューモードに切り替わったため、記憶・読出部９９は閲覧者ビュー情報ＤＢ９００４から閲覧者ビュー情報を読み出す。これが撮像者ビュー情報となる。
【0210】
S307：撮像者ビューモードになった旨を、記憶・読出部９９は通信端末１が持っているモード管理ＤＢに記憶する。
【0211】
S307－2:撮像装置５ａは全天球画像と音データを通信端末1に送信する。静止画の場合は一度だけ送信され、動画の場合は繰り返し送信される。
【0212】
S308：撮像者ビューモードであるため、通信端末１の送受信部９１は全天球画像、音データ及び撮像者ビュー情報を通信端末２に送信する。
【0213】
続く、ステップS309～S311は図３７のステップS209～S211と同様でよい。
【0214】
S312：再度、モード切替トリガーが発生し、撮像者ビューモードが終了した。
【0215】
S313：モードが切り替わったため、自由視点モードになった旨を、記憶・読出部９９は通信端末１が持っているモード管理ＤＢに記憶する。
【0216】
続く、ステップS313－2～S314は図３８のステップS300－2～S301と同様でよい。
【0217】
このように、通信端末１においてもモード切替トリガーを検出し、撮像者が見せたい対象をユーザに見せることができる。
【0218】
＜撮像装置における処理＞
続いて、図３９を用いて撮像装置５ａの処理を説明する。図３９は撮像装置５ａがモード切替トリガーを検出して、モードを切り替える一例の手順のフローチャート図である。図３９の処理は、例えば、送信する全天球画像を準備できた後、スタートする。
続いて、図３９を用いて撮像装置５ａの処理を説明する。図３９は撮像装置５ａがモード切替トリガーを検出して、モードを切り替える一例の手順のフローチャート図である。図３９の処理は、例えば、送信する全天球画像を準備できた後、スタートする。
【0219】
まず、記憶・読出部１９はモード管理ＤＢ１００１ａから現在のモード情報を取得する（Ｓ４００）。
【0220】
注目点変換部１９６は撮像者ビューモードか否か判断する（Ｓ４０１）。撮像者ビューモードであった場合、注目点変換部１９６は姿勢情報から撮像者ビュー情報を作成する（Ｓ４０２）。
【0221】
注目点変換部１９６は画像データに撮像者ビュー情報を添付する。画像データから作成された全天球画像、音データ及び撮像者ビュー情報を通信部１８ａが通信端末１を介して通信端末２～４に送信する（Ｓ４０３）。
【0222】
ステップＳ４０１で自由視点モードであった場合、注目点変換部１９６は撮像者ビュー情報を作成せず、通信部１８ａは全天球画像と音データのみを通信端末２～４に送信する（Ｓ４０４）。
【0223】
注目点指定有無判断部１９８又はモード受付部１７ａはモード切替トリガーの検出を行う（Ｓ４０５）。
【0224】
モード切替トリガーが検出された場合（Ｓ４０６のＹｅｓ）、記憶・読出部９９はモード管理ＤＢ１００１ａに現在のモードを記憶する（Ｓ４０７）。
【0225】
なお、通信端末１がモード切替トリガーを検出する場合、ステップＳ４０２で撮像者ビュー情報を閲覧者ビュー情報ＤＢ９００４から読み出す点で異なるがその他は同様に説明される。
【0226】
＜通信端末２における処理＞
続いて、図４０を用いて通信端末２の処理を説明する。図４０は通信端末２が撮像者ビュー情報の有無に応じて全天球画像を表示する一例の手順のフローチャート図である。図４０の処理は、例えば、セッションに参加中、実行される。なお、通信端末１，３，４についても処理の流れは同じである。
続いて、図４０を用いて通信端末２の処理を説明する。図４０は通信端末２が撮像者ビュー情報の有無に応じて全天球画像を表示する一例の手順のフローチャート図である。図４０の処理は、例えば、セッションに参加中、実行される。なお、通信端末１，３，４についても処理の流れは同じである。
【0227】
通信端末２の送受信部７１は全天球画像を受信する（Ｓ５００）。通信端末２の判断部７５は受信した全天球画像に撮像者ビュー情報が添付されているか否かを判断する（Ｓ５０１）。
【0228】
撮像者ビュー情報が添付されている場合（Ｓ５０１のＹｅｓ）、表示制御部７４は例えば図３５で説明したように注目点を移動させ、所定領域Ｔを決定する（Ｓ５０２）。それまで、表示していた所定領域画像に関わりなく、強制的に注目点が表示される。
【0229】
次に、表示制御部７４は所定領域Ｔの画像を透視投影変換して所定領域画像を作成する（Ｓ５０３）。
【0230】
次に、表示制御部７４は所定領域画像をディスプレイ９１７に表示する（Ｓ５０４）。
【0231】
算出部７７は撮像者ビュー情報を元に閲覧者ビュー情報を作成する（Ｓ５０５）。ステップＳ５０２で使用した撮像者ビュー情報をそのまま閲覧者ビュー情報とする。
【0232】
記憶・読出部７９は閲覧者ビュー情報ＤＢ７００４の閲覧者ビュー情報を撮像者ビュー情報で更新する（Ｓ５１０）。
【0233】
ステップＳ５０１で撮像者ビュー情報が添付されていない場合、記憶・読出部７９は閲覧者ビュー情報ＤＢ７００４から閲覧者ビュー情報を取得する。表示制御部７４はステップＳ５０２と同様に閲覧者ビュー情報に基づいて所定領域Ｔを算出する（Ｓ５０６）。
【0234】
次に、表示制御部７４は所定領域Ｔの画像を透視投影変換して所定領域画像を作成する（Ｓ５０７）。
【0235】
次に、表示制御部７４は所定領域画像をディスプレイ９１７に表示する（Ｓ５０８）。
【0236】
ユーザが全天球画像の所定領域を変更すると、受付部７２が受け付け、算出部７７は所定領域を元に閲覧者ビュー情報を作成する（Ｓ５０９）。
【0237】
記憶・読出部７９は閲覧者ビュー情報ＤＢ７００４の閲覧者ビュー情報を算出部７７が算出した閲覧者ビュー情報で更新する（Ｓ５１０）。
【0238】
このように、通信端末２は、撮像者ビュー情報を受信すると、撮像者ビュー情報で指定される所定領域Ｔを自動的に表示するので、撮像者が見せたい対象をユーザが閲覧できる。
【0239】
＜撮像者ビューモードの通知＞
図３７や図３８では、撮像者ビュー情報が送信されるとそれが全天球画像の閲覧に関するモードが撮像者ビューモードである旨を通知する情報となっていた。しかし、撮像者ビュー情報は所定領域Ｔを指示する情報なので、撮像者ビューモード以外でも使用されるおそれがある。このため、撮像装置５ａは撮像者ビューモードであることを明示的に通信端末２～４に送信するとよい。
図３７や図３８では、撮像者ビュー情報が送信されるとそれが全天球画像の閲覧に関するモードが撮像者ビューモードである旨を通知する情報となっていた。しかし、撮像者ビュー情報は所定領域Ｔを指示する情報なので、撮像者ビューモード以外でも使用されるおそれがある。このため、撮像装置５ａは撮像者ビューモードであることを明示的に通信端末２～４に送信するとよい。
【0240】
図４１は、撮像者ビュー情報と撮像者ビューモードを通知する一例の送信手順をシーケンス図である。図４１は図３７と同様であるが、ステップS208で全天球画像、撮像者ビュー情報に加え、撮像者ビューモード通知が送信されている。撮像者ビューモード通知は撮像者ビューモードである旨を各通信端末２～４に通知する情報である。これにより、通信端末２～４は撮像者ビューモード通知を受信した場合に、撮像者ビュー情報が表示領域に撮像者ビュー情報で指示される所定領域を表示する情報であると判断して所定領域画像を自動的に表示できる。
【0241】
＜通信端末における全天球画像の表示例＞
図４２は、拠点Ｂにおいて通信端末２のディスプレイ９１７に表示された映像表示画面２５０の一例である。なお、図４２において図２７と同一の構成要素については説明を省略する。
図４２は、拠点Ｂにおいて通信端末２のディスプレイ９１７に表示された映像表示画面２５０の一例である。なお、図４２において図２７と同一の構成要素については説明を省略する。
【0242】
映像表示画面２５０の左側の表示領域（レイアウト番号「１」）には拠点Ａの全天球画像が表示され、右側上段の表示領域（レイアウト番号「２」）には拠点Ｃの全天球画像が表示されている。更に、映像表示画面２５０の右側中段の表示領域（レイアウト番号「３」）には拠点Ｄの画像が表示され、右側下段の表示領域（レイアウト番号「４」）には拠点Ｂ（自拠点）の画像が表示されている。
【0243】
なお、レイアウト番号１とレイアウト番号２の表示領域には、全天球アイコン１９２が表示されている。これにより、表示領域に表示されている映像が全天球画像であることがわかり、ユーザは所定領域Ｔを変更できる。また、レイアウト番号１の表示領域には注目点アイコン１９３が表示されている。注目点アイコン１９３は、撮像者ビュー情報が送信された場合に表示制御部７４が表示させる。注目点アイコン１９３は、撮像者ビューモードである旨を示す。これにより、ユーザは現在、注目点が表示されており、所定領域Ｔを変更できないこと又は制限があることが分かる。
【0244】
所定領域Ｔを変更できないとは、受付部７２が表示領域に表示される所定領域の変更を受け付けないか、又は、所定領域の変更を受け付けるが、ユーザ９ｂが所定領域の変更の操作をやめると、注目点変換部１９６が変換した注目点を切出処理部２２０が画像から切り出して再度、表示することをいう。例えば、ユーザ９ｂはドラッグしている間だけ（マウスはクリックしたまま）又はスワイプして指をタッチさせたままの間だけ任意の所定領域を表示できる。
【0245】
撮像者ビューモードの間、撮像者ビュー情報に基づく所定領域画像の表示が継続される。なお、ユーザ９ｂが撮像者ビュー情報に基づく所定領域の強制的な表示を停止させることができてもよい。この場合、例えば所定のボタンが用意される。このボタンを１回、押下すると撮像者ビュー情報に基づく所定領域の強制的な表示が停止され、ユーザ９ｂは任意の所定領域Ｔを表示できる。更にこのボタンを１回、押下すると、撮像者ビュー情報に基づいて所定領域が強制的に表示される。
【0246】
図４２に示すように、多拠点で映像通信できるので、ユーザ９ｂと９ｄが知り合いだが、一緒に店舗に行けないような場合も、臨場感のあるコミュニケーションが可能になる。例えば、ユーザ９ｂとユーザ９ｄはそれぞれの拠点から同じ対象を見て、その場で感想を言い合うような使い方が可能になる。
【0247】
＜優先度による所定領域の表示制御＞
本実施形態では撮像者が撮像者ビューモードにモードを切り替えると、他の通信端末２～４では撮像者ビュー情報に基づいて所定領域が表示される。しかし、図４２の映像表示画面２５０で説明したように、撮像者ビュー情報で所定領域を表示した後、通信端末２～４のユーザが任意の所定領域を表示してもよい。
本実施形態では撮像者が撮像者ビューモードにモードを切り替えると、他の通信端末２～４では撮像者ビュー情報に基づいて所定領域が表示される。しかし、図４２の映像表示画面２５０で説明したように、撮像者ビュー情報で所定領域を表示した後、通信端末２～４のユーザが任意の所定領域を表示してもよい。
【0248】
しかし、各拠点の撮像者及びユーザは同じ対象を見ながら議論できるとよいため、あるユーザが指定した所定領域を他の通信端末が共有する使い方がある。あるユーザの所定領域を示す所定領域情報を第三者ビュー情報（第二の所定領域情報の一例）という。第三者ビュー情報を送信できるユーザは操作権を有する者であり、例えば音データが最も大きい通信端末のユーザや、操作権を主張した（所定のボタンを押下した）ユーザである。
【0249】
このような操作権を設定する方法では、操作権がないユーザは第三者ビュー情報を送信できる。しかし、操作権なしに任意のタイミングで各ユーザが第三者ビュー情報を送信すると、同じ全天球画像を共有している通信端末２～４で所定領域が度々変わり、ユーザが閲覧しにくい。そこで、優先度を用いることが考えられる。通信端末１～４に優先度を設けておき、通信端末１～４が第三者ビュー情報（通信端末１の場合は撮像者ビュー情報も送信する）を送信する場合は、優先度を添付することとして、各通信端末１～４は優先度が最も高い通信端末の第三者ビュー情報に基づいて所定領域を表示する。
【0250】
通信端末１についても同様であるが、通信端末１の撮像者ビュー情報は優先されるべきなので、原則的に最も高い優先度を持っている。しかし、例外的に例えば重要な顧客の通信端末などの優先度を撮像者よりも高くすることが考えられる。
【0251】
従って、自由視点モードでは通信端末１～４のうち最も優先度が高い通信端末の所定領域情報で所定領域を共有でき、撮像者ビューモードでは撮像者ビュー情報に基づく所定領域を優先して共有しながら、優先度が特別に高い他のユーザの所定領域を共有することもできる。
【0252】
なお、優先度はほぼ同時に第三者ビュー情報（又は撮像者ビュー情報）が送信された場合に各通信端末１～４が表示する所定領域を調整するための情報であり、ほぼ同時でなければ（第三者ビュー情報（又は撮像者ビュー情報）の受信に一定時間の時間差があれば）、優先度に関係なく第三者ビュー情報が有効になる。
【0253】
【0254】
ステップＳ６０１～Ｓ６０７は自由視点モードである。ステップＳ６０１～Ｓ６０３で通信端末１の送受信部９１は全天球画像、第三者ビュー情報、及び優先度３を通信端末２～４に送信する。
【0255】
また、ほぼ同時に、ステップＳ６０４～Ｓ６０６で通信端末２の送受信部７１は第三者ビュー情報、及び優先度２を通信端末２～４に送信する。
【0256】
優先度２の方が優先度が高いので、通信端末１～４は通信端末２の第三者ビュー情報に基づいて全天球画像の所定領域を表示する（Ｓ６０７）。従って、優先度が最も高いユーザの第三者ビュー情報で所定領域を共有できる。
【0257】
ステップＳ６０８～Ｓ６２１では撮像者ビュー情報が送信される。ステップＳ６０８～Ｓ６１０で通信端末１の送受信部９１は全天球画像、撮像者ビュー情報、及び優先度１を通信端末２～４に送信する。
【0258】
また、ほぼ同時に、ステップＳ６１１～Ｓ６１３で通信端末２の送受信部７１は第三者ビュー情報、及び優先度２を通信端末２～４に送信する。
【0259】
優先度１の方が優先度が高いので、通信端末１～４は通信端末１の撮像者ビュー情報に基づいて全天球画像の所定領域を表示する（Ｓ６１４）。従って、撮像者が指定した所定領域を共有できる。
【0260】
次に、ステップＳ６１５～Ｓ６１７で通信端末１の送受信部９１は全天球画像、撮像者ビュー情報、及び優先度１を通信端末２～４に送信する。
【0261】
また、ほぼ同時に、ステップＳ６１８～Ｓ６２０で通信端末３の送受信部３１ｃは第三者ビュー情報、及び優先度０を通信端末２～４に送信する。
【0262】
優先度０の方が優先度が高いので、通信端末１～４は通信端末３の第三者ビュー情報に基づいて全天球画像の所定領域を表示する（Ｓ６２１）。従って、撮像者ビューモードでも撮像者以外のユーザが指定した所定領域を共有できる。
【0263】
このように、各拠点の通信端末１～４は、自由視点モードでは通信端末１～４のうち最も優先度が高い通信端末の所定領域情報で所定領域を共有でき、撮像者ビューモードでは撮像者ビュー情報に基づく所定領域を優先して共有しながら、優先度が特別に高い他のユーザの所定領域を共有することもできる。
【0264】
＜まとめ＞
以上説明したように、本実施形態の画像通信システム１０は、撮像者が撮像者ビューモードにモードを切り替えると、通信端末１から全天球画像と共に撮像者ビュー情報が各拠点Ｂ～Ｄに送信される。拠点Ｂ～Ｄの通信端末２～４は全天球画像と撮像者ビュー情報を受信すると、撮像者ビュー情報で全天球画像を表示する。従って、画像の表示に関する各拠点の通信端末の動作を切り替えることができる。
以上説明したように、本実施形態の画像通信システム１０は、撮像者が撮像者ビューモードにモードを切り替えると、通信端末１から全天球画像と共に撮像者ビュー情報が各拠点Ｂ～Ｄに送信される。拠点Ｂ～Ｄの通信端末２～４は全天球画像と撮像者ビュー情報を受信すると、撮像者ビュー情報で全天球画像を表示する。従って、画像の表示に関する各拠点の通信端末の動作を切り替えることができる。
【0265】
＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【0266】
例えば、本実施形態の画像通信システム１０は、不動産の内見、展示会、展覧会、工場見学、観光、視察、など現地の対象を指し示して各拠点で共有する場合に広く適用できる。
【0267】
また、本実施形態では人間が撮像装置５ａで対象を指し示したが、機械やロボット、動物が指し示してもよい。例えば、移動可能な機械などの進行方向に撮像装置５ａを固定すれば、常に進行方向の対象を表示でき、必要であれば画像を回転させて周囲の状況も確認することができる。この場合、注目点座標を表示するかどうかを、全天球画像を受信する側で切り替えられるとよい。
【0268】
また、本実施形態では全天球画像を例にしてその一部の注目点を表示させたが、全天球画像は必ずしも周囲３６０度を撮像できなくてもよい。例えば、半球だけを撮像できてもよいし、水平方向にだけ３６０度を撮像できてもよい。また、ディスプレイに収まりきらない画素数が多い平面画像でもよい。
【0269】
また、図１５、図１６、図３２などの構成例は、画像通信システム１０による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。画像通信システム１０の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。
【0270】
複数の通信管理システム５０が存在してもよいし、通信管理システム５０の機能が複数のサーバに分散していてもよい。画像データと音データを中継する中継装置があってもよい。
【0271】
上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC（Application Specific Integrated Circuit）、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。
【符号の説明】
【0272】
１～４ 通信端末
５ 撮像装置
８ 撮像者
１０ 画像通信システム
５ 撮像装置
８ 撮像者
１０ 画像通信システム
【先行技術文献】
【特許文献】
【0273】
【文献】特開２０１２－１７８１３５号公報
【文献】特開２０１１－２２３０７６号公報
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】
【図39】
【図40】
【図41】
【図42】
【図43】