知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024137702
(43)【公開日】2024-10-07
(54)【発明の名称】通信端末、通信システム、プログラム、表示方法
(51)【国際特許分類】
H04N 7/18 20060101AFI20240927BHJP
H04N 23/60 20230101ALI20240927BHJP
H04N 23/698 20230101ALI20240927BHJP
H04N 23/63 20230101ALI20240927BHJP
H04N 21/435 20110101ALI20240927BHJP
H04N 21/44 20110101ALI20240927BHJP
【ＦＩ】
H04N7/18 U
H04N23/60 300
H04N23/60 500
H04N23/698
H04N23/63
H04N21/435
H04N21/44
【審査請求】未請求
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2024002819
(22)【出願日】2024-01-11
(31)【優先権主張番号】P 2023045347
(32)【優先日】2023-03-22
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】長谷川 尭志
(72)【発明者】
【氏名】堀内 岳志
(72)【発明者】
【氏名】本間 毅史
(72)【発明者】
【氏名】日野原 寛
【テーマコード（参考）】
5C054
5C122
5C164
【Ｆターム（参考）】
5C054CA04
5C054CC02
5C054DA07
5C054DA09
5C054FD03
5C054FD07
5C054GB02
5C054HA03
5C122FA02
5C122FA18
5C122FB06
5C122FH04
5C122FH06
5C122FK24
5C122HA03
5C122HA76
5C122HB05
5C164FA06
5C164UB01P
5C164UB10P
(57)【要約】
【課題】撮像装置の姿勢が変化しても画像の変化を抑制する技術を提供すること。
【解決手段】本発明は、撮像装置が撮像した広視野画像を、ネットワークを介して受信する通信端末であって、前記撮像装置が設置された第一の時期における前記撮像装置の第一の姿勢情報を保存する記憶・読出部と、前記撮像装置が設置された第二の時期における前記撮像装置の第二の姿勢情報、及び、前記第二の時期に撮像された広視野画像を受信する通信部と、前記通信部で受信した前記第二の姿勢情報と前記記憶・読出部に保存されていた前記第一の姿勢情報との差異に基づいて、前記広視野画像を補正する画像補正部と、前記画像補正部が補正した前記広視野画像を表示させる表示制御部と、を有する。
【選択図】図３２
【解決手段】本発明は、撮像装置が撮像した広視野画像を、ネットワークを介して受信する通信端末であって、前記撮像装置が設置された第一の時期における前記撮像装置の第一の姿勢情報を保存する記憶・読出部と、前記撮像装置が設置された第二の時期における前記撮像装置の第二の姿勢情報、及び、前記第二の時期に撮像された広視野画像を受信する通信部と、前記通信部で受信した前記第二の姿勢情報と前記記憶・読出部に保存されていた前記第一の姿勢情報との差異に基づいて、前記広視野画像を補正する画像補正部と、前記画像補正部が補正した前記広視野画像を表示させる表示制御部と、を有する。
【選択図】図３２
【特許請求の範囲】
【請求項1】
撮像装置が撮像した広視野画像を、ネットワークを介して受信する通信端末であって、
前記撮像装置が設置された第一の時期における前記撮像装置の第一の姿勢情報を保存する記憶・読出部と、
前記撮像装置が設置された第二の時期における前記撮像装置の第二の姿勢情報、及び、前記第二の時期に撮像された広視野画像を受信する通信部と、
前記通信部で受信した前記第二の姿勢情報と前記記憶・読出部に保存されていた前記第一の姿勢情報との差異に基づいて、前記広視野画像を補正する画像補正部と、
前記画像補正部が補正した前記広視野画像を表示させる表示制御部と、
を有する通信端末。
前記撮像装置が設置された第一の時期における前記撮像装置の第一の姿勢情報を保存する記憶・読出部と、
前記撮像装置が設置された第二の時期における前記撮像装置の第二の姿勢情報、及び、前記第二の時期に撮像された広視野画像を受信する通信部と、
前記通信部で受信した前記第二の姿勢情報と前記記憶・読出部に保存されていた前記第一の姿勢情報との差異に基づいて、前記広視野画像を補正する画像補正部と、
前記画像補正部が補正した前記広視野画像を表示させる表示制御部と、
を有する通信端末。
【請求項2】
前記画像補正部は、前記第一の姿勢情報と前記第二の姿勢情報の差異に基づいて、前記広視野画像を前記第一の姿勢情報で撮像された広視野画像に補正する請求項１に記載の通信端末。
【請求項3】
前記記憶・読出部は、前記第一の姿勢情報と、前記広視野画像の前記第一の時期における視点を示す視点情報とを対応付けて保存しておき、
前記表示制御部は、前記画像補正部が補正した前記広視野画像を、前記視点情報を視点として表示させる請求項１又は２に記載の通信端末。
前記表示制御部は、前記画像補正部が補正した前記広視野画像を、前記視点情報を視点として表示させる請求項１又は２に記載の通信端末。
【請求項4】
前記第一の姿勢情報と前記第二の姿勢情報の差異は、前記撮像装置の鉛直方向の軸を中心とする回転のみであり、
前記画像補正部は、正距円筒射影画像の前記広視野画像を水平方向に、前記回転と同じ角度、移動させる請求項２に記載の通信端末。
前記画像補正部は、正距円筒射影画像の前記広視野画像を水平方向に、前記回転と同じ角度、移動させる請求項２に記載の通信端末。
【請求項5】
前記画像補正部は、正距円筒射影画像の前記広視野画像を単位球に変換し、
前記単位球を前記第一の姿勢情報と前記第二の姿勢情報の差異に応じて回転させ、
回転後の単位球を正距円筒射影画像の前記広視野画像に戻すことで、前記広視野画像を前記第一の姿勢情報で撮像された広視野画像に補正する請求項２に記載の通信端末。
前記単位球を前記第一の姿勢情報と前記第二の姿勢情報の差異に応じて回転させ、
回転後の単位球を正距円筒射影画像の前記広視野画像に戻すことで、前記広視野画像を前記第一の姿勢情報で撮像された広視野画像に補正する請求項２に記載の通信端末。
【請求項6】
前記記憶・読出部は、前記撮像装置から送信された前記第一の姿勢情報が変化していた場合のみ、前記第一の姿勢情報及び前記視点情報を保存する請求項３に記載の通信端末。
【請求項7】
前記第一の時期は前日であり、前記第二の時期は当日である請求項１に記載の通信端末。
【請求項8】
撮像装置と、
前記撮像装置が撮像した広視野画像を、ネットワークを介して受信する通信端末と、を有する通信システムであって、
前記撮像装置が設置された第一の時期における前記撮像装置の第一の姿勢情報を保存する記憶・読出部と、
前記撮像装置が設置された第二の時期における前記撮像装置の第二の姿勢情報と前記記憶・読出部に保存されていた前記第一の姿勢情報との差異に基づいて、前記第二の時期に撮像された広視野画像を補正する画像補正部と、
前記画像補正部が補正した前記広視野画像を表示させる表示制御部と、
を有する通信システム。
前記撮像装置が撮像した広視野画像を、ネットワークを介して受信する通信端末と、を有する通信システムであって、
前記撮像装置が設置された第一の時期における前記撮像装置の第一の姿勢情報を保存する記憶・読出部と、
前記撮像装置が設置された第二の時期における前記撮像装置の第二の姿勢情報と前記記憶・読出部に保存されていた前記第一の姿勢情報との差異に基づいて、前記第二の時期に撮像された広視野画像を補正する画像補正部と、
前記画像補正部が補正した前記広視野画像を表示させる表示制御部と、
を有する通信システム。
【請求項9】
撮像装置が撮像した広視野画像を、
ネットワークを介して受信する通信端末を、
前記撮像装置が設置された第一の時期における前記撮像装置の第一の姿勢情報を保存する記憶・読出部と、
前記撮像装置が設置された第二の時期における前記撮像装置の第二の姿勢情報、及び、前記第二の時期に撮像された広視野画像を受信する通信部と、
前記通信部で受信した前記第二の姿勢情報と前記記憶・読出部に保存されていた前記第一の姿勢情報との差異に基づいて、前記広視野画像を補正する画像補正部と、
前記画像補正部が補正した前記広視野画像を表示させる表示制御部、
として機能させるためのプログラム。
ネットワークを介して受信する通信端末を、
前記撮像装置が設置された第一の時期における前記撮像装置の第一の姿勢情報を保存する記憶・読出部と、
前記撮像装置が設置された第二の時期における前記撮像装置の第二の姿勢情報、及び、前記第二の時期に撮像された広視野画像を受信する通信部と、
前記通信部で受信した前記第二の姿勢情報と前記記憶・読出部に保存されていた前記第一の姿勢情報との差異に基づいて、前記広視野画像を補正する画像補正部と、
前記画像補正部が補正した前記広視野画像を表示させる表示制御部、
として機能させるためのプログラム。
【請求項10】
撮像装置が撮像した広視野画像を、ネットワークを介して受信する通信端末が行う表示方法であって、
記憶・読出部が、前記撮像装置が設置された第一の時期における前記撮像装置の第一の姿勢情報を保存する処理と、
前記撮像装置が設置された第二の時期における前記撮像装置の第二の姿勢情報、及び、前記第二の時期に撮像された広視野画像を受信する処理と、
画像補正部が、前記受信する処理で受信した前記第二の姿勢情報と前記記憶・読出部に保存されていた前記第一の姿勢情報との差異に基づいて、前記広視野画像を補正する処理と、
前記画像補正部が補正した前記広視野画像を表示制御部が表示させる処理と、
を実行する表示方法。
記憶・読出部が、前記撮像装置が設置された第一の時期における前記撮像装置の第一の姿勢情報を保存する処理と、
前記撮像装置が設置された第二の時期における前記撮像装置の第二の姿勢情報、及び、前記第二の時期に撮像された広視野画像を受信する処理と、
画像補正部が、前記受信する処理で受信した前記第二の姿勢情報と前記記憶・読出部に保存されていた前記第一の姿勢情報との差異に基づいて、前記広視野画像を補正する処理と、
前記画像補正部が補正した前記広視野画像を表示制御部が表示させる処理と、
を実行する表示方法。
【請求項11】
撮像装置と、前記撮像装置が撮像した広視野画像を、
ネットワークを介して受信する通信端末と、を有する通信システムが行う表示方法であって、
記憶・読出部が、前記撮像装置が設置された第一の時期における前記撮像装置の第一の姿勢情報を保存する処理と、
画像補正部が、前記撮像装置が設置された第二の時期における前記撮像装置の第二の姿勢情報と前記記憶・読出部に保存されていた前記第一の姿勢情報との差異に基づいて、前記第二の時期に撮像された広視野画像を補正する処理と、
前記画像補正部が補正した前記広視野画像を表示制御部が表示させる処理と、
を実行する表示方法。
ネットワークを介して受信する通信端末と、を有する通信システムが行う表示方法であって、
記憶・読出部が、前記撮像装置が設置された第一の時期における前記撮像装置の第一の姿勢情報を保存する処理と、
画像補正部が、前記撮像装置が設置された第二の時期における前記撮像装置の第二の姿勢情報と前記記憶・読出部に保存されていた前記第一の姿勢情報との差異に基づいて、前記第二の時期に撮像された広視野画像を補正する処理と、
前記画像補正部が補正した前記広視野画像を表示制御部が表示させる処理と、
を実行する表示方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、通信端末、通信システム、プログラム、及び表示方法に関する。
【背景技術】
【0002】
一方の拠点から１つ以上の他の拠点に対してリアルタイムに少なくとも画像及び音声を送信し、遠隔地にいるユーザー同士で画像及び音声を用いた遠隔コミュニケーションを行う通信システムが知られている。ユーザーはお互いの場所に赴かなくても現地の状況を画像で確認し、現地の状況について現地の担当者に音声で指示することができる。
【0003】
ところで、カメラなどの撮像装置を置くことが困難な位置から被写体の映像を作成する技術が知られている（例えば特許文献１参照）。特許文献１には、撮像装置を置くことが困難な位置から見た被写体の仮想映像を複数の撮像装置をもとに作成する技術について開示されている。
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来の技術では、撮像装置の姿勢が変化すると当然のことながら撮像装置で撮像した画像も変化するという問題がある。建設現場などで定期的に建造物などを画像として記録して差分を確認するなどの利用シーンでは撮像装置の設置位置が同じでも姿勢が変化するとユーザーが画像の差分を把握しづらくなってしまう。ユーザーはできるだけ撮像装置を固定しておきたいが、防犯や安全上の理由で撮像装置を固定することが困難な場合がある。このため、担当者は撮像装置をその都度、新たに設置するが、以前撮像したときと全く同じ姿勢で設置するのは困難である。
【0005】
本発明は、上記課題に鑑み、撮像装置の姿勢が変化しても画像の変化を抑制する技術を提供する。
【課題を解決するための手段】
【0006】
上記課題に鑑み、本発明は、撮像装置が撮像した広視野画像を、ネットワークを介して受信する通信端末であって、前記撮像装置が設置された第一の時期における前記撮像装置の第一の姿勢情報を保存する記憶・読出部と、前記撮像装置が設置された第二の時期における前記撮像装置の第二の姿勢情報、及び、前記第二の時期に撮像された広視野画像を受信する通信部と、前記通信部で受信した前記第二の姿勢情報と前記記憶・読出部に保存されていた前記第一の姿勢情報との差異に基づいて、前記広視野画像を補正する画像補正部と、前記画像補正部が補正した前記広視野画像を表示させる表示制御部と、を有する。
【発明の効果】
【0007】
撮像装置の姿勢が変化しても画像の変化を抑制する技術を提供できる。
【図面の簡単な説明】
【0008】
【図1】広視野画像を用いた遠隔コミュニケーションの一例を説明する図である。
【図2】通信システムの構成概略図の一例である。
【図3】撮像装置のハードウエア構成図の一例である。
【図4】通信端末、情報処理システムのハードウエア構成図の一例である。
【図5】（ａ）は撮像装置の左側面図であり、（ｂ）は撮像装置の正面図であり、（ｃ）は撮像装置の平面図である。
【図6】撮像装置の使用イメージ図である。
【図7】（ａ）は撮像装置で撮像された半球画像（前）、（ｂ）は撮像装置で撮像された半球画像（後）、（ｃ）は正距円筒射影図法により表された画像を示した図である。
【図8】（ａ）正距円筒射影画像で球を被う状態を示した概念図、（ｂ）全天球画像を示した図である。
【図9】全天球画像を三次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。
【図11】所定領域情報と所定領域Ｔの画像との関係を示した図である。
【図12】球座標による三次元ユークリッド空間内の点を示した図である。
【図13】通信システムの機能構成図の一例である。
【図14】画像管理情報記憶部に記憶される画像管理情報を示す概念図である。
【図15】仮想ルーム情報記憶部に記憶される仮想ルーム情報を示す概念図である。
【図16】（ａ）は入室画面の一例を示す図である。（ｂ）はユーザーが仮想ルームに入室したことで、通信端末が表示する画像閲覧画面の一例を示す図である。
【図17】ユーザー（又は通信端末）が仮想ルームに入室する処理を説明するシーケンス図の一例である。
【図18】仮想ルームに撮像装置を対応付けるための仮想ルーム対応付け画面（その１）の一例を示す図である。
【図19】仮想ルーム対応付け画面（その２）の一例を示す図である。
【図20】仮想ルーム対応付け画面（その３）の一例を示す図である。
【図21】通信端末が表示する広視野画像送信開始停止ダイアログの一例を示す図である。
【図22】ユーザーが仮想ルームに撮像装置を登録する手順を示すシーケンス図の一例である。
【図23】広視野画像が共有される流れを説明するシーケンス図の一例である。
【図24】１日目と２日目に設置された撮像装置の姿勢の違いを説明する図である。
【図25】通信端末が有する撮像状態情報記憶部に保存されている撮像状態情報の一例を示す図である。
【図26】視点情報を説明する図である。
【図27】異なる視野角と視野角に対応する所定領域を示す図である。
【図28】撮像装置の姿勢を説明する図である。
【図29】正距円筒射影図法の２次元座標と単位球の表面の３次元座標の変換を模式的に示す図である。
【図30】３次元座標と極座標の対応を説明する図である。
【図31】撮像装置が２日目に１日目と異なる位置と姿勢で設置された場合に、通信端末が１日目と２日目の姿勢の差異により２日目の広視野画像を補正して表示する処理を説明するシーケンス図の一例である。
【図32】撮像装置の姿勢の差異による広視野画像の補正処理について説明する図である。
【図33】広視野画像を単位球に変換して１日目と２日目の姿勢情報の差異に基づいて広視野画像を補正する処理を説明する図である。
【発明を実施するための形態】
【0009】
以下、本発明を実施するための形態の一例として、情報処理システムと情報処理システムで行われる表示方法について説明する。
【0010】
＜遠隔コミュニケーションの一例＞
図１は、広視野画像を用いた遠隔コミュニケーションの一例を説明する図である。図１では、３つの拠点Ａ～Ｃが情報処理システム５０を介して通信している。拠点の数は一例に過ぎず、２拠点でも、４拠点以上でもよい。遠隔コミュニケーションとは、物理的に離れたところにいる相手と、ITツールを活用することによって画像及び音声を通じた意思疎通を図ることを言う。
図１は、広視野画像を用いた遠隔コミュニケーションの一例を説明する図である。図１では、３つの拠点Ａ～Ｃが情報処理システム５０を介して通信している。拠点の数は一例に過ぎず、２拠点でも、４拠点以上でもよい。遠隔コミュニケーションとは、物理的に離れたところにいる相手と、ITツールを活用することによって画像及び音声を通じた意思疎通を図ることを言う。
【0011】
拠点Ａは一例として、工事現場である。拠点Ｂ、Ｃはどこでもよいが、例えばオフィス等、広視野画像が通信可能な場所であればよい。拠点Ａには、例えば全天球画像と言われる広角な画像や、水平方向に１８０～３６０度の広角な画像を写せる撮像装置１０が配置されている。以下ではこのような広角な画像を単に広視野画像という。拠点Ａ～Ｃには広視野画像を閲覧することのできる各種の通信端末３０Ａ～３０Ｃが配置されている。なお、以下では、通信端末３０Ａ～３０Ｃのうち任意の通信端末を「通信端末３０」と称する。
【0012】
工事現場は、各場所で様々な工事が作業員により進められており、広視野画像により工事現場全体を撮像しつつ、着目したい工事及び/又は作業があれば各拠点Ａ～Ｃのユーザーが視点を任意に変えて監視できる。視点とは、広視野画像全体のうち通信端末３０Ａ～３０Ｃのディスプレイ等に表示される中心位置又は範囲である。
【0013】
撮像装置１０は三脚８６に取り付けられたり、ジンバル８７を介してアーム８５に取り付けられたりする。工事現場には中継装置（図１では通信端末３０Ａが中継装置を兼ねている）が設置されており、通信端末３０Ａが有線又は無線で撮像装置１０から受信した広視野画像を、情報処理システム５０に送信する。通信端末３０Ａは、広視野画像の閲覧用の端末にもなり得る。通信端末３０Ａにカメラ９が接続されており（なお、内蔵していてもよい）、カメラ９が撮像した通常の画角の画像（全天球画像を撮像できてもよい）も情報処理システム５０に送信可能である。また、ユーザーＡ（例えば作業員でもよい）はスマートグラス８８を装着でき、スマートグラス８８が撮像する通常の画角の画像（全天球画像を撮像できてもよい）が情報処理システム５０に送信される場合がある。スマートグラス８８とは、視野を確保しながら、インターネット経由で取得した情報をディスプレイに表示する情報端末である。スマートグラス８８は任意の拠点に配置されていてよい。
【0014】
拠点Ｂには通信端末３０Ｂの一例としてＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）又はスマートフォン等が配置されている。また、通信端末３０Ｂは情報処理システム５０と通信ネットワークＮを介して通信できる装置であればよく、これらの他、タブレット端末、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、電子黒板、プロジェクタ等といった表示装置でもよい。通信端末３０Ｂにカメラが内蔵又は接続されていてもよい。
【0015】
拠点Ｃには通信端末３０Ｃの一例としてＰＣ、スマートフォン、ＶＲゴーグル８９等が配置され、図１では、通信端末３０Ｃにカメラ８が内蔵又は接続されている。ＶＲゴーグル８９とは、コンピュータ上の人工的な世界又は全天球画像を、首及び/又は身体を動かした方向に合わせて表示する情報端末である。カメラ８は広角用でも通常画角用でもよい。また、通信端末３０Ｃは情報処理システム５０と通信ネットワークＮを介して通信できる装置であればよく、タブレット端末、ＰＤＡ、電子黒板、プロジェクタ等といった表示装置でもよい。ＶＲゴーグル８９は任意の拠点に配置されていてよい。
【0016】
本実施形態では、撮像装置１０、及び、通信端末３０が仮想ルームという通信グループで管理される。撮像装置１０は仮想ルームに対応付けられており、通信端末３０（通信端末３０を操作するユーザー）はこの仮想ルームに入室することで、撮像装置１０が送信する広視野画像を受信し、ユーザーが広視野画像を閲覧できる。スマートグラス８８又はＶＲゴーグル８９も仮想ルームに対応付けることが可能である。カメラ８、９は、通信端末３０と一体に仮想ルームに入室する。
【0017】
拠点Ａ～ＣのユーザーＡ～Ｃは任意に広視野画像の視点を変更できる。このため、リアルタイムに広視野画像を閲覧する各ユーザーＡ～Ｃはそれぞれ異なる視点を見ている可能性があり、意思の疎通が困難になるおそれがある。そこで、本実施形態では、例えば拠点Ａの通信端末３０の視点を他の拠点Ｂ、Ｃの通信端末３０が共有する。視点の共有の概略を説明する。以下では、説明のため、拠点Ｂのユーザーの視点を拠点Ａ、Ｃのユーザーが共有するものとする。
【0018】
(1) 通信端末３０Ａ～３０Ｃは撮像装置１０が撮像する広視野画像（第一の広視野画像の一例）を共有している。ユーザーＢが通信端末３０Ｂで任意の視点で閲覧した状態で広視野画像の撮像を要求すると、通信端末３０Ｂ（第一の通信端末の一例）が視点情報と撮像要求を情報処理システム５０に送信する。
【0019】
(2) 情報処理システム５０は撮像要求に応じて、視点情報を指定して撮像装置１０に撮像（静止画でも動画でもよい）を要求する。
【0020】
(3) 撮像装置１０は撮像要求に応じて撮像し、広視野画像（第二の広視野画像の一例）と視点情報を情報処理システム５０から通知されたＵＲＬ（保存先情報の一例。図１では、撮像装置１０はストレージ９０）に保存する。ストレージ９０に保存された広視野画像は任意の通信端末３０がダウンロードして表示可能である。
【0021】
(4) 情報処理システム５０はＵＲＬを通信端末３０Ｂに送信する。
【0022】
(5) また、情報処理システム５０は、自動で又はユーザーＢの要求に応じて、ＵＲＬを同じ仮想ルームに入室中の通信端末３０Ａ、３０Ｃ（第二の通信端末の一例）に送信する。
【0023】
(6) 通信端末３０Ａ、３０ＣはＵＲＬに接続して視点情報と広視野画像を受信し、視点情報で特定される広視野画像の視点を画像欄の中央に一致させるように設定して表示する。なお、視点を完全に中央に一致させる必要はなく、視点を画像欄の中央近傍の範囲に含まれるように設定して表示させてもよい。
【0024】
拠点Ａのユーザーの視点を拠点Ｂ、Ｃのユーザーが共有する場合、拠点Ｃのユーザーの視点を拠点Ａ、Ｂのユーザーが共有する場合も同様である。
【0025】
以上のように、本実施形態の通信システム１は、広視野画像が配信された場合でも各拠点で視点情報が共有されるので、ユーザーの意思疎通が容易になる。
【0026】
(3)で撮像装置１０が広視野画像そのものを情報処理システム５０に送信し、(4)で情報処理システム５０が広視野画像を通信端末３０Ａ～３０Ｃに送信することもできる。
【0027】
なお、図１では、工事現場に撮像装置１０が配置される例を説明したが、ＶＲ教育、イベント配信、リモート接客、遠隔医療等にも本実施形態を適用可能である。ＶＲ教育では、撮像装置１０が研究室等の現場の拠点に配置され、遠隔拠点から学生が任意に視点を変えて黒板、器具、サンプル、実験結果等を閲覧できる。イベント配信では、撮像装置１０が現場のイベントの開催場所に配置され、遠隔拠点から観客等のイベント参加者がオンラインで任意に視点を変えて開催場所の様子を閲覧できる。なお、開催場所の様子は演者、出場者、発表者、イベントで説明される製品又は展示物などの被写体の画像、イベントで説明される資料の画像、開催場所の状態の画像等を含む。なお、イベントの開催場所は屋内であっても屋外であってもよく、スポーツ、コンサート、演劇等の会場も含まれる。リモート接客では、例えば旅行代理店の接客に適用する場合には、撮像装置１０が現場の旅先に配置され、遠隔拠点から顧客が任意に視点を変えて旅程を検討できる。遠隔医療では、撮像装置１０が手術室等の医療現場に配置され、遠隔拠点から医師、学生、医療機器の関係者等が任意に視点を変えて医療現場で医療行為を行っている医師の動作、看護師の動作、器具の配置、患者の状態、バイタル等を閲覧できる。
【0028】
画像が撮像される拠点は、これらに限られず、学校、工場、倉庫、建設現場、サーバルーム又は店舗等、閲覧側の拠点のユーザー（閲覧者）が遠隔拠点の現場の状況を把握したいニーズが存在する空間であればよい。
【0029】
＜用語について＞
テナントとは、サービスの提供者（本実施形態では情報処理システム）から画像配信サービスを受けることを契約した企業又は組織等である。ユーザーは一例としてテナントに所属しているが、ユーザー個人でサービスに加入してもよい。テナントには、ユーザーの他、撮像装置、仮想ルーム等が登録されている。
テナントとは、サービスの提供者（本実施形態では情報処理システム）から画像配信サービスを受けることを契約した企業又は組織等である。ユーザーは一例としてテナントに所属しているが、ユーザー個人でサービスに加入してもよい。テナントには、ユーザーの他、撮像装置、仮想ルーム等が登録されている。
【0030】
拠点とは、活動のよりどころとする場所をいう。本実施形態では、拠点の例として会議室を例に説明する。会議室は、主に会議に使用することを目的に設置された部屋のことである。会議は、会合、ミーティング、打ち合わせ、集会、寄り合い、集まり等ともいう。
【0031】
デバイスとは、ＰＣ又はスマートフォン等の汎用的な通信端末３０でない装置をいい、撮像装置、又は、広視野画像の閲覧装置である。本実施形態では、撮像装置１０、スマートグラス８８、及び、ＶＲゴーグル８９が挙げられる。
【0032】
視点情報とは、ディスプレイに表示する広視野画像のどの所定領域をディスプレイに表示するかを特定するパラメータ情報である。本実施形態ではディスプレイに表示される広視野画像の中心に対応する動径、極角、方位角を視点情報の一例として説明するが、広視野画像は対角頂点の座標など他のパラメータ情報で特定されてもよい。
【0033】
広視野画像とは、３６０度の全周囲が撮像された３６０度画像（全天球画像、全方位画像、全周囲画像ともいう）を含む広い撮像範囲で撮像された広い視野角を有する画像をいう。広視野画像は、所定の表示方法においてディスプレイに一度に表示できる表示範囲より広い広範囲の視野角を有する画像を意味する。広視野画像は、最大で上下方向３６０度、左右方向３６０度の視野の表示範囲を持つが、上下３６０度未満、左右３６０度未満であってもディスプレイに一度に表示できる表示範囲より広い広範囲の視野角を有する画像であれば広視野画像に含まれる。例えば、人間が一度に視認できる範囲よりも広い表示範囲を有している画像も広視野画像に含まれる。なお、表示方法によってはディスプレイに一度に表示できる画像であっても、所定の表示方法において、広範囲の視野角を有するのであれば広視野画像に含まれる。なお、本実施形態では、広視野画像の一例として正距円筒射影図法の全天球画像を例に説明するが、全方位画像、半球画像、３Ｄパノラマ画像、２Ｄパノラマ画像、ＶＲ（Virtual Reality）画像も広視野画像に含まれる。なお、正距円筒射影図法の画像をエクイレクタングラー（equirectangular）ともいう。
【0034】
リモート接客とは、タブレット又はディスプレイ越しに、ビデオ会議を利用して遠隔地にいるオペレータ又はスタッフがユーザーに対して商品及び/又はサービスの案内を行う接客をいう。
【0035】
通常の画角の画像は、広視野画像でない画像であるが、本実施形態では、広視野画像でない画像（平面画像）として説明する。
【0036】
通信グループとは、広視野画像が共有される（配信される）ユーザーの集まりである。通常の空間では、各ユーザーが同じ部屋に入室した場合に各ユーザーにより広視野画像が共有可能となるという意味で、通信グループを仮想的な部屋（仮想ルーム）という用語で説明する。仮想とはネットワークを介した情報処理で実現されるという意味である。
【0037】
各拠点のユーザーは遠隔地同士で遠隔コミュニケーションを行う。遠隔コミュニケーションは遠隔地の拠点で行われる会合である。会合とは相談又は討議などのために人々が寄り集まることをいう。会合には接客、会議、集会、打合せ、勉強会、授業、セミナー、発表会など種々の態様がある。必ずしも双方向通信である必要はない。したがって、仮想ルームを仮想会議室と称してもよい。
【0038】
遠隔コミュニケーションとは、物理的に離れたところにいる相手と、ＩＴツールを活用することによって画像及び音声を通じた意思疎通を図ることをいう。
【0039】
画像とは、表示装置に映し出された又はプロジェクタ等により投影された像をいう。
【0040】
＜通信システムの構成例＞
図２は、通信システム１の構成概略図の一例である。通信システム１は、複数の拠点間において、撮像装置１０が撮像した広視野画像又は通常画角の画像を双方向に送受信するシステムである。ある拠点から配信される画像を、他の拠点において表示させることで、他の拠点のユーザーが画像を閲覧できるシステムである。なお、広視野画像の一例として、撮像装置１０が撮像する全天球画像が配信される。通信システム１は、例えば、所定の一拠点で撮像された広視野画像を、遠隔地にある他の拠点において閲覧させることができる。
図２は、通信システム１の構成概略図の一例である。通信システム１は、複数の拠点間において、撮像装置１０が撮像した広視野画像又は通常画角の画像を双方向に送受信するシステムである。ある拠点から配信される画像を、他の拠点において表示させることで、他の拠点のユーザーが画像を閲覧できるシステムである。なお、広視野画像の一例として、撮像装置１０が撮像する全天球画像が配信される。通信システム１は、例えば、所定の一拠点で撮像された広視野画像を、遠隔地にある他の拠点において閲覧させることができる。
【0041】
図２に示されているように、通信システム１では、拠点Ａに配置された撮像装置１０、通信端末３０Ａ、情報処理システム５０、及び複数の拠点（拠点Ｂ，Ｃ）のそれぞれに配置された通信端末３０Ｂ、３０Ｃが通信可能に接続されている。
【0042】
撮像装置１０が直接、通信ネットワークＮに接続できる場合、中継装置（例えばルーター等）としての通信端末３０Ａは不要である。この場合、通信端末３０Ａは、撮像装置１０を伴わずに通信ネットワークＮに接続される。しかし、拠点Ａに通信端末３０Ａが配置される場合、通信端末３０Ａが中継装置を兼ね、通信端末３０Ｂ，３０Ｃと同様にユーザーＡが広視野画像を閲覧できる。なお、拠点Ａ以外の拠点に撮像装置１０がさらに配置されていてもよいし、拠点Ａに複数の撮像装置１０が配置されていてもよい。
【0043】
各通信端末３０及び情報処理システム５０は、通信ネットワークＮを介して通信することができる。通信ネットワークＮは、インターネット、移動体通信網、ＬＡＮ(Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ)等によって構築されている。なお、通信ネットワークＮには、有線通信だけでなく、３Ｇ(３ｒｄ Ｇｅｎｅｒａｔｉｏｎ)、４Ｇ(４ｔｈ Ｇｅｎｅｒａｔｉｏｎ)、５Ｇ（５ｔｈ Ｇｅｎｅｒａｔｉｏｎ）、Ｗｉ－Ｆｉ(Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ)（登録商標）、ＷｉＭＡＸ(Ｗｏｒｌｄｗｉｄｅ Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ ｆｏｒ Ｍｉｃｒｏｗａｖｅ Ａｃｃｅｓｓ)又はＬＴＥ(Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ)等の無線通信によるネットワークが含まれてもよい。
【0044】
撮像装置１０は、後述するように、被写体及び/又は風景等を撮像して元になる二つの半球画像を得ることで、全天球画像を撮像可能な特殊なデジタルカメラである。撮像装置１０によって得られる広視野画像は、動画であっても静止画であってもよく、動画と静止画の両方であってもよい。また、撮像装置１０は、撮像画像だけでなく、音声を録音してもよい。
【0045】
通信端末３０は、各拠点のユーザーによって使用されるＰＣ等のコンピュータである。通信端末３０は、自拠点で撮像された画像、他の拠点から配信された広視野画像（静止画又は動画）及び通常の画角の画像を表示する。通信端末３０は、例えば、通信ネットワークＮを介して、撮像装置１０によって撮像された広視野画像を取得する。また、通信端末３０には、ＯｐｅｎＧＬ ＥＳ等の画像処理を実行するソフトウェアがインストールされており、広視野画像の一部の領域を特定する視点情報に基づく画像表示ができる。なお、ＯｐｅｎＧＬ ＥＳは画像処理を実行するソフトウェアの一例であって、他のソフトウェアであってもよい。また、通信端末３０は、画像処理を実行するソフトウェアをインストールしていなくても、外部から受信したソフトウェアによって画像処理を実行してもよいし、外部のソフトウェアによって実行される画像処理結果を受信することで画像表示を行ってもよい。すなわち、通信端末３０は、広視野画像の一部の所定領域を表示可能である。
【0046】
通信端末３０はユーザーの操作に応じて広視野画像の表示範囲に対する視点を任意に変更できる。通信端末３０は、タッチパネル、方向ボタン、マウス、キーボード、タッチパッドなどに対するユーザー操作入力（キー入力、ドラッグ、スクロール等を含む）に応じて、仮想的な視点を移動させることで、移動後の視点に応じた視点情報に基づいて視野範囲（所定領域）を変更して表示できる。さらに、通信端末３０が例えばＶＲゴーグル等のユーザーが装着する通信端末の場合に、装着したユーザーの動きの変更に応じて変更された通信端末３０の姿勢情報を検知し、検知した姿勢情報に応じて、仮想的な視点を移動させることで、移動後の視点に応じた視点情報に基づいて視野範囲（所定領域）を変更して表示してもよい。
【0047】
通信端末３０Ａは、ＵＳＢ(Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ)ケーブル等の有線ケーブルを介して撮像装置１０から取得した広視野画像を、情報処理システム５０を介して、他の拠点の通信端末３０に配信する。撮像装置１０及び通信端末３０Ａの接続は、有線ケーブルを用いた有線接続ではなく、近距離無線通信等を用いた無線接続であってもよい。拠点Ａに複数の通信端末３０Ａが配置されてもよい。
【0048】
拠点Ａのユーザーがスマートグラス８８を装着し、スマートグラス８８が通信ネットワークＮに接続する場合もある。この場合、スマートグラス８８が撮像した画像は通信ネットワークＮを介して情報処理システム５０に送信され、情報処理システム５０が各拠点の通信端末３０に配信することができる。
【0049】
通信端末３０Ｂは、ユーザーＢが存在する拠点Ｂに配置されており、通信端末３０Ｃは、ユーザーＣが存在する拠点Ｃに配置されている。拠点Ｂ，Ｃに複数の通信端末３０Ｂ、３０Ｃが配置されてもよい。なお、通信端末３０Ｂと通信端末３０ＣはユーザーＢとユーザーＣがそれぞれ持ち歩くことができてもよい。
【0050】
なお、拠点Ａ～Ｃの通信端末３０Ａ～３０Ｃはカメラ８、９を内蔵する端末、又は、外付けする端末のどちらでもよい。通信端末３０Ａ～３０Ｃは、自端末のカメラ８、９等によって自拠点が撮像された画像を他拠点に配信することができる。また、拠点Ａ～Ｃには任意のデバイスが配置されてよい。
【0051】
図２に示す各端末及び装置（通信端末３０及び撮像装置）、並びにユーザーの配置は一例であり、他の例であってもよい。また、通信端末３０は、ＰＣに限られず、例えば、タブレット端末、スマートフォン、ウェアラブル端末、プロジェクタ、電子黒板（相互通信が可能な電子式の黒板機能を有する白板）又は自律走行ロボット等であってもよい。通信端末３０は、Ｗｅｂブラウザ又は画像配信サービスに専用のアプリケーションが動作するコンピュータであればよい。
【0052】
さらに、撮像装置１０がディスプレイを有する場合、他の拠点から配信された画像を表示する構成であってもよい。
【0053】
情報処理システム５０は、一台以上の情報処理装置を有している。情報処理システム５０は、各拠点間の撮像装置１０、通信端末３０の通信を管理及び制御したり、送受信される広視野画像を管理したりする。情報処理システム５０は、広視野画像の配信を行う画像配信サービスを提供するために必要な機能を利用できるプラットフォームを提供する。このプラットフォームを、画像配信サービスを提供したい個人又は企業等のサービス提供者が、契約により利用できるにしてもよい。以下、画像配信サービスを受けるテナントと区別するため、プラットフォームを利用して画像配信サービスをユーザーに提供するサービス提供者をプラットフォーム契約者という。
【0054】
このため、プラットフォームとして情報処理システム５０がＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ Ｉｎｔｅｒｆａｃｅ）を公開し、プラットフォーム契約者がこのＡＰＩを使用して様々な画像配信サービスを提供できるようにしてもよい。プラットフォーム契約者は、主に通信端末３０が表示する画面又はＡＰＩの呼出しなどを行うアプリケーション等のソフトウェアを開発すればよく、画像配信等のＡＰＩによって提供される機能を一から開発する必要がない。
【0055】
情報処理システム５０は、単一のコンピュータによって構築されてもよいし、各部（機能又は手段）を分割して任意に割り当てられた複数のコンピュータによって構築されてもよい。また、情報処理システム５０の機能の全て又は一部は、クラウド環境に存在するサーバコンピュータであってもよいし、オンプレミス環境に存在するサーバコンピュータであってもよい。
【0056】
ストレージ９０は、情報処理システム５０と別体となった記憶装置である。ストレージ９０は、外部ストレージ（クラウド上に配置されたストレージでもよいしオンプレミスに配置されたストレージでもよい）でもよいし、情報処理システム５０に含まれるストレージでもよい。
【0057】
＜ハードウエア構成例＞
続いて、図３、図４を用いて、本実施形態に係る画像通信システムが有する各装置又は端末のハードウエア構成を説明する。なお、図３、図４に示されているハードウエア構成は、必要に応じて構成要素が追加又は削除されてもよい。
続いて、図３、図４を用いて、本実施形態に係る画像通信システムが有する各装置又は端末のハードウエア構成を説明する。なお、図３、図４に示されているハードウエア構成は、必要に応じて構成要素が追加又は削除されてもよい。
【0058】
＜＜撮像装置のハードウエア構成＞＞
まず、図３を用いて、撮像装置１０のハードウエア構成を説明する。図３は、撮像装置１０のハードウエア構成の一例を示す図である。以下では、撮像装置１０は、二つの撮像素子を使用した全天球（全方位）撮像装置とするが、撮像素子は二つ以上いくつでもよい。また、必ずしも全方位撮像専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位撮像ユニットを取り付けることで、実質的に撮像装置１０と同じ機能を有するようにしてもよい。
まず、図３を用いて、撮像装置１０のハードウエア構成を説明する。図３は、撮像装置１０のハードウエア構成の一例を示す図である。以下では、撮像装置１０は、二つの撮像素子を使用した全天球（全方位）撮像装置とするが、撮像素子は二つ以上いくつでもよい。また、必ずしも全方位撮像専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位撮像ユニットを取り付けることで、実質的に撮像装置１０と同じ機能を有するようにしてもよい。
【0059】
図３に示されているように、撮像装置１０は、撮像ユニット１０１、画像処理ユニット１０４、撮像制御ユニット１０５、マイク１０８、音処理ユニット１０９、ＣＰＵ(Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ)１１１、ＲＯＭ(Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ)１１２、ＳＲＡＭ(Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ)１１３、ＤＲＡＭ(Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ)１１４、操作部１１５、入出力Ｉ／Ｆ１１６、近距離通信回路１１７、近距離通信回路１１７のアンテナ１１７ａ、電子コンパス１１８、ジャイロセンサ１１９、加速度センサ１２０、ＧＰＳ受信装置１２１、及びネットワークＩ／Ｆ１２２によって構成されている。
【0060】
このうち、撮像ユニット１０１は、各々半球画像を結像するための１８０度以上の画角を有する広角レンズ（いわゆる魚眼レンズ）１０２ａ,１０２ｂ（以下区別する必要のないときは、レンズ１０２と称する。）、及び各レンズに対応させて設けられている二つの撮像素子１０３ａ,１０３ｂを備えている。撮像素子１０３ａ,１０３ｂは、レンズ１０２ａ,１０２ｂによる光学像を電気信号の画像データに変換して出力するＣＭＯＳ(Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ)センサ又はＣＣＤ(Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ)センサ等の画像センサ、この画像センサの水平又は垂直同期信号及び画素クロック等を生成するタイミング生成回路、及びこの撮像素子の動作に必要な種々のコマンドもしくはパラメータ等が設定されるレジスタ群等を有している。なお、撮像ユニット１０１が広角レンズを２つ備える構成はあくまで一例であって、１つだけ備えていてもよいし、３つ以上備えていてもよい。
【0061】
撮像ユニット１０１の撮像素子１０３ａ,１０３ｂは、各々、画像処理ユニット１０４とパラレルＩ／Ｆバスを介して接続している。一方、撮像ユニット１０１の撮像素子１０３ａ,１０３ｂは、それぞれ撮像制御ユニット１０５とシリアルＩ／Ｆバス（Ｉ２Ｃバス等）を介して接続している。画像処理ユニット１０４、撮像制御ユニット１０５及び音処理ユニット１０９は、バス１１０を介してＣＰＵ１１１と接続している。さらに、バス１１０には、ＲＯＭ１１２、ＳＲＡＭ１１３、ＤＲＡＭ１１４、操作部１１５、入出力Ｉ／Ｆ１１６、近距離通信回路１１７、電子コンパス１１８、ジャイロセンサ１１９、加速度センサ１２０、ＧＰＳ受信装置１２１及びネットワークＩ／Ｆ１２２等も接続される。
【0062】
画像処理ユニット１０４は、撮像素子１０３ａ,１０３ｂから出力される画像データをパラレルＩ／Ｆバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、後述する正距円筒射影画像のデータを作成する。
【0063】
撮像制御ユニット１０５は、一般に撮像制御ユニット１０５をマスタデバイス、撮像素子１０３ａ、１０３ｂをスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子１０３ａ,１０３ｂのレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ１１１から受け取る。また、撮像制御ユニット１０５は、同じくＩ２Ｃバスを利用して、撮像素子１０３ａ、１０３ｂのレジスタ群のステータスデータ等を取り込み、ＣＰＵ１１１に送る。
【0064】
また、撮像制御ユニット１０５は、操作部１１５のシャッターボタンが押下されたタイミングで、撮像素子１０３ａ、１０３ｂに画像データの出力を指示する。撮像装置１０によっては、ディスプレイ（例えば、近距離通信回路１１７を用いて撮像装置１０と近距離通信を行うスマートフォン等の外部端末のディスプレイ）によるプレビュー表示機能又は動画表示に対応する機能を持つ場合もある。この場合は、撮像素子１０３ａ、１０３ｂからの画像データの出力は、所定のフレームレート（フレーム／分）によって連続して行われる。
【0065】
また、撮像制御ユニット１０５は、後述するように、ＣＰＵ１１１と協働して撮像素子１０３ａ、１０３ｂの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、撮像装置１０には表示部（ディスプレイ）が設けられていないが、表示部を設けてもよい。マイク１０８は、音を音（信号）データに変換する。音処理ユニット１０９は、マイク１０８から出力される音データをＩ／Ｆバスを通して取り込み、音データに対して所定の処理を施す。
【0066】
ＣＰＵ１１１は、撮像装置１０の全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ１１２は、ＣＰＵ１１１のための種々のプログラムを記憶している。ＳＲＡＭ１１３及びＤＲＡＭ１１４はワークメモリであり、ＣＰＵ１１１で実行するプログラム及び/又は処理途中のデータ等を記憶する。特にＤＲＡＭ１１４は、画像処理ユニット１０４での処理途中の画像データ及び/又は処理済みの正距円筒射影画像のデータを記憶する。
【0067】
操作部１１５は、種々の操作ボタン及び電源スイッチ、シャッターボタン、及び表示と操作の機能を兼ねたタッチパネル等の総称である。ユーザーは、操作部１１５を操作することで、種々の撮像モードや撮像条件等を入力する。
【0068】
入出力Ｉ／Ｆ１１６は、ＳＤカード等の外付けのメディア又はパーソナルコンピュータ等とのインターフェース回路（ＵＳＢＩ／Ｆ等）の総称である。入出力Ｉ／Ｆ１１６は、無線、有線を問わない。ＤＲＡＭ１１４に記憶された正距円筒射影画像のデータは、入出力Ｉ／Ｆ１１６を介して外付けのメディアに記録されたり、必要に応じて入出力Ｉ／Ｆ１１６を介して外部端末（装置）に送信されたりする。
【0069】
近距離通信回路１１７は、撮像装置１０に設けられたアンテナ１１７ａを介して、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ)、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷｉ－Ｆｉ等の近距離無線通信技術によって、外部端末（装置）と通信を行う。近距離通信回路１１７は、正距円筒射影画像のデータを、外部端末（装置）に送信することができる。
【0070】
電子コンパス１１８は、地球の磁気から撮像装置１０の方位を算出し、方位情報を出力する。この方位情報は、Ｅｘｉｆに沿った関連情報（メタデータ）の一例であり、撮像画像の画像補正等の画像処理に利用される。なお、関連情報は、画像の撮像日時及び画像データのデータ容量の各データも含む。
【0071】
また、ジャイロセンサ１１９は、撮像装置１０の移動に伴う角度の変化（Ｒｏｌｌ角、Ｐｉｔｃｈ角、Ｙａｗ角）を検出するセンサである。角度の変化はＥｘｉｆに沿った関連情報（メタデータ）の一例であり、撮像画像の画像補正等の画像処理に利用される。さらに、加速度センサ１２０は、三軸方向の加速度を検出するセンサである。撮像装置１０は、加速度センサ１２０が検出した加速度に基づいて、自装置（撮像装置１０）の姿勢（重力方向に対する角度）を算出する。撮像装置１０は、加速度センサ１２０を設けることによって、画像補正の精度が向上する。
【0072】
ＧＰＳ受信装置１２１は、軌道が知られている３つ以上のＧＰＳ衛星からの電波を受信し、各ＧＰＳ衛星からの電波の到達時間に基づいて、自機の位置情報（緯度、経度、標高）を検出する。
【0073】
ネットワークＩ／Ｆ１２２は、ルーター等を介して、インターネット等の通信ネットワークＮを利用したデータ通信を行うためのインターフェースである。
【0074】
＜＜通信端末のハードウエア構成＞＞
図４は、通信端末３０及び情報処理システム５０のハードウエア構成の一例を示す図である。まず、通信端末３０について説明する。通信端末３０のハードウエア構成は、３００番台の符号で示されている。通信端末３０は、コンピュータによって構築されており、図４に示されているように、ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、ＨＤ(Ｈａｒｄ Ｄｉｓｋ)３０４、ＨＤＤコントローラ３０５、ディスプレイ３０６、外部機器接続Ｉ／Ｆ３０８、ネットワークＩ／Ｆ３０９、バスライン３１０、キーボード３１１、ポインティングデバイス３１２、ＤＶＤ－ＲＷ(Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ Ｒｅｗｒｉｔａｂｌｅ)ドライブ３１４、メディアＩ／Ｆ３１６、音入出力Ｉ／Ｆ３１７、マイク３１８、スピーカ３１９、近距離通信回路３２０及びカメラ３２１を備えている。
図４は、通信端末３０及び情報処理システム５０のハードウエア構成の一例を示す図である。まず、通信端末３０について説明する。通信端末３０のハードウエア構成は、３００番台の符号で示されている。通信端末３０は、コンピュータによって構築されており、図４に示されているように、ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、ＨＤ(Ｈａｒｄ Ｄｉｓｋ)３０４、ＨＤＤコントローラ３０５、ディスプレイ３０６、外部機器接続Ｉ／Ｆ３０８、ネットワークＩ／Ｆ３０９、バスライン３１０、キーボード３１１、ポインティングデバイス３１２、ＤＶＤ－ＲＷ(Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ Ｒｅｗｒｉｔａｂｌｅ)ドライブ３１４、メディアＩ／Ｆ３１６、音入出力Ｉ／Ｆ３１７、マイク３１８、スピーカ３１９、近距離通信回路３２０及びカメラ３２１を備えている。
【0075】
これらのうち、ＣＰＵ３０１は、通信端末３０全体の動作を制御する。ＲＯＭ３０２は、ＩＰＬ等のＣＰＵ３０１の駆動に用いられるプログラムを記憶する。ＲＡＭ３０３は、ＣＰＵ３０１のワークエリアとして使用される。ＨＤ３０４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ３０５は、ＣＰＵ３０１の制御にしたがってＨＤ３０４に対する各種データの読み出し又は書き込みを制御する。ディスプレイ３０６は、カーソル、メニュー、ウィンドウ、文字、又は画像等の各種情報を表示する。ディスプレイ３０６は、表示部の一例である。なお、ディスプレイ３０６は、入力手段を備えたタッチパネルディスプレイであってもよい。外部機器接続Ｉ／Ｆ３０８は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢメモリ又はプリンタ等である。ネットワークＩ／Ｆ３０９は、通信ネットワークＮを利用してデータ通信をするためのインターフェースである。バスライン３１０は、図４に示されているＣＰＵ３０１等の各構成要素を電気的に接続するためのアドレスバス又はデータバス等である。
【0076】
また、キーボード３１１は、文字、数値、各種指示等の入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス３１２は、各種指示の選択もしくは実行、処理対象の選択、又はカーソルの移動等を行う入力手段の一種である。なお、入力手段は、キーボード３１１及びポインティングデバイス３１２のみならず、タッチパネル又は音声入力装置等であってもよい。ＤＶＤ－ＲＷドライブ３１４は、着脱可能な記録媒体の一例としてのＤＶＤ－ＲＷ３１３に対する各種データの読み出し又は書き込みを制御する。なお、ＤＶＤ－ＲＷ３１３は、ＤＶＤ－Ｒ又はＢｌｕ－ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）等であってもよい。メディアＩ／Ｆ３１６は、フラッシュメモリ等の記録メディア３１５に対するデータの読み出し又は書き込み（記憶）を制御する。マイク３１８は、音声を入力する内蔵型の集音手段の一種である。音入出力Ｉ／Ｆ３１７は、ＣＰＵ３０１の制御にしたがってマイク３１８及びスピーカ３１９との間で音信号の入出力を処理する回路である。近距離通信回路３２０は、ＮＦＣ、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷｉ－Ｆｉ等の近距離無線通信技術によって、外部端末（装置）と通信を行うための通信回路である。カメラ３２１は、被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。なお、マイク３１８、スピーカ３１９及びカメラ３２１は、通信端末３０の内蔵型ではなく、外付けの装置であってもよい。
【0077】
＜＜情報処理システムのハードウエア構成＞＞
図４に示すように、情報処理システム５０の各ハードウエア構成は、括弧内の５００番台の符号で示されている。情報処理システム５０は、コンピュータによって構築されており、図４に示されているように、通信端末３０と同様の構成を備えているため、各ハードウエア構成の説明を省略する。
図４に示すように、情報処理システム５０の各ハードウエア構成は、括弧内の５００番台の符号で示されている。情報処理システム５０は、コンピュータによって構築されており、図４に示されているように、通信端末３０と同様の構成を備えているため、各ハードウエア構成の説明を省略する。
【0078】
なお、上記各プログラムは、インストール可能な形式又は実行可能な形式のファイルで、コンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。記録媒体の例として、ＣＤ－Ｒ(Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅｃｏｒｄａｂｌｅ)、ＤＶＤ(Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ)、Ｂｌｕ－ｒａｙ Ｄｉｓｃ（登録商標）、ＳＤカード、ＵＳＢメモリ等が挙げられる。また、記録媒体は、プログラム製品(Ｐｒｏｇｒａｍ Ｐｒｏｄｕｃｔ)として、国内又は国外へ提供されることができる。例えば、通信端末３０は、本発明に係るプログラムが実行されることで本発明に係る表示方法を実現する。
【0079】
【0080】
まず、図５を用いて、撮像装置１０の外観を説明する。撮像装置１０は、全天球（３６０度）画像の元になる撮像画像を得るためのデジタルカメラである。図５（ａ）は撮像装置の左側面図であり、図５（ｂ）は撮像装置の正面図であり、図５（ｃ）は撮像装置の平面図である。この外観図は撮像装置１０のあくまで一例であって、他の外観であってもよい。
【0081】
図５（ａ）に示されているように、撮像装置１０は、人間が片手で持つことができる大きさであるが、この形状はあくまで一例であって、他の形状であってもよい。また、図５（ａ），図５（ｂ），図５（ｃ）に示されているように、撮像装置１０の上部には、正面側（前側）に撮像素子１０３ａ及び背面側（後側）に撮像素子１０３ｂが設けられている。これら撮像素子（画像センサ）１０３ａ,１０３ｂは、半球画像（画角１８０度以上）の撮像が可能な光学部材（例えば、後述するレンズ１０２ａ,１０２ｂ）と併せて用いられる。また、図５（ｂ）に示されているように、撮像装置１０の正面側と反対側の面には、シャッターボタン等の操作部１１５が設けられている。なお、上記したように撮像素子は１つだけであってもよいし、３つ以上備えていてもよい。
【0082】
次に、図６を用いて、撮像装置１０の使用状況を説明する。図６は、撮像装置の使用イメージ図である。撮像装置１０は、図６に示されているように、例えば、撮像装置１０の周りの被写体を撮像するために用いられる。この場合、図５に示されている撮像素子１０３ａ及び撮像素子１０３ｂによって、それぞれ撮像装置１０の周りの被写体が撮像されることで、二つの半球画像を得ることができる。
【0083】
次に、図７及び図８を用いて、撮像装置１０で撮像された画像から全天球画像が作成されるまでの処理の概略を説明する。図７（ａ）は撮像装置で撮像された半球画像（前側）、図７（ｂ）は撮像装置で撮像された半球画像（後側）、図７（ｃ）は正距円筒射影図法により表された画像（以下、「正距円筒射影画像」という）を示した図である。図８（ａ）は正距円筒射影画像で球を被う状態を示した概念図、図８（ｂ）は全天球画像を示した図である。
【0084】
図７（ａ）に示されているように、撮像素子１０３ａによって得られた画像は、後述のレンズ１０２ａによって湾曲した半球画像（前側）となる。また、図７（ｂ）に示されているように、撮像素子１０３ｂによって得られた画像は、後述のレンズ１０２ｂによって湾曲した半球画像（後側）となる。そして、撮像装置１０は、半球画像（前側）と１８０度反転された半球画像（後側）とを合成して、図７（ｃ）に示されているような正距円筒射影画像ＥＣが作成する。
【0085】
そして、撮像装置１０は、ＯｐｅｎＧＬ ＥＳ（Ｏｐｅｎ Ｇｒａｐｈｉｃｓ Ｌｉｂｒａｒｙ ｆｏｒ Ｅｍｂｅｄｄｅｄ Ｓｙｓｔｅｍｓ）等のソフトウェアを利用することで、図８（ａ）に示されているように、球面を覆うように正距円筒射影画像ＥＣを貼り付け、図８（ｂ）に示されているような全天球画像（全天球パノラマ画像）ＣＥを作成する。このように、全天球画像ＣＥは、正距円筒射影画像ＥＣが球の中心を向いた画像として表される。なお、ＯｐｅｎＧＬ ＥＳは、２Ｄ(２－Ｄｉｍｅｎｓｉｏｎｓ)及び３Ｄ(３－Ｄｉｍｅｎｓｉｏｎｓ)のデータを視覚化するために使用するグラフィックスライブラリである。ＯｐｅｎＧＬ ＥＳはあくまで画像処理を実行するソフトウェアの一例であって、他のソフトウェアによって全天球画像ＣＥを作成してもよい。また、全天球画像ＣＥは、静止画であっても動画であってもよい。
【0086】
以上のように、全天球画像ＣＥは、球面を覆うように貼り付けられた画像であるため、人間が見ると違和感を持ってしまう。そこで、撮像装置１０は、全天球画像ＣＥの一部の所定領域Ｔ（以下、「所定領域画像」という）を湾曲の少ない平面画像として表示することで、人間に違和感を与えない表示をすることができる。これに関して、図９乃至図１０を用いて説明する。
【0087】
図９は、全天球画像を三次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。仮想カメラＩＣは、三次元の立体球として表示されている全天球画像ＣＥに対して、その画像を見るユーザーの視点の位置に相当するものである。図１０（ａ）は、図９の立体斜視図、図１０（ｂ）は、ディスプレイに表示された場合の所定領域画像を表す図である。図１０（ａ）は、図９に示した全天球画像ＣＥを、三次元の立体球ＣＳで表している。このように生成された全天球画像ＣＥが、立体球ＣＳであるとした場合、図９に示されているように、仮想カメラＩＣは、全天球画像ＣＥの内部に位置している。全天球画像ＣＥにおける所定領域Ｔは、仮想カメラＩＣの撮像領域であり、全天球画像ＣＥを含む三次元の仮想空間における仮想カメラＩＣの撮像方向と画角を示す所定領域情報によって特定される。また、所定領域Ｔのズームは、仮想カメラＩＣを全天球画像ＣＥに近づいたり、遠ざけたりすることで表現することもできる。所定領域画像Ｑは、全天球画像ＣＥにおける所定領域Ｔの画像である。したがって、所定領域Ｔは、画角αと、仮想カメラＩＣから全天球画像ＣＥまでの距離ｆにより特定できる（図１１参照）。
【0088】
そして、図１０（ａ）に示されている所定領域画像Ｑは、図１０（ｂ）に示されているように、所定のディスプレイに、仮想カメラＩＣの撮像領域の画像として表示される。図１０（ｂ）に示されている画像は、初期設定（デフォルト）された所定領域情報によって表された所定領域画像である。以下、仮想カメラＩＣの撮像方向（ｅａ、ａａ）と画角（α）を用いて説明する。なお、所定領域Ｔは、画角αと距離ｆではなく、所定領域Ｔである仮想カメラＩＣの撮像領域を位置座標（Ｘ、Ｙ、Ｚ）によって示してもよい。
【0089】
次に、図１１を用いて、所定領域情報と所定領域Ｔの画像の関係について説明する。図１１は、所定領域情報と所定領域Ｔの画像との関係を示した図である。図１１に示されているように、「ea」はｅｌｅｖａｔｉｏｎ ａｎｇｌｅ（仰角）、「aa」はａｚｉｍｕｔｈ ａｎｇｌｅ（方位角）、「α」は画角(Angle)を示す。すなわち、仮想カメラＩＣの姿勢は、撮像方向(ea、aa)で示される仮想カメラＩＣの注視点が、仮想カメラＩＣの撮像領域である所定領域Ｔの中心点ＣＰ（x、ｙ）となるように変更される。図１１に示されているように、仮想カメラＩＣの画角αによって表される所定領域Ｔの対角画角をαとした場合の中心点ＣＰ（x,ｙ）が、所定領域情報のパラメータ(（x、ｙ）)となる。所定領域画像Ｑは、全天球画像ＣＥにおける所定領域Ｔの画像である。ｆは、仮想カメラＩＣから中心点ＣＰ（x、ｙ）までの距離である。Ｌは、所定領域Ｔの任意の頂点と中心点ＣＰ（x、ｙ）との距離である（２Ｌは対角線）。そして、図１１では、一般的に以下の式（１）で示される三角関数が成り立つ。
なお、上記で説明した撮像装置１０は、広視野画像を取得可能な撮像装置の一例であり、全天球画像は、広視野画像の一例である。ここで、広視野画像は、一般には広角レンズを用いて撮像された画像であり、人間の目で感じるよりも広い範囲を撮像することができるレンズで撮像されたものである。
【数1】
【0090】
図１２は、図１１で説明した関係を球座標による三次元ユークリッド空間内の点で示した図である。ここで、図１１で示した中心点ＣＰを球面極座標系で表現したときの位置座標を(r、θ、φ)とする。(r、θ、φ)は、それぞれ動径、極角、方位角である。動径ｒは、全天球画像を含む三次元の仮想空間の原点から中心点ＣＰまでの距離であるため、図１１で示した距離ｆに等しい。図１２は、これらの関係を表した図である。以降、仮想カメラＩＣの位置座標(r、θ、φ)を視点情報の一例として用いて説明する。なお、視点情報は、上記したように図１０で示した所定のディスプレイに、仮想カメラＩＣの撮像領域の画像として表示される所定領域Ｔ（所定領域画像Ｑ）が特定できるパラメータ情報であればよく、所定領域Ｔの対角頂点の座標も含む。また、図１１で説明した仮想カメラＩＣの画角αを示す情報及び中心点ＣＰ（x、ｙ）を示す情報が視点情報であってもよい。また、視点情報は球座標による位置座標情報だけでなく、直交座標による位置座標情報及び初期設定（デフォルト）された所定領域情報から座標の差分値等も含む。また、視点情報は図１１で示したように角度及び又は距離といった座標情報以外の情報であってもよい。また、図１１及び図１２では所定領域Ｔの中心点を基準に説明しているが、所定領域Ｔの頂点のいずれかを基準としたパラメータ情報により所定領域Ｔが特定されてもよい。なお、上記では広視野画像が全天球画像である場合を例として視点情報を説明したが、他の広視野画像の場合には、その広視野画像における所定領域Ｔを特定する情報が視点情報となる。
【0091】
＜機能について＞
続いて、図１３を用いて、本実施形態に係る通信システム１の機能構成について説明する。図１３は、本実施形態に係る通信システム１の機能構成の一例を示す図である。なお、図１３では、図１に示されている各端末、装置及びサーバのうち、後述の処理又は動作に関連しているものが示されている。
続いて、図１３を用いて、本実施形態に係る通信システム１の機能構成について説明する。図１３は、本実施形態に係る通信システム１の機能構成の一例を示す図である。なお、図１３では、図１に示されている各端末、装置及びサーバのうち、後述の処理又は動作に関連しているものが示されている。
【0092】
＜＜撮像装置の機能構成＞＞
まず、図１３を参照して、撮像装置１０の機能構成について説明する。撮像装置１０は、通信部１１、受付部１２、撮像処理部１３、解析部１４、登録要求部１５、接続部１６、保存処理部１７、画像送信制御部１８、記憶・読出部１９、及び、センサ部２１を有している。これら各部は、図３に示されている各構成要素のいずれかが、ＳＲＡＭ１１３又はＤＲＡＭ１１４上に展開されたプログラムに従ったＣＰＵ１１１からの命令によって動作することで実現される機能、又は機能する手段である。また、撮像装置１０は、図３に示されているＲＯＭ１１２等によって構築される記憶部１０００を有している。
まず、図１３を参照して、撮像装置１０の機能構成について説明する。撮像装置１０は、通信部１１、受付部１２、撮像処理部１３、解析部１４、登録要求部１５、接続部１６、保存処理部１７、画像送信制御部１８、記憶・読出部１９、及び、センサ部２１を有している。これら各部は、図３に示されている各構成要素のいずれかが、ＳＲＡＭ１１３又はＤＲＡＭ１１４上に展開されたプログラムに従ったＣＰＵ１１１からの命令によって動作することで実現される機能、又は機能する手段である。また、撮像装置１０は、図３に示されているＲＯＭ１１２等によって構築される記憶部１０００を有している。
【0093】
通信部１１は、Ｗｉ－Ｆｉなどの無線通信手段を利用して、通信ネットワークＮに接続して、他の装置との間で各種データ又は情報の送受信を行う機能である。本実施形態では、主に、接続部１６により、撮像処理部１３によって取得された広視野画像を情報処理システム５０に送信する形態を説明するが、通信部１１が広視野画像を情報処理システム５０に送信することも可能である。
【0094】
受付部１２は、撮像装置１０に対するユーザーからの操作入力を受け付ける機能である。受付部１２は、電源のオン、オフ、シャッターボタンのオン、オフ（広視野画像の送信開始又は送信停止）等を受け付ける。
【0095】
撮像処理部１３は、被写体又は風景画像等を撮像し、撮像画像を取得する。撮像処理部１３によって取得される撮像画像は、動画であっても静止画であってもよく（両方でもよく）、画像と共に音声を含んでもよい。また、撮像処理部１３は、例えば、通信端末３０のディスプレイ３０６に表示された二次元コードを撮像する。
【0096】
解析部１４は、撮像処理部１３によって撮像されて取得された二次元コードを解析して二次元コードに含まれる情報（撮像装置をテナントに登録するためのＵＲＬ、一時的なＩＤとパスワード）を抽出する。
【0097】
登録要求部１５は、解析部１４によって読み取られた二次元コードに含まれる情報を用いて、情報処理システム５０のテナントに撮像装置１０を登録する要求を情報処理システム５０に送信する。
【0098】
接続部１６は、例えば近距離通信回路１１７によって実現され、通信端末３０Ａから電源供給を受けると共に、データ通信を行う機能である。
【0099】
保存処理部１７は、任意の拠点からの撮像要求に応じて撮像された広視野画像を、情報処理システム５０から通知されたＵＲＬ（例えばストレージ９０等）に保存する処理を行う。
【0100】
画像送信制御部１８は、情報処理システム５０に対する広視野画像の送信を制御する機能である。画像送信制御部１８は、例えば、撮像処理部１３によって取得された撮像画像を、静止画であれば定期的又はユーザー操作に応じて、動画であれば所定のＦＰＳ（Ｆｌａｍｅ Ｐｅｒ Ｓｅｃｏｎｄ）で情報処理システム５０に対して送信する。画像送信制御部１８は通信部１１と接続部１６の切り替えも行う。
【0101】
センサ部２１は、電子コンパス１１８、ジャイロセンサ１１９、加速度センサ１２０、及びＧＰＳ受信装置を制御したり、これらからの信号を取得したりする。センサ部２１はＧＰＳ受信装置を制御して位置情報を取得し、ジャイロセンサ１１９により三次元における向きを取得し、加速度センサ１２０により傾きを取得できる。
【0102】
記憶・読出部１９は、記憶部１０００に各種データを記憶させ、又は記憶部１０００から各種データを読み出す機能である。また、記憶部１０００は、撮像処理部１３によって取得された撮像画像データ、撮像装置ＩＤ等を記憶している。なお、記憶部１０００に記憶されている撮像画像データは、撮像処理部１３によって取得されてから所定の時間経過した場合に削除される構成であってもよいし、情報処理システム５０へ送信されたデータが削除される構成であってもよい。
【0103】
なお、撮像装置１０では、通信システム１に対応するためのアプリケーション（プラグインともいう）がインストールされている。このアプリケーションは市販の撮像装置１０では必要ないのものであるが、撮像装置１０を仮想ルームに対応付ける際や、外部からの制御を受け付けたりするために使用される。図１３に示した機能の一部（例えば登録要求部１５）はこのアプリケーションによるものが含まれる。
【0104】
＜＜通信端末の機能構成＞＞
続いて、図１３を用いて、通信端末３０の機能構成について説明する。通信端末３０は、通信部３１、受付部３２、表示制御部３３、撮像部３４、画像補正部３５、取得部３６、記憶・読出部３９、及び接続部３７を有している。これら各部は、図４に示されている各構成要素のいずれかが、ＲＡＭ３０３上に展開されたプログラム（Ｗｅｂブラウザでも専用のアプリケーションでもよい）に従ったＣＰＵ３０１からの命令によって動作することで実現される機能、又は機能する手段である。また、通信端末３０は、図４に示されているＲＯＭ３０２又は記録メディア３１５によって構築される記憶部３０００を有している。
続いて、図１３を用いて、通信端末３０の機能構成について説明する。通信端末３０は、通信部３１、受付部３２、表示制御部３３、撮像部３４、画像補正部３５、取得部３６、記憶・読出部３９、及び接続部３７を有している。これら各部は、図４に示されている各構成要素のいずれかが、ＲＡＭ３０３上に展開されたプログラム（Ｗｅｂブラウザでも専用のアプリケーションでもよい）に従ったＣＰＵ３０１からの命令によって動作することで実現される機能、又は機能する手段である。また、通信端末３０は、図４に示されているＲＯＭ３０２又は記録メディア３１５によって構築される記憶部３０００を有している。
【0105】
通信部３１は、例えばネットワークＩ／Ｆ３０９によって実現され、通信ネットワークＮに接続し、他の装置との間で各種データ又は情報の送受信を行う機能である。
【0106】
受付部３２は、通信端末３０への各種選択又は操作入力を受け付ける機能である。表示制御部３３は、通信端末３０のディスプレイ３０６に広視野画像又は通常の画角の画像、及び、各種画面を表示させる機能である。表示制御部３３は、例えば、情報処理システム５０から送信された二次元コードを、ディスプレイ３０６に表示させる。二次元コードは、例えば、ＱＲコード（登録商標）、ＤａｔａＭａｔｒｉｘ（ＤａｔａＣｏｄｅ）、ＭａｘｉＣｏｄｅ又はＰＤＦ４１７等である。二次元コードは、バーコードでもよい。
【0107】
画像補正部３５は、撮像装置１０が異なる姿勢で設置された場合に、広視野画像を元の姿勢を視点とする広視野画像に補正する。詳細は後述される。
【0108】
取得部３６は、記憶・読出部３９を介して撮像状態情報記憶部３００２から撮像状態情報を取得する。撮像状態情報記憶部３００２が撮像装置１０、情報処理システム５０又は中継サーバ７０に存在する場合、取得部３６は通信部３１を介して、撮像状態情報を取得する。
【0109】
接続部３７は、例えば近距離通信回路３２０によって実現され、撮像装置１０に電源を供給すると共に、データ通信を行う機能である。
【0110】
記憶・読出部３９は、図４に示されているＣＰＵ３０１からの命令によって実行され、記憶部３０００に各種データを記憶させ、又は記憶部３０００から各種データを読み出す機能である。記憶部３０００には、画像管理情報記憶部３００１と撮像状態情報記憶部３００２が形成される。画像管理情報記憶部３００１については情報処理システム５０の説明において説明する。撮像状態情報記憶部３００２については図２５にて説明する。
【0111】
＜＜情報処理システムの機能構成＞＞
次に、情報処理システム５０の機能構成について説明する。情報処理システム５０は、通信部５１、画面生成部５２、関連付け処理部５３、画像配信部５４、認証部５５、通信グループ管理部５６、通信制御部５７、コネクション管理部５８、記憶・読出部５９、及び、ＡＰＩ管理部６０を有している。これら各部は、図４に示されている各構成要素のいずれかが、ＲＡＭ５０３上に展開されたプログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能、又は機能する手段である。また、情報処理システムは、図４に示されているＲＯＭ５０２、ＨＤ５０４又は記録メディア５１５によって構築される記憶部５０００を有している。
次に、情報処理システム５０の機能構成について説明する。情報処理システム５０は、通信部５１、画面生成部５２、関連付け処理部５３、画像配信部５４、認証部５５、通信グループ管理部５６、通信制御部５７、コネクション管理部５８、記憶・読出部５９、及び、ＡＰＩ管理部６０を有している。これら各部は、図４に示されている各構成要素のいずれかが、ＲＡＭ５０３上に展開されたプログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能、又は機能する手段である。また、情報処理システムは、図４に示されているＲＯＭ５０２、ＨＤ５０４又は記録メディア５１５によって構築される記憶部５０００を有している。
【0112】
通信部５１は、通信ネットワークＮを介して、他の装置との間で各種データ又は情報の送受信を行う機能である。
【0113】
画面生成部５２は通信端末３０が表示する画面情報の生成を行う。通信端末３０がＷｅｂアプリを実行する場合は、画面情報は、ＨＴＭＬ、ＸＭＬ、ＣＳＳ（Ｃａｓｃａｄｅ Ｓｔｙｌｅ Ｓｈｅｅｔ）、及びＪａｖａＳｃｒｉｐｔ（登録商標）等により作成される。通信端末３０がネイティブアプリを実行する場合は、画面情報は通信端末３０が保持しており、表示される情報がＸＭＬ等で送信される。画面生成部５２は画像配信部５４が配信する広視野画像等が配置された画面情報を生成する。
【0114】
関連付け処理部５３は、広視野画像の視点情報の共有に関する制御を行う。関連付け処理部５３は、通信端末３０から視点情報と共に撮像要求を受信した場合、撮像装置１０に撮像を要求して取得した広視野画像と視点情報を関連付ける処理を行う。さらに、関連付け処理部５３は、関連付けた広視野画像と視点情報を画像管理情報記憶部５００１に保存する。また、関連付け処理部５３は、関連付けられた該広視野画像と視点情報が保存される保存場所を示す情報としてＵＲＬを通信端末３０に送信する。なお、情報処理システム５０は、通信端末３０から視点情報と撮像要求を同時に受信する必要はなく、別々に受信した上で対応付ける処理を行ってもよい。また、ＵＲＬは保存場所を示す情報の一例であって、ＵＲＩ等の他の形式であってもよい。
【0115】
画像配信部５４は、仮想ルームに入室中のユーザーが操作する通信端末３０に、同じ仮想ルームに対応付けられている撮像装置１０が送信した広視野画像を配信する。通信端末３０が有するカメラ又は接続されたカメラ８，９が撮像した通常の画角の画像についても同様に配信される。
【0116】
認証部５５は、通信部５１によって受信された認証要求に基づいて、要求元の認証を行う機能である。認証部５５は、例えば、通信部５１によって受信された認証要求に含まれている認証情報（ユーザーＩＤ及びパスワード）が予め保持する認証情報と一致するか否かにより、ユーザーを認証する。なお、認証情報は、ＩＣカードのカード番号、顔、指紋及び声紋などの生体認証情報等でもよい。また、認証部５５は、外部の認証システム又はＯＡｕｔｈなどの認証方法で認証してもよい。
【0117】
通信グループ管理部５６は、仮想ルームへの通信端末３０及び/又はユーザーの入室、デバイスの対応付け等を管理する。通信グループ管理部５６は、認証部５５による認証が成功した場合に、ユーザーＩＤ及び通信端末３０のＩＰアドレスを仮想ルーム情報記憶部５００２に登録したり、仮想ルームに撮像装置１０を対応付けたりする。
【0118】
通信制御部５７は、各仮想ルームに対応付けられた撮像装置１０との通信の開始、確立、終了を管理する。また、通信制御部５７は、通信端末３０が仮想ルームに入室したり退室したりすることに応じて、広視野画像及び音声を配信する通信の開始、確立、終了を管理する。
【0119】
コネクション管理部は、通信端末３０及び撮像装置１０が情報処理システム５０と確立している通信（コネクション）を、仮想ルームに対応付けて管理をする。
【0120】
ＡＰＩ管理部６０は、プラットフォーム契約者が広視野画像の画像配信サービスを提供する場合に使用するＡＰＩを管理する。ＡＰＩを利用する場合、プラットフォーム契約者は、別途、ＡＰＩを呼び出すソフトウェアを開発すればよい。開発するソフトウェアはサーバ上で動作してもよいし、通信端末等のクライアント上で動作するものであってもよい。画像配信部５４、関連付け処理部５３、通信制御部５７等のように情報処理システム５０が備える機能であれば、ＡＰＩとして提供可能である。また、後から情報処理システム５０に追加した機能をＡＰＩとして提供することも可能である。ＡＰＩとして提供するか否かはプラットフォーム提供者が操作する通信端末が情報処理システム５０にアクセスし、ＡＰＩの公開設定を受け付けることによって、ＡＰＩ管理部６０が公開設定に基づいたＡＰＩの制御ができる。また、ＡＰＩ管理部６０はＡＰＩの呼び出しを要求する要求元のソフトウェアが正当なプラットフォーム契約者によって開発されたソフトウェアか否かを確認する認証処理を行ってもよい。認証処理はプラットフォーム契約者情報記憶部において記憶されている情報と、要求元のソフトウェアから送信された情報を対比させることで確認することができる。認証処理の具体的な処理の一例として、プラットフォーム契約者が開発するソフトウェアに対して、ＡＰＩ管理部６０によって予め発行されたアプリＩＤを要求元のソフトウェアから情報処理システム５０が受信し、ＡＰＩ管理部６０が、アプリＩＤがプラットフォーム契約者情報記憶部に記憶されていると判断できれば正当なソフトウェアとしてＡＰＩを提供することを許可する制御をＡＰＩ管理部６０が行う。一方で、正当なソフトウェアとして判断できなかった場合には、ＡＰＩを提供することを許可しない制御をＡＰＩ管理部６０が行う。なお、アプリＩＤは正当性を判断するための認証情報の一例であって、予め情報処理システム５０のＡＰＩ管理部６０もしくは外部システムが発行したアクセストークン、チケット、セキュリティキー、パスワード、ＰＩＮコード等の認証情報によってＡＰＩ管理部６０が要求元の正当性を確認してもよい。本実施形態では、ＡＰＩとして情報処理システム５０が備える機能を使用する形態は説明しないが、プラットフォーム契約者の開発したアプリケーション等のソフトウェアがＡＰＩ管理部６０における判断を経由して情報処理システム５０が備える機能を利用以外は処理の流れは同じでよい。
【0121】
記憶・読出部５９は、記憶部５０００に各種データを記憶させ、又は記憶部５０００から各種データを読み出す機能である。また、記憶部５０００には、画像管理情報記憶部５００１、及び仮想ルーム情報記憶部５００２、が形成されている。
【0122】
「画像管理情報記憶部５００１」
図１４（ａ）は、画像管理情報記憶部５００１に記憶される画像管理情報を示す概念図である。画像管理情報記憶部５００１には、図１４に示されているような画像管理情報が記憶されている。画像管理情報は、撮像要求により撮像された広視野画像を管理する情報であり、ユーザーが通信端末３０から撮像要求を送信すると、１レコードの画像管理情報が生成される。画像管理情報が有する各項目について説明する。
図１４（ａ）は、画像管理情報記憶部５００１に記憶される画像管理情報を示す概念図である。画像管理情報記憶部５００１には、図１４に示されているような画像管理情報が記憶されている。画像管理情報は、撮像要求により撮像された広視野画像を管理する情報であり、ユーザーが通信端末３０から撮像要求を送信すると、１レコードの画像管理情報が生成される。画像管理情報が有する各項目について説明する。
【0123】
・データＩＤは、広視野画像を識別する識別情報である。データＩＤは、情報処理システム５０が採番する。ＩＤはＩｄｅｎｔｉｆｉｃａｔｉｏｎの略であり識別子又は識別情報という意味である。ＩＤは複数の対象から、ある特定の対象を一意的に区別するために用いられる名称、符号、文字列、数値又はこれらのうち１つ以上の組み合わせをいう。
【0124】
・データ名称は、通信端末３０のユーザーが設定した広視野画像の名称である。データ名称はユーザーが設定できるが、自動で設定されてもよい。
【0125】
・撮像日時情報は、ユーザーが通信端末３０に撮像要求を入力した日時、撮像装置１０が広視野画像を撮像した日時等、広視野画像の撮像日時を特定するための情報である。撮像日時情報は広視野画像のタイムスタンプで代用してもよい。
【0126】
・撮像者情報は、通信端末３０に撮像要求を入力したユーザーの識別情報（ユーザー名でもよい）である。ユーザーは仮想ルームに入室した状態で、通信端末３０に撮像要求を入力するので、撮像者情報に登録されるユーザーは情報処理システム５０又は仮想ルームへの認証により特定されている。撮像者情報は、撮像要求と共に情報処理システム５０に送信される。
【0127】
・撮像装置情報は、広視野画像を撮像した撮像装置１０の識別情報（撮像装置ＩＤ）である。撮像装置ＩＤは、情報処理システム５０が採番して撮像装置１０と共有するが、ＭＡＣアドレス又はシリアル番号など撮像装置１０に固有の情報が使用されてもよい。撮像装置ＩＤは、広視野画像と共に情報処理システム５０に送信される。
【0128】
・撮像者の所定領域情報は、動径、極角及び方位角からなる視点情報である。視点情報は、通信端末３０が表示中の広視野画像の中心座表を示す。視点情報は撮像要求する通信端末３０から送信される。なお、視点情報は、動径、極角及び方位角に加え、表示範囲の幅と高さを指定する情報を有していてよい。あるいは、視点情報は表示範囲の幅と高さのみでもよい。
【0129】
・撮像時の仮想ルームＩＤは、撮像装置１０が対応付けられている仮想ルームの識別情報である。
【0130】
・データの保存場所情報は、広視野画像が保存されているＵＲＬ又はファイルパス等である。
【0131】
【0132】
「仮想ルーム情報記憶部５００２」
図１５は、仮想ルーム情報記憶部５００２に記憶される仮想ルーム情報を示す概念図である。仮想ルーム情報記憶部５００２には、図１５に示されているような仮想ルーム情報が記憶されている。仮想ルーム情報は、仮想ルームに関する情報であり、仮想ルームごとに保持される。仮想ルーム情報が有する各項目について説明する。なお、仮想ルームはテナントに登録されている。
図１５は、仮想ルーム情報記憶部５００２に記憶される仮想ルーム情報を示す概念図である。仮想ルーム情報記憶部５００２には、図１５に示されているような仮想ルーム情報が記憶されている。仮想ルーム情報は、仮想ルームに関する情報であり、仮想ルームごとに保持される。仮想ルーム情報が有する各項目について説明する。なお、仮想ルームはテナントに登録されている。
【0133】
・仮想ルームＩＤは、仮想ルームを識別する識別情報である。本実施形態では、仮想ルームはユーザーが任意に作成できるものとする。
【0134】
・仮想ルーム名称は、ユーザーが仮想ルームを判別するための名称であり、ユーザーが任意に設定できるものとする。
【0135】
・撮像装置情報は、仮想ルームに対応付けられている撮像装置１０の識別情報（撮像装置ＩＤ）である。
【0136】
・入室中のユーザーは、現在、仮想ルームに入室しているユーザーのユーザーＩＤである。このユーザーは広視野画像を閲覧可能なユーザーである。入室方法については後述する。また、ユーザーＩＤには該ユーザーが操作する通信端末３０のＩＰアドレスが対応付けられている。
【0137】
＜＜中継サーバ＞＞
中継サーバ７０は通信システム１において、撮像装置１０が送信する広視野画像と音声を受信側の通信端末３０に中継する情報処理装置である。また、中継サーバ７０は、視点情報等を送信する通信端末３０からの視点情報等を撮像装置１０及び/又は他の通信端末３０に中継する。中継サーバ７０は必須でないが、中継サーバ７０があることで撮像装置１０と通信端末３０間の通信制御が容易になる。
中継サーバ７０は通信システム１において、撮像装置１０が送信する広視野画像と音声を受信側の通信端末３０に中継する情報処理装置である。また、中継サーバ７０は、視点情報等を送信する通信端末３０からの視点情報等を撮像装置１０及び/又は他の通信端末３０に中継する。中継サーバ７０は必須でないが、中継サーバ７０があることで撮像装置１０と通信端末３０間の通信制御が容易になる。
【0138】
＜通信端末の仮想ルームへの入室＞
続いて、図１６、図１７を参照し、ユーザーＢが仮想ルームに入室する処理について説明する。なお、すでに撮像装置１０が仮想ルームに対応付けられ、通信端末３０Ａが広視野画像と通常の画角の画像を情報処理システム５０に送信しているものとする。また、以下では、ユーザーＢが仮想ルームに入室することと、ユーザーＢが操作する通信端末３０Ｂが仮想ルームに入室することを特に区別しないで説明する。
続いて、図１６、図１７を参照し、ユーザーＢが仮想ルームに入室する処理について説明する。なお、すでに撮像装置１０が仮想ルームに対応付けられ、通信端末３０Ａが広視野画像と通常の画角の画像を情報処理システム５０に送信しているものとする。また、以下では、ユーザーＢが仮想ルームに入室することと、ユーザーＢが操作する通信端末３０Ｂが仮想ルームに入室することを特に区別しないで説明する。
【0139】
図１６は、ユーザーＢが仮想ルームに入室する際に通信端末３０Ｂが表示する画面例を示す。図１６（ａ）は、入室画面２００の一例である。補足すると、入室画面２００の表示に先立って、ユーザーＢは情報処理システム５０にログインしている。ログインすることでユーザーＢが所属するテナントが特定される。仮想ルームはテナントと関連付けられている。ユーザーＢはテナントに関連付けられている仮想ルームの一覧を通信端末３０Ｂで表示し、一覧から入室する仮想ルームを選択する。図１６（ａ）はこのようにユーザーＢが選択した仮想ルームに対する入室画面２００である。
【0140】
あるいは、仮想ルームの作成者が仮想ルームに対応するＵＲＬの発行を情報処理システム５０に要求し、このＵＲＬをメール等でユーザーＢに送信してもよい。ユーザーＢが通信端末３０Ｂに表示されたＵＲＬを押下すると、通信端末３０Ｂが図１６（ａ）の入室画面２００を表示する。
【0141】
入室画面２００は、仮想ルーム名称２０１、参加者名入力欄２０２、及び入室ボタン２０３を有している。仮想ルーム名称２０１は仮想ルーム情報記憶部５００２に記憶されているものと同じである。参加者名入力欄２０２は、ニックネームなどユーザーＢの呼称でよい。ユーザーＢがログインすることでユーザーＢのユーザー名が特定されているので、このユーザー名が自動で表示されてもよい。入室ボタン２０３は、ユーザーＢが仮想ルームへの入室を要求するボタンである。
【0142】
なお、入室時に仮想ルームの入室のための認証が、テナントへのログインとは別に要求されてもよい。
【0143】
図１６（ｂ）は、ユーザーＢが仮想ルームに入室したことで、通信端末３０Ｂが表示する画像閲覧画面２１０である。図１６（ｂ）の画像閲覧画面２１０は、撮像装置１０が広視野画像の配信をすでに開始しており、通信端末３０Ａが通常の画角の画像の配信をすでに開始している。このため、画像閲覧画面２１０は、第一の画像欄２１１と第二の画像欄２１２を有している。第一の画像欄２１１には広視野画像が表示され、第二の画像欄２１２には通常の画角の画像が表示されている。画像を送信する拠点が３つ以上になれば、送信元の拠点の数に応じて画像閲覧画面２１０が分割される。
【0144】
第一の画像欄２１１には、広視野画像マーク２１３が表示されている。広視野画像マーク２１３は、情報処理システム５０の画面生成部５２が、第一の画像欄２１１に表示する画像が広視野画像であると判断して設定する。通信端末３０Ｂが判断して表示してもよい。ユーザーＢは広視野画像マーク２１３を見ることで、視点を変更できることが分かる。また、第一の画像欄２１１にはデバイスの名称２１４（広視野画像と共に撮像装置１０から送信される）が表示される。デバイスの名称２１４は予めユーザーＡが設定することができる。
【0145】
第二の画像欄２１２には、参加者名２１５が表示される。参加者名２１５は参加者名入力欄２０２に、すでに入室済みのユーザー（ここではユーザーＡが入室済みなので、ユーザーＡが参加者名入力欄２０２に入力した「ＡＡＡ」）の参加者名が表示される。
【0146】
図１７は、ユーザーＢ（又は通信端末３０Ｂ）が仮想ルームに入室する処理を説明するシーケンス図である。
【0147】
S1：まず、拠点ＢのユーザーＢが仮想ルームの一覧画面の表示を行う操作を行う。受付部３２が一覧画面を表示する操作を受け付けることで、通信端末３０Ｂの表示制御部３３は、ディスプレイ３０６に選択画面を表示させる。
【0148】
S2：ユーザーＢがある仮想ルームの選択ボタンを選択した場合、通信端末３０Ｂの受付部３２は、仮想ルームの選択を受け付ける。通信端末３０Ｂの表示制御部３３は、ディスプレイ３０６に入室画面２００を表示させる。
【0149】
S3：ユーザーＢが必要事項を入力し、入室ボタン２０３を押下する。受付部３２が押下を受け付けることで、通信端末３０Ｂの通信部３１は、情報処理システム５０に対して、仮想ルームへの入室要求を送信する。この入室要求は、ステップS2で選択された仮想ルームを示す仮想ルームＩＤ、ログインしているユーザーＢのユーザーＩＤ、及び要求元端末である通信端末３０ＢのＩＰアドレスを含む。
【0150】
S4：これにより、情報処理システム５０の通信部５１は、入室要求を受信する。通信グループ管理部５６は、仮想ルーム情報記憶部５００２の仮想ルームＩＤで特定される仮想ルーム情報に、ログインしているユーザーＩＤとＩＰアドレスを登録する。
【0151】
S5：そして、情報処理システム５０の通信部５１は、通信端末３０Ｂに対して、入室済みを送信する。これにより、通信端末３０Ｂの通信部３１は、入室済みを受信する。
【0152】
＜撮像装置のルームへの対応付け＞
続いて、図１８～図２２を参照して、撮像装置１０のルームへの対応付けについて説明する。なお、撮像装置１０のルームへの対応付けは拠点ＡのユーザーＡが行うとして説明するが、システム管理者又はテナント管理者等が行ってもよい。
続いて、図１８～図２２を参照して、撮像装置１０のルームへの対応付けについて説明する。なお、撮像装置１０のルームへの対応付けは拠点ＡのユーザーＡが行うとして説明するが、システム管理者又はテナント管理者等が行ってもよい。
【0153】
図１８は、仮想ルームに撮像装置１０を対応付けるための仮想ルーム対応付け画面（その１）２６０の一例を示す。ＶＲゴーグル８９、スマートグラス８８の場合も画面構成は同じでよい。仮想ルーム対応付け画面（その１）２６０は、仮想ルームのリスト２６１を有している。仮想ルームのリスト２６１は、テナントに作成されている仮想ルームに基づいて仮想ルーム個別欄２６２～２６４を表示する。各仮想ルーム個別欄２６２～２６４は、リンク発行ボタン２６５と、入室ボタン２６６と、設定ボタン２６７と、仮想ルーム名称２６８と、を有する。リンク発行ボタン２６５は、仮想ルームへのリンク（招待するためのＵＲＬ）とパスコードを発行するためのボタンである。入室ボタン２６６は仮想ルームにユーザーＡが入室するためのボタンである。設定ボタン２６７は、仮想ルームに撮像装置１０を対応付けるためのボタンである。仮想ルーム名称２６８は仮想ルーム情報記憶部５００２に記憶されているものと同じである。したがって、ユーザーＡは設定ボタン２６７を押下する。設定ボタン２６７の押下により、通信端末３０Ａは仮想ルーム対応付け画面（その２）２７０を表示する。
【0154】
また、仮想ルームにすでにデバイスが対応付けられている場合、仮想ルーム個別欄（図では仮想ルーム個別欄２６４）にデバイスの名称２６９が表示される。
【0155】
図１９は、仮想ルーム対応付け画面（その２）２７０の一例を示す。なお、仮想ルーム対応付け画面（その２）２７０は仮想ルーム対応付け画面（その１）２６０にポップアップ表示されている。仮想ルーム対応付け画面（その１）２６０から仮想ルーム対応付け画面（その２）２７０への画面遷移は、情報処理システム５０を経由しないが、経由する画面遷移も可能である。
【0156】
仮想ルーム対応付け画面（その２）２７０は、現在（すでに）、仮想ルームに対応付けられている撮像装置１０の名称２７１（まだ登録されていないので図では未登録）と、接続ボタン２７２と、ストレージボタン２７３と、を有する。接続ボタン２７２は、テナントに登録されているデバイスの一覧を表示させるボタンである。ストレージボタン２７３は当該仮想ルームに対応付けられている撮像装置１０が広視野画像を保存するストレージ９０の一覧を表示させるボタンである。接続ボタン２７２の押下により、通信端末３０Ａは仮想ルーム対応付け画面（その３）を表示する。
【0157】
通信端末３０Ａは情報処理システム５０に仮想ルームＩＤを送信し、該仮想ルームが生成されているテナントに登録されているデバイスの名称（デバイスのＩＤ等も含む）、及び、仮想ルームに対応付けられているデバイスの名称（デバイスのＩＤ等も含む）を取得する。
【0158】
図２０は、仮想ルーム対応付け画面（その３）２８０の一例を示す。仮想ルーム対応付け画面（その３）２８０は、現在（すでに）、仮想ルームに対応付けられている撮像装置１０の名称２８１と、追加可能デバイス一覧２８２と、保存ボタン２８３と、を有している。ユーザーＡは追加可能デバイス一覧２８２から仮想ルームに対応付けたいデバイスを選択し、保存ボタン２８３を押下する。これにより、仮想ルームにデバイスが対応付けられる（仮想ルーム情報記憶部５００２に撮像装置ＩＤが登録される）。
【0159】
＜撮像装置に対する広視野画像の送信開始処理＞
以上で、撮像装置１０等のデバイスが仮想ルームに対応付けられたが、ユーザーＡがデバイスに対し画像の送信開始を操作する必要がある。
以上で、撮像装置１０等のデバイスが仮想ルームに対応付けられたが、ユーザーＡがデバイスに対し画像の送信開始を操作する必要がある。
【0160】
ＶＲゴーグル８９とスマートグラス８８については、ユーザーＡがデバイス本体を操作して画像の送信をオン、オフする。これは、現在、ＶＲゴーグル８９とスマートグラス８８については、通信システム１に専用のアプリケーションが動作していないためである。ＶＲゴーグル８９とスマートグラス８８においても通信システム１に専用のアプリケーションが動作する場合、ユーザーＡが遠隔から画像の送信をオン、オフできる。
【0161】
撮像装置１０の場合、アプリケーションが有効になっていれば、ユーザーＡが仮想ルームに入室してメニューから広視野画像の送信をオン、オフできる。
【0162】
図２１は、通信端末３０Ａが表示する広視野画像送信開始停止ダイアログ２９０の一例である。広視野画像送信開始停止ダイアログ２９０は画像閲覧画面２１０にポップアップ表示されている。ユーザーＡが通信端末３０Ａを操作して、撮像装置１０を対応付けた仮想ルームに入室したものとする。広視野画像送信開始停止ダイアログ２９０は、この仮想ルームに対応付けられている撮像装置１０の名称２９２を表示する。名称２９２の近くにトグルボタン２９１が表示されており、ユーザーＡがトグルボタン２９１を操作して、撮像装置１０による広視野画像の送信をオン又はオフに設定できる。なお、トグルボタンによるオン又はオフの設定方法は一例であって、ユーザー操作の入力に応じて設定できればよい。例えば、ユーザーは、ラジオボタン又は所定のアイコンの選択、メニュー操作等によって設定してもよい。また、ユーザー操作を不要として、撮像装置１０が入室してから自動で広視野画像の送信を開始してもよい。また、日時、入室したユーザーの人数、及び特定のユーザーが参加したことなどの所定の条件を予め定めておき、その条件を満たしたことを判断した場合に、広視野画像の送信を開始してもよい。
【0163】
通信端末３０Ａはトグルボタン２９１の状態を情報処理システム５０に送信する。情報処理システム５０はトグルボタン２９１の状態に応じた送信開始要求又は送信停止要求を撮像装置１０に送信する。
【0164】
図２１（ａ）はトグルボタン２９１がオフの状態を示す。このため、図２１（ａ）では広視野画像が表示されていない。一方、図２１（ａ）では、通信端末３０Ａが入室した時点で、通信端末３０Ａのカメラ９が撮像した通常の画角の画像がすでに共有されており、画像閲覧画面２１０に表示されている。
【0165】
図２１（ｂ）はトグルボタン２９１がオンの状態を示す。トグルボタン２９１のオンにより、情報処理システム５０がオン要求を撮像装置１０に送信したため、撮像装置１０が広視野画像の送信を開始した。このため、１つの仮想ルームで２つの画像が共有されるので、画像閲覧画面２１０が２つに分割される。
【0166】
＜＜仮想ルームへの撮像装置の登録手順＞＞
次に、図２２を参照して、画面遷移で説明した仮想ルームへの撮像装置１０の登録手順を説明する。図２２は、ユーザーＡが仮想ルームに撮像装置１０を登録する手順を示すシーケンス図の一例である。
次に、図２２を参照して、画面遷移で説明した仮想ルームへの撮像装置１０の登録手順を説明する。図２２は、ユーザーＡが仮想ルームに撮像装置１０を登録する手順を示すシーケンス図の一例である。
【0167】
S11：まず、ユーザーＡが通信端末３０Ａを情報処理システム５０に接続させ、認証情報（ユーザーＩＤ，パスワード等）を入力して、自分が所属するテナントへのログインを要求する。通信端末３０Ａの受付部３２が操作を受け付ける。
【0168】
S12：通信端末３０Ａの通信部３１は認証情報を指定してログイン要求を情報処理システム５０に送信する。情報処理システム５０の通信部５１は、ログイン要求を受信し、認証部５５が認証を行う。ここでは認証が成功したものとする。
【0169】
S13：ユーザー操作に応じて、情報処理システム５０の画面生成部５２はデバイス登録画面２２０を生成し、通信部５１がデバイス登録画面２２０の画面情報を通信端末３０Ａに送信する。
【0170】
S14：通信端末３０Ａの通信部３１がデバイス登録画面２２０の画面情報を受信し、表示制御部３３がデバイス登録画面２２０を表示する。ユーザーＡはデバイスの種類を選択し（ここでは撮像装置１０が選択されたものとする）、次いで、撮像装置１０の名称、説明を入力する。受付部３２が入力を受け付ける。
【0171】
S15：通信端末３０Ａの通信部３１は、ユーザーＡが入力した名称と説明を指定して、二次元コードの要求を情報処理システム５０に送信する。
【0172】
S16：情報処理システム５０の通信部５１は、二次元コードの要求を受信する。通信グループ管理部５６は、名称と説明と関連付けてＵＲＬ（登録のための接続先）を生成し、ＵＲＬ、一時的なＩＤ及びパスワードを含む二次元コードを生成する。情報処理システム５０の通信部５１は二次元コードを通信端末３０Ａに送信する。通信端末３０Ａの通信部３１が二次元コードを受信し、表示制御部３３が二次元コードを表示する。
【0173】
S17：次に、ユーザーＡは仮想ルームに対応付けたい撮像装置１０を操作して、二次元コードを撮像する。撮像装置１０の受付部１２が操作を受け付ける。
【0174】
S18：撮像装置１０の撮像処理部１３は二次元コードを含む撮像処理を行うことで画像データを生成し、解析部１４が画像データを解析してＵＲＬ、一時的なＩＤ及びパスワードを抽出する。これにより、登録要求部１５が接続部１６を経由してＵＲＬに接続し、一時的なＩＤ及びパスワードを指定して撮像装置１０の登録要求を情報処理システム５０に送信する。
【0175】
S19：情報処理システム５０の通信部５１は、一時的なＩＤ及びパスワードを受信し、認証部５５が接続されたＵＲＬに関連付けられている一時的なＩＤ及びパスワードと一致するかどうかを判断する。ここではＩＤ及びパスワードがそれぞれ一致したものとする。
【0176】
S20：情報処理システム５０の通信グループ管理部５６は、撮像装置１０の登録が要求されているので、撮像装置ＩＤを生成し、ユーザーＡがログインした際のテナントに登録する。なお、撮像装置ＩＤには名称及び/又は説明が関連付けられている。
【0177】
S21：情報処理システム５０の通信部５１は、撮像装置ＩＤを撮像装置１０に送信する。撮像装置１０の接続部１６が撮像装置ＩＤを受信し、記憶部１０００に保存する。
【0178】
S22：通信端末３０Ａには登録完了が通知され、これによりユーザーＡが仮想ルームへの撮像装置１０の対応付けを開始する。ユーザーＡは仮想ルーム対応付け画面（その１）２６０を通信端末３０Ａに表示させ、テナントに登録した撮像装置１０を対応付けたい仮想ルームを選択する。通信端末３０Ａの受付部３２が選択を受け付ける。
【0179】
S23：次に、ユーザーＡは仮想ルーム対応付け画面（その２）２７０を通信端末３０Ａに表示させ、デバイスの追加を押下する。通信端末３０Ａの受付部３２が押下を受け付ける。
【0180】
S24：通信端末３０Ａの通信部３１は、テナントに登録済みのデバイスと、ステップS23で選択された仮想ルームＩＤに対応付けられているデバイスを情報処理システム５０に要求する。
【0181】
S25：情報処理システム５０の通信部５１は、テナントに登録済みのデバイスと、仮想ルームＩＤに対応付けられているデバイスの要求を受信し、画面生成部５２がテナントに登録済みのデバイスと、仮想ルームＩＤに対応付けられているデバイスのデバイスＩＤを含む仮想ルーム対応付け画面（その３）２８０を生成する。情報処理システム５０の通信部５１は仮想ルーム対応付け画面（その３）２８０の画面情報を通信端末３０Ａに送信する。
【0182】
S26：通信端末３０Ａの通信部３１が仮想ルーム対応付け画面（その３）２８０の画面情報を受信し、表示制御部３３が仮想ルーム対応付け画面（その３）２８０を表示する。ユーザーＡは仮想ルームに対応付ける撮像装置１０を選択する。通信端末３０Ａの受付部３２が選択を受け付け、撮像装置ＩＤが特定される。
【0183】
S27：通信端末３０Ａの通信部３１は、ステップS23で選択された仮想ルームＩＤとS27で選択された撮像装置ＩＤを指定して、対応付け要求を情報処理システム５０に送信する。
【0184】
S28：情報処理システム５０の通信部５１は、対応付け要求を受信し、通信グループ管理部５６が仮想ルームに撮像装置１０を登録する。すなわち、通信グループ管理部５６は、仮想ルーム情報記憶部５００２に撮像装置ＩＤを登録する。
【0185】
S29：仮想ルームに撮像装置ＩＤが対応付けられたので、情報処理システム５０の通信部５１は、仮想ルームＩＤ，名称、説明を撮像装置１０に送信する。情報処理システム５０はプッシュ通知を利用してもよいし、撮像装置１０がポーリングすることを利用して送信してもよい。撮像装置１０の接続部１６が仮想ルームＩＤ，名称、説明を受信し、記憶部１０００に保存する。これにより、撮像装置１０が広視野画像を送信する際は、撮像装置ＩＤ、仮想ルームＩＤ、名称、説明等を添付できる。
【0186】
S30：通信端末３０Ａには対応付け完了が通知され、これによりユーザーＡが画像閲覧画面２１０において仮想ルームに対応付けられた撮像装置１０のトグルボタン２９１をオンする。通信端末３０Ａの受付部３２がオンを受け付ける。
【0187】
S31：通信端末３０Ａの通信部３１は、撮像装置ＩＤを指定して広視野画像の送信開始要求を情報処理システム５０に送信する。なお、ユーザーＡが直接、撮像装置１０のボタンを操作して、広視野画像の送信を開始してもよい。なお、ユーザーＡの操作により、通信端末３０Ａの通信部３１が、送信停止要求を情報処理システム５０に送信する場合もある。
【0188】
S32：情報処理システム５０の通信部５１は、送信開始要求を受信し、撮像装置ＩＤで特定される撮像装置１０に送信開始を要求する。情報処理システム５０はプッシュ通知を利用してもよいし、撮像装置１０がポーリングすることを利用してもよい。撮像装置１０の接続部１６が送信開始を受信し、撮像処理部１３が撮像を開始する。画像送信制御部１８が接続部１６を介して決まったＦＰＳ又は帯域に応じたＦＰＳで広視野画像の送信を繰り返す。したがって、仮想ルームに入室した通信端末３０は拠点Ａの状況を画像閲覧画面２１０にリアルタイムに表示できる。
【0189】
＜広視野画像等の配信＞
図２３を参照して、広視野画像又は通常の画角の画像が共有される流れを説明する。図２３は、広視野画像が共有される流れを説明するシーケンス図の一例である。図２３では、通信端末３０Ａ、３０Ｂが仮想ルームに入室ずみである。また、通信端末３０Ａは通常の画角のカメラ９を有し、通信端末３０Ｂと共有されている。通信端末３０Ａのカメラ９でなく、仮想ルームに対応付けられたスマートグラス８８が撮像した画像等が共有されてもよい。
図２３を参照して、広視野画像又は通常の画角の画像が共有される流れを説明する。図２３は、広視野画像が共有される流れを説明するシーケンス図の一例である。図２３では、通信端末３０Ａ、３０Ｂが仮想ルームに入室ずみである。また、通信端末３０Ａは通常の画角のカメラ９を有し、通信端末３０Ｂと共有されている。通信端末３０Ａのカメラ９でなく、仮想ルームに対応付けられたスマートグラス８８が撮像した画像等が共有されてもよい。
【0190】
S41：通信端末３０Ａの撮像部３４は繰り返し画像の撮像を行い、通信部３１は入室している仮想ルームＩＤを指定して画像及び音声を繰り返し、情報処理システム５０に送信する。
【0191】
S42,S43：情報処理システム５０の通信部５１が画像及び音声を受信すると、画像配信部５４が仮想ルームに入室している通信端末３０Ａ，３０ＢのＩＰアドレスを仮想ルーム情報記憶部５００２から取得し、通信部５１を介して画像及び音声を送信する。なお、図２３では、通信端末３０Ａの通信部３１が通常の画角の画像を情報処理システム５０から受信して表示しているが、撮像部３４が撮像した通常の画角の画像を受信することなく表示してもよい。
【0192】
S44：次に、撮像装置１０がトグルボタン２９１のオンによる送信開始要求に応じて、撮像処理部１３は繰り返し広視野画像の撮像を行い、画像送信制御部１８が接続部１６を介して仮想ルームＩＤ、撮像装置ＩＤ、名称、説明を指定して広視野画像及び音声を繰り返し、情報処理システム５０に送信する。
【0193】
S45,S46：情報処理システム５０の通信部５１が広視野画像及び音声を受信すると、画像配信部５４が仮想ルームに入室している通信端末３０Ａ，３０ＢのＩＰアドレスを仮想ルーム情報記憶部５００２から取得し、通信部５１を介して広視野画像及び音声を送信する。
【0194】
S47：次に、カメラ９を備えた通信端末３０Ｃが新しく仮想ルームに入室した。
【0195】
S48：通信端末３０Ｃの通信部３１は通常の画角の画像及び音声を情報処理システム５０に送信する。
【0196】
S49～S51：情報処理システム５０の通信部５１は通信端末３０Ｃから通常の画角の画像及び音声を受信し、仮想ルームに入室している通信端末３０Ａ～３０ＣのＩＰアドレスを仮想ルーム情報記憶部５００２から取得し、画像配信部５４が通常の画角の画像及び音声を送信する。
【0197】
S52：また、情報処理システム５０の通信部５１は同じ仮想ルームに入室した通信端末３０Ｃに対しても、広視野画像及び音声を送信する。
【0198】
このように、同じ仮想ルームに入室したユーザーＡ，Ｂは、仮想ルームに対応付けられた撮像装置１０が撮像する広視野画像を共有できる。なお、図２３で示した、各画像の送信順は一例であり、広視野画像が先に共有されてもよいし、通常の画角の画像が先に共有されてもよい。
【0199】
スマートグラス８８とＶＲゴーグル８９について補足する。スマートグラス８８は通常の画角のカメラと表示機能を有している。スマートグラス８８が保持するカメラが撮像した通常の画角の画像は、カメラ８，９と同様に配信される。スマートグラス８８が保持する表示機能は、通常のディスプレイと同様に平面なので、ユーザーが指示する視点で広視野画像の一部が表示される。ＶＲゴーグル８９は表示機能を有している（通常の画角のカメラをさらに有していてもよい）。スマートグラス８８が保持する表示機能は、ユーザーの頭部の向きによって決まる視点の広視野画像を投影するので、ユーザーの頭部の向きに応じた視点で広視野画像の一部が表示される。ユーザーは、スマートグラス８８又はＶＲゴーグル８９で広視野画像を閲覧中に、閲覧中の視点情報を指定した撮像要求を情報処理システム５０に送信できる。
【0200】
＜姿勢情報について＞
建設現場などで毎日、定期的に建物及び/又は機材を記録して差分を確認するシーン等では撮像装置１０の設置位置が同じでも光軸の向き（姿勢）がずれるとユーザーが変化を把握しづらくなってしまう。ユーザーとしてはできるだけ撮像装置１０を固定したいが、防犯又は安全上の理由で撮像装置１０を特定の位置に固定しておくことが難しい。撮像装置１０が360度を撮像できるという特性からもユーザーはカメラの向きを気にすることが少ないため、毎日、全く同じ方向に設置するという動機も生じにくい。
建設現場などで毎日、定期的に建物及び/又は機材を記録して差分を確認するシーン等では撮像装置１０の設置位置が同じでも光軸の向き（姿勢）がずれるとユーザーが変化を把握しづらくなってしまう。ユーザーとしてはできるだけ撮像装置１０を固定したいが、防犯又は安全上の理由で撮像装置１０を特定の位置に固定しておくことが難しい。撮像装置１０が360度を撮像できるという特性からもユーザーはカメラの向きを気にすることが少ないため、毎日、全く同じ方向に設置するという動機も生じにくい。
【0201】
図２４は、１日目と２日目に設置された撮像装置１０の姿勢の違いを説明する図である。図２４（ａ）は、１日目の設置位置で撮像された広視野画像であり、図２４（ｂ）は、２日目の設置位置で撮像された広視野画像である。ここで２日目（第二の時期の一例）とはこれから記録のため撮像装置１０を設置した当日であり、１日目（第一の時期の一例）とは前日かそれよりも以前である。１日目が１週間などでもよく、ユーザーが指定した日にちでもよい。また、ユーザーが任意の２日を指定することで、通信端末３０が姿勢の違いを補正した広視野画像を表示してもよい。
【0202】
図２４（ａ）（ｂ）に示すように、１日目と２日目の設置位置はほぼ同じだが、姿勢（後述するロール角）が異なっている。このため、１日目と２日目では光軸の向き４０１が異なってしまい、初期状態でユーザーが視聴する所定領域も変わってしまう。
【0203】
本実施形態では、通信端末３０が、１日目に撮像した広視野画像と同じ向きになるように２日目の広視野画像を補正する。こうすることで、２日目に設置された撮像装置１０の姿勢が変わっても、１日目と同じ姿勢で撮像した広視野画像をユーザーが閲覧できる。
【0204】
＜撮像状態情報＞
図２５は、通信端末３０が有する撮像状態情報記憶部３００２に保存されている撮像状態情報を示す。撮像状態情報は、視点情報、姿勢情報、及び、位置情報である。図２５に示すように撮像状態情報は、ＩＤに対応付けられた、保存日時、視点情報、姿勢情報、及び、位置情報を有している。これらは一例であるが、ＩＤ＝１の保存日時は、１月１日 １４：００、ＩＤ＝２の保存日時は、１月１日 １４：１０、ＩＤ＝３の保存日時は１月２日 １４：００である。
図２５は、通信端末３０が有する撮像状態情報記憶部３００２に保存されている撮像状態情報を示す。撮像状態情報は、視点情報、姿勢情報、及び、位置情報である。図２５に示すように撮像状態情報は、ＩＤに対応付けられた、保存日時、視点情報、姿勢情報、及び、位置情報を有している。これらは一例であるが、ＩＤ＝１の保存日時は、１月１日 １４：００、ＩＤ＝２の保存日時は、１月１日 １４：１０、ＩＤ＝３の保存日時は１月２日 １４：００である。
【0205】
ＩＤ＝２，３の姿勢情報に示すように、１日目と２日目で姿勢情報が異なっている。１日目と２日目は撮像装置１０が設置され直す時期の一例であり、姿勢情報が変化した場合に本実施形態の画像補正を適用できる。例えば、１日目と２日目という時期の違いが、時刻、週、月、年の違いであってもよい。
【0206】
視点情報は、パン（pan）、チルト（tilt）、視野角（fov：Field of View）である。姿勢情報は、ロール角（roll）、ピッチ角（pitch）、ヨー角（yaw）である。位置情報は、緯度、経度、高度である。以下、詳細に説明する。
【0207】
【0208】
・パンは、水平方向の角度（ラジアン）である。値の範囲は－２πから２πである。
【0209】
・チルトは、垂直方向の角度（ラジアン）である。値の範囲は－π/２からπ/２である。
【0210】
・視野角は、所定範囲の垂直方向の角度（単位は度）である。視野角の中心がパンとチルトで定まる点である。
【0211】
図２６（ｂ）は３次元空間においてパン、チルト及び視野角を模式的に示す。図２６（ｂ）に示すように、光軸が向いている方向がパンとチルトで決定される。また、図２６（ｃ）に示すように、視野角は高さ方向の画角である。横方向の画角は所定のアスペクト比になるように決定されてよい。ユーザーは、パン、チルト及び視野角を任意に変更して任意の所定領域を閲覧できる。
【0212】
図２７は、異なる視野角と視野角に対応する所定領域を示す。図２７の中心点４２０がパンとチルトで定まる点である。図２７は、視野角＝７０、９０、１００度の場合の所定領域４２１，４２２，４２３を示す。視野角が大きいと所定領域４２１，４２２，４２３に入る広視野画像の範囲も大きくなる。
【0213】
【0214】
図２８は、撮像装置１０の姿勢を説明する図である。撮像装置１０を通過する３本の直線が示されている。撮像装置１０の鉛直方向の直線４１３を軸とする回転角がロール角、直線４１２を軸とする回転角がピッチ角、直線４１１を軸とする回転角がヨー角である。ロール角、ピッチ角、ヨー角は成立状態を０度として、３６０度の範囲を取り得るが、撮像装置１０が三脚に取り付けられた場合、三脚が水平であれば、可変なのはロール角のみである。
【0215】
＜正距円筒射影画像と単位球の変換＞
撮像装置１０の姿勢が変化すると光軸が変わるが、これは球の中心と球の表面を結ぶ光軸が球を中心に回転することに相当する。広視野画像の回転に関しては、正距円筒射影画像よりも球形式の方が、処理が容易である。そこで、画像補正部３５は、正距円筒射影画像を球形式の３次元座標に変換する。なお、球形式では処理を容易にするため、半径を１とする単位球（３次元座標）が使用されてよい。
撮像装置１０の姿勢が変化すると光軸が変わるが、これは球の中心と球の表面を結ぶ光軸が球を中心に回転することに相当する。広視野画像の回転に関しては、正距円筒射影画像よりも球形式の方が、処理が容易である。そこで、画像補正部３５は、正距円筒射影画像を球形式の３次元座標に変換する。なお、球形式では処理を容易にするため、半径を１とする単位球（３次元座標）が使用されてよい。
【0216】
図２９は、正距円筒射影画像の２次元座標と単位球の表面の３次元座標の変換を模式的に示す。図２９に示すように正距円筒射影画像の２次元座標Ｐｅ（λ、φ）が、単位球の表面の３次元座標Ｐｓ（ｘｓ、ｙｓ、ｚｓ）に変換される。逆に、単位球の表面の３次元座標Ｐｓ（ｘｓ、ｙｓ、ｚｓ）を２次元座標Ｐｅ（λ、φ）に変換することもできる。
【0217】
図３０は、３次元座標と極座標の対応を説明する図である。３次元座標Ｐｓ（ｘｓ、ｙｓ、ｚｓ）を指し示す極座標（λ、φ）は正距円筒射影画像の２次元座標に対応する。したがって、図３０に示す対応から、以下の変換式が得られる。
式（２）は正距円筒射影画像の２次元座標を、単位球の表面の３次元座標に変換する変換式である。
式（３）は単位球の表面の３次元座標を、正距円筒射影画像の２次元座標に変換する変換式である。
【数2】
【数3】
【0218】
通信端末３０は、正距円筒射影画像として得られている２日目の広視野画像を単位球に変換し、１日目と２日目の姿勢情報の差異だけ逆方向に回転させる。その後、通信端末３０が単位球の広視野画像を正距円筒射影画像に戻す。こうすることで、姿勢に関しては、１日目と２日目で撮像装置１０の姿勢が異なっても、通信端末３０は、２日目の広視野画像を１日目の姿勢で表示できる。また、通信端末３０が１日目の視点情報を使って、２日目の広視野画像の１日目と同じ所定領域を表示できる。
【0219】
＜異なる姿勢で撮像装置が設置された場合の処理＞
図３１は、撮像装置１０が２日目に１日目と異なる位置と姿勢で設置された場合に、通信端末３０が１日目と２日目の姿勢の差異により２日目の広視野画像を補正して表示する処理を説明するシーケンス図である。なお、図３１では情報処理システム５０と中継サーバ７０を省略した。撮像装置１０と通信端末３０の間の通信は情報処理システム５０又は中継サーバ７０を経由してよい。
図３１は、撮像装置１０が２日目に１日目と異なる位置と姿勢で設置された場合に、通信端末３０が１日目と２日目の姿勢の差異により２日目の広視野画像を補正して表示する処理を説明するシーケンス図である。なお、図３１では情報処理システム５０と中継サーバ７０を省略した。撮像装置１０と通信端末３０の間の通信は情報処理システム５０又は中継サーバ７０を経由してよい。
【0220】
S101、S102：まず、１日目に配信者は撮像装置１０を任意の位置と姿勢で設置する。設置が終わると配信者は撮像装置１０を起動させる。
【0221】
S103：ユーザーの操作で又は起動により、撮像装置１０の画像送信制御部１８が配信の開始を行うと判断する。
【0222】
S104：画像送信制御部１８は、配信の開始を検出して、センサ部２１に姿勢情報と位置情報を要求する。この他、匂いなども検出されてよい。
【0223】
S105：センサ部２１は要求に対し、姿勢情報（第一の姿勢情報の一例）と位置情報を画像送信制御部１８に送信する。
【0224】
S106：画像送信制御部１８は、撮像処理部１３が撮像した広視野画像と付随する音声、及び、姿勢情報と位置情報を通信端末３０に送信する。送信時には情報処理システム５０又は中継サーバを経由する場合がある。
【0225】
S107：広視野画像と音声、及び、姿勢情報と位置情報を受信した通信端末３０は、広視野画像を透視射影変換し、最初は初期設定の所定領域を表示する。
【0226】
S108：視聴者は通信端末３０を操作することで広視野画像の所定領域を変更し、任意の所定領域画像を閲覧することができる。
【0227】
S109：視聴者が所定領域を変更すると視点情報が変化するため、記憶・読出部３９は、視聴者が所定領域を変更するたびに現在の視点情報を計算して姿勢情報と位置情報と共に、撮像状態情報記憶部３００２に保存する。記憶・読出部３９は、視点情報、姿勢情報及び位置情報は撮像装置１０内又は経由する中継サーバ７０、又は、情報処理システム５０に保持してもよい。つまり、撮像状態情報記憶部３００２は中継サーバ７０、又は、情報処理システム５０にあってもよいし、ネットワーク上にあってもよい。中継サーバ７０、又は、情報処理システム５０が撮像状態情報記憶部３００２を保持している場合、通信端末３０が会議を開始することで取得部３６が撮像状態情報記憶部３００２をダウンロードしてよい。
【0228】
記憶・読出部３９は、視点情報が変化するごとに視点情報と１日目の姿勢情報と位置情報を保存しても良いし、撮像装置１０から送信された姿勢情報又は位置情報が変化した場合のみ、視点情報と姿勢情報と位置情報を保存しても良い。撮像装置１０から送信された姿勢情報又は位置情報が変化した場合のみ保存することで、設置位置の変更時にこれらを保存できる。
【0229】
続いて、２日目の配信について説明する。
S111～S116：２日目も１日目と同様に、配信者が改めて撮像装置１０を設置し直してから撮像装置１０が広視野画像の配信を開始する。
S111～S116：２日目も１日目と同様に、配信者が改めて撮像装置１０を設置し直してから撮像装置１０が広視野画像の配信を開始する。
【0230】
S117：視聴者が１日目と同じ姿勢で広視野画像を閲覧したい場合、通信端末３０に対し同期機能を有効にする操作を行う。同期機能が有効になると、通信端末３０の取得部３６は、ステップS109で保存しておいた姿勢情報と視点情報を撮像状態情報記憶部３００２から取得する。画像補正部３５は取得した姿勢情報とステップS116で受信した姿勢情報（第二の姿勢情報の一例）とを比較する。なお、取得部３６は、最も後に保存されていた姿勢情報と視点情報を撮像状態情報記憶部３００２から取得すればよいが、視聴者がいつの姿勢情報と視点情報を取得するかを指定することもできる。
【0231】
S118：２日目の撮像範囲が１日目の撮像範囲に含まれている場合、通信端末３０は２日目の広視野画像を１日目の姿勢から見た広視野画像に補正し、さらに１日目の視点情報で表示する。こうすることで、視聴者は１日目と同じ姿勢で同じ視点から所定領域画像を閲覧できる。広視野画像の変換については後に詳述する。
【0232】
２日目の撮像範囲が１日目の撮像範囲に含まれている場合とは、２日目と１日目で姿勢が大きく違いすぎないことをいう。画像補正部３５は、１日目と２日目の姿勢情報が閾値以上異なる場合、２日目の撮像範囲が１日目の撮像範囲に含まれていないと判断する。この閾値は適宜実験的に定められている。なお、本実施形態では、設置位置は変更がないかほぼ同じという前提であり、撮像装置１０は360度の全範囲を撮像できるため、姿勢が大きく違っていても支障は少ない。したがって、ステップS118の判断はなくてもよい。
【0233】
また、図３１では広視野画像の補正処理を通信端末３０が行っているが、撮像装置１０、情報処理システム５０、又は、中継サーバ７０が行ってもよい。
【0234】
S119：２日目の撮像範囲が１日目の撮像範囲に含まれていない場合、通信端末３０は、広視野画像を補正しないで表示する。
【0235】
＜異なる姿勢を視点とする広視野画像の補正＞
図３２は、ステップS118で行われる撮像装置１０の姿勢の差異による広視野画像の補正処理について説明する図である。図３２では、説明の便宜上、１日目と２日目でロール角のみが変化したものとする。
図３２は、ステップS118で行われる撮像装置１０の姿勢の差異による広視野画像の補正処理について説明する図である。図３２では、説明の便宜上、１日目と２日目でロール角のみが変化したものとする。
【0236】
図３２（ａ）は、２日目の正距円筒射影画像である。図３２（ｂ）は１日目の正距円筒射影画像である。図３２（ｂ）に示すように、１日目と２日目でロール角がＡ度変化した。ロール角のみが異なる場合、正距円筒射影画像の水平方向の角度のみに影響が生じる。したがって、ロール角の変化に対しては、水平方向だけの補正でよいため、画像補正部３５は、１日目に撮像した広視野画像と光軸が同じ向きになるように水平方向（正距円筒射影画像の経度に相当）に広視野画像を補正する。すなわち、画像補正部３５は、１日目と２日目のロール角の差分だけ、２日目の広視野画像を水平方向に移動すればよい。なお、ロール角の正負と正距円筒射影画像の経度を正負（左右）のどちらに移動させるかは予め設定されている。
【0237】
図３２（ｃ）は、ロール角の変化に応じて水平方向に移動された２日目の広視野画像を示す。図３２（ｃ）と図３２（ａ）を比較すると、２日目の広視野画像が水平方向にロール角と同じＡ度、移動している。１日目と２日目の姿勢情報の違いが、ロール角のみでない場合、画像補正部３５は正距円筒射影画像を単位球に変換してから姿勢の違いによる広視野画像の補正を行う。
【0238】
【0239】
画像補正部３５は、１日目と２日目の姿勢情報の差異に基づいて広視野画像を補正する場合、図３３（ｂ）に示すように、正距円筒射影画像を、式（２）を用いて単位球の広視野画像に変換する。そして、画像補正部３５は、１日目と２日目の姿勢情報の差異と逆に単位球を回転させる。立体球の回転は各軸を中心とした回転を合成したものでよい。
【0240】
回転後、画像補正部３５は、単位球の広視野画像を、式（３）を用いて正距円筒射影画像に変換する（図３３（ｃ））。
【0241】
このように、本実施形態の通信システムは、正距円筒射影画像を単位球に変換して姿勢情報の差異だけ回転させることで、２日目の広視野画像を１日目の広視野画像を撮像した姿勢から見た視点で表示できる。
【0242】
＜主な効果＞
以上説明したように、本実施形態の通信システム１は、時期が異なる別々の会議の中で、撮像装置１０の姿勢が若干変化していても同じ所定領域を表示することができる。
以上説明したように、本実施形態の通信システム１は、時期が異なる別々の会議の中で、撮像装置１０の姿勢が若干変化していても同じ所定領域を表示することができる。
【0243】
＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【0244】
例えば、図１３などの構成例は、情報処理システム５０、撮像装置１０、及び、通信端末３０による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方又は名称によって本願発明が制限されることはない。情報処理システム５０、撮像装置１０、通信端末３０の処理は、処理内容に応じてさらに多くの処理単位に分割することもできる。また、１つの処理単位がさらに多くの処理を含むように分割することもできる。
【0245】
上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、DSP（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、FPGA（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）や従来の回路モジュール等のデバイスを含むものとする。
【0246】
また、実施形態に記載された装置群は、本明細書に開示された実施形態を実施するための複数のコンピューティング環境のうちの１つを示すものにすぎない。ある実施形態では、情報処理システム５０は、サーバクラスタといった複数のコンピューティングデバイスを含む。複数のコンピューティングデバイスは、ネットワーク又は共有メモリなどを含む任意のタイプの通信リンクを介して互いに通信するように構成されており、本明細書に開示された処理を実施する。
【0247】
さらに、情報処理システム５０は、開示された処理ステップ、例えば図３１等を様々な組み合わせで共有するように構成できる。例えば、所定のユニットによって実行されるプロセスは、情報処理システム５０が有する複数の情報処理装置によって実行され得る。また、情報処理システム５０は、１つのサーバ装置にまとめられていても良いし、複数の装置に分けられていてもよい。
【0248】
＜付記＞
[付記１]
撮像装置が撮像した広視野画像を、ネットワークを介して受信する通信端末であって、
前記撮像装置が設置された第一の時期における前記撮像装置の第一の姿勢情報を保存しておく記憶・読出部と、
前記撮像装置が設置された第二の時期における前記撮像装置の第二の姿勢情報、及び、前記第二の時期に撮像された広視野画像を受信する通信部と、
受信した前記第二の姿勢情報と保存されていた前記第一の姿勢情報の差異に基づいて、前記広視野画像を補正する画像補正部と、
前記画像補正部が補正した前記広視野画像を表示させる表示制御部と、
を有する通信端末。
[付記２]
前記画像補正部は、前記第一の姿勢情報と前記第二の姿勢情報の差異に基づいて、前記広視野画像を前記第一の姿勢情報で撮像された広視野画像に補正する付記１に記載の通信端末。
[付記３]
前記記憶・読出部は、前記第一の姿勢情報と、前記広視野画像の前記第一の時期における視点を示す視点情報とを対応付けて保存しておき、
前記表示制御部は、前記画像補正部が補正した前記広視野画像を、前記視点情報を視点として表示させる付記１又は２に記載の通信端末。
[付記４]
前記第一の姿勢情報と前記第二の姿勢情報の差異は、前記撮像装置の鉛直方向の軸を中心とする回転のみであり、
前記画像補正部は、正距円筒射影画像の前記広視野画像を水平方向に、前記回転と同じ角度、移動させる付記２に記載の通信端末。
[付記５]
前記画像補正部は、正距円筒射影画像の前記広視野画像を単位球に変換し、
前記単位球を前記第一の姿勢情報と前記第二の姿勢情報の差異に応じて回転させ、
回転後の単位球を正距円筒射影画像の前記広視野画像に戻すことで、前記広視野画像を前記第一の姿勢情報で撮像された広視野画像に補正する付記２に記載の通信端末。
[付記６]
前記記憶・読出部は、前記撮像装置から送信された前記第一の姿勢情報が変化していた場合のみ、前記第一の姿勢情報及び前記視点情報を保存する付記３に記載の通信端末。
[付記７]
前記第一の時期は前日であり、前記第二の時期は当日である付記１～６のいずれか１項に記載の通信端末。
[付記１]
撮像装置が撮像した広視野画像を、ネットワークを介して受信する通信端末であって、
前記撮像装置が設置された第一の時期における前記撮像装置の第一の姿勢情報を保存しておく記憶・読出部と、
前記撮像装置が設置された第二の時期における前記撮像装置の第二の姿勢情報、及び、前記第二の時期に撮像された広視野画像を受信する通信部と、
受信した前記第二の姿勢情報と保存されていた前記第一の姿勢情報の差異に基づいて、前記広視野画像を補正する画像補正部と、
前記画像補正部が補正した前記広視野画像を表示させる表示制御部と、
を有する通信端末。
[付記２]
前記画像補正部は、前記第一の姿勢情報と前記第二の姿勢情報の差異に基づいて、前記広視野画像を前記第一の姿勢情報で撮像された広視野画像に補正する付記１に記載の通信端末。
[付記３]
前記記憶・読出部は、前記第一の姿勢情報と、前記広視野画像の前記第一の時期における視点を示す視点情報とを対応付けて保存しておき、
前記表示制御部は、前記画像補正部が補正した前記広視野画像を、前記視点情報を視点として表示させる付記１又は２に記載の通信端末。
[付記４]
前記第一の姿勢情報と前記第二の姿勢情報の差異は、前記撮像装置の鉛直方向の軸を中心とする回転のみであり、
前記画像補正部は、正距円筒射影画像の前記広視野画像を水平方向に、前記回転と同じ角度、移動させる付記２に記載の通信端末。
[付記５]
前記画像補正部は、正距円筒射影画像の前記広視野画像を単位球に変換し、
前記単位球を前記第一の姿勢情報と前記第二の姿勢情報の差異に応じて回転させ、
回転後の単位球を正距円筒射影画像の前記広視野画像に戻すことで、前記広視野画像を前記第一の姿勢情報で撮像された広視野画像に補正する付記２に記載の通信端末。
[付記６]
前記記憶・読出部は、前記撮像装置から送信された前記第一の姿勢情報が変化していた場合のみ、前記第一の姿勢情報及び前記視点情報を保存する付記３に記載の通信端末。
[付記７]
前記第一の時期は前日であり、前記第二の時期は当日である付記１～６のいずれか１項に記載の通信端末。
【符号の説明】
【0249】
１ 通信システム
１０ 撮像装置
３０ 通信端末
５０ 情報処理システム
１０ 撮像装置
３０ 通信端末
５０ 情報処理システム
【先行技術文献】
【特許文献】
【0250】
【特許文献1】特開２００３‐２４４７２８号公報
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】