(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024135401
(43)【公開日】2024-10-04
(54)【発明の名称】表示端末、情報管理システム、通信システム、表示方法、及びプログラム
(51)【国際特許分類】
G06F 3/0481 20220101AFI20240927BHJP
G09G 5/00 20060101ALI20240927BHJP
【FI】
G06F3/0481
G09G5/00 510B
G09G5/00 530M
【審査請求】未請求
【請求項の数】15
【出願形態】OL
(21)【出願番号】P 2023046059
(22)【出願日】2023-03-22
(71)【出願人】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100107515
【弁理士】
【氏名又は名称】廣田 浩一
(72)【発明者】
【氏名】日野原 寛
(72)【発明者】
【氏名】上田 潮里
【テーマコード(参考)】
5C182
5E555
【Fターム(参考)】
5C182AA04
5C182AB33
5C182AC02
5C182AC03
5C182AC13
5C182AC15
5C182BA29
5C182BA46
5C182BA47
5C182CB54
5E555AA61
5E555BA02
5E555BA38
5E555BB02
5E555BB38
5E555BC07
5E555BD06
5E555BE17
5E555CA01
5E555CB01
5E555DA08
5E555DB03
5E555DC09
5E555DC26
5E555FA00
(57)【要約】
【課題】ユーザが広視野画像のうちのどの領域を既に表示していたかを思い出しながら閲覧を進めて行かなければならない事態を解消することを目的とする。
【解決手段】本開示は、広視野画像の所定領域を表示する表示端末であって、前記広視野画像の少なくとも一部領域を再度表示する際に、前記広視野画像において過去に前記表示端末によって表示された第1の表示済み領域を前記広視野画像に重畳させる表示制御部を有する表示端末である。
【選択図】
図25
【特許請求の範囲】
【請求項1】
広視野画像の所定領域を表示する表示端末であって、
前記広視野画像の少なくとも一部領域を再度表示する際に、前記広視野画像において過去に前記表示端末によって表示された第1の表示済み領域を前記広視野画像に重畳させる表示制御部を有する表示端末。
【請求項2】
請求項1に記載の表示端末であって、
前記広視野画像の少なくとも一部領域を再度表示する際に、前記広視野画像において前記表示端末によって表示された第2の所定領域を特定するための第2の領域情報を取得する取得部と、
前記表示制御部は、前記広視野画像の少なくとも一部領域を次に表示する際に、前記広視野画像に対して、前記第1の表示済み領域を重畳させると共に前記第2の領域情報に基づく第2の表示済み領域を重畳させる、
請求項1に記載の表示端末。
【請求項3】
前記表示制御部は、前記第1の表示済み領域と共に当該第1の表示済み領域の表示回数を示す情報を重畳し、前記第2の表示済み領域と共に当該第2の表示済み領域の表示回数を示す情報を重畳する、請求項2に記載の表示端末。
【請求項4】
前記取得部は、前記広視野画像の少なくとも一部領域を再度表示する際に、前記広視野画像において前記表示端末によって表示された第2の所定領域を特定するための第2の領域情報を取得し、
前記表示制御部は、前記広視野画像の少なくとも一部領域を次に表示する際に、前記広視野画像に対して、前記第1の表示済み領域を重畳させずに前記第2の領域情報に基づく第2の表示済み領域を重畳させる、
請求項2に記載の表示端末。
【請求項5】
前記広視野画像の少なくとも一部領域を最初に表示する際は前記広視野画像の録画中であり、前記再度表示する際は前記広視野画像の再生中である、請求項2に記載の表示端末。
【請求項6】
前記取得部は、前記録画中に前記表示制御部が前記広視野画像において前記表示端末によって表示された第1の所定領域を特定するための第1の領域情報を取得し、
前記表示制御部は、前記録画中に前記取得部によって前記第1の領域情報が取得された録画経過時間に相当する前記再生中の再生経過時間に、前記広視野画像に対して、前記第1の領域情報に基づく前記第1の表示済み領域を重畳させる、請求項5に記載の表示端末。
【請求項7】
前記表示制御部は、前記録画中に前記取得部によって前記第1の領域情報が取得された録画経過時間に相当する再々生中の再生経過時間に、前記広視野画像に対して、前記第1の領域情報に基づく前記第1の表示済み領域を重畳させる、請求項6に記載の表示端末。
【請求項8】
請求項6に記載の表示端末であって、
前記取得部よって取得された前記第1の領域情報を記憶する記憶部を有し、
前記表示制御部は、前記広視野画像に対して、前記記憶部に記憶された前記第1の領域情報に基づく前記第1の表示済み領域を重畳させる、
表示端末。
【請求項9】
請求項6に記載の表示端末であって、
前記取得部よって取得された前記第1の領域情報を、情報を管理する情報管理システムに送信する送信部と、
前記情報管理システムが送信した、前記広視野画像及び前記第1の領域情報を受信する受信部と、
を有し、
前記表示制御部は、前記受信部によって受信された前記広視野画像に対して、前記受信部によって受信された前記第1の領域情報に基づく前記第1の表示済み領域を重畳させる、
表示端末。
【請求項10】
前記受信部は、前記情報管理システムから、ナレーションの音声を含めた前記広視野画像を受信する、請求項9に記載の表示端末。
【請求項11】
前記表示制御部は、前記表示端末のディスプレイ、前記表示端末に接続されたVRゴーグルのディスプレイ、又は前記表示端末に接続されたプロジェクタに表示する、請求項1乃至10のいずれか一項に記載の表示端末。
【請求項12】
広視野画像の所定領域を表示する表示端末と、前記広視野画像を管理する情報管理システムとを有する通信システムであって、
前記表示端末は、
前記広視野画像において前記表示端末によって表示された第1の所定領域を特定するための第1の領域情報を、前記情報管理システムに送信する送信部を有し、
前記情報管理システムは、
前記広視野画像及び前記第1の領域情報を、前記表示端末に送信する送信部を有し、
前記表示端末は、
前記広視野画像及び前記第1の領域情報を受信する受信部と、
前記広視野画像の少なくとも一部領域を再度表示する際に、前記受信部によって受信された前記広視野画像に対して、前記受信部によって受信された前記第1の領域情報に基づく第1の表示済み領域を重畳させる表示制御部と、
を有する通信システム。
【請求項13】
広視野画像の所定領域を表示する表示端末が実行する表示方法であって、
前記表示端末は、前記広視野画像の少なくとも一部領域を再度表示する際に、前記広視野画像において過去に前記表示端末によって表示された第1の表示済み領域を前記広視野画像に重畳させる表示制御処理を実行する表示方法。
【請求項14】
広視野画像の所定領域を表示させるためのプログラムであって、
コンピュータに、
前記広視野画像の少なくとも一部領域を再度表示する際に、前記広視野画像において過去に前記コンピュータによって表示された第1の表示済み領域を前記広視野画像に重畳させるためのプログラム。
【請求項15】
広視野画像の所定領域を表示する表示端末に対して、前記広視野画像を送信する情報管理システムであって、
前記表示端末が送信した、前記広視野画像において前記表示端末によって表示された第1の所定領域を特定するための第1の領域情報を受信する受信部と、
前記表示端末が前記広視野画像の少なくとも一部領域を再度表示する際に、前記広視野画像において前記第1の領域情報に基づく第1の表示済み領域を重畳した前記広視野画像を作成する作成部と、
前記作成部によって作成された前記第1の表示済み領域が重畳されている前記広視野画像を、前記表示端末に送信する送信部と、
を有する情報管理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、表示端末、情報管理システム、通信システム、表示方法、及びプログラムに関する。
【背景技術】
【0002】
近年、通常の画角では確認しきれないような箇所も含む撮像範囲として、例えば360度の全周囲が撮像された360度画像(全天球画像、全方位画像、全周囲画像ともいう)等の広い視野角を有する広視野の画像(以下「広視野画像」と示す。)が知られている。このような広視野画像の全てを表示端末で表示させようとすると、広視野画像が湾曲して見えづらいため、表示端末には広視野画像における所定領域を示す所定領域画像を表示して、ユーザが所定領域画像を閲覧している。
【0003】
また、複数のユーザが遠隔により同じ広視野画像の一部領域を閲覧する場合、所定のユーザの表示端末に他のユーザが同じ広視野画像のどのあたりの所定領域を表示して閲覧しているかを示すマークを表示させることが提案されている(特許文献1参照)。
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、ユーザが閲覧するのは広視野画像の一部である所定領域画像であるため、広視野画像の他の領域を見落しがちである。そのため、ユーザが、再度同じ広視野画像を表示して閲覧する場合がある。このような場合、従来のように、所定のユーザの表示端末に、他のユーザが現在表示している所定領域を示すマークを表示しても、所定のユーザは自分自身が過去に表示していた所定領域を把握することができない。そのため、所定のユーザは自分自身が過去に同じ広視野画像のどのあたりの所定領域を表示して閲覧していたかを思い出しながら閲覧を進めて行く必要があり、非常に手間のかかる作業になってしまう。
【0005】
本開示は上記事情に鑑みてなされたもので、ユーザが広視野画像のうちのどの領域を既に表示していたかを思い出しながら閲覧を進めて行かなければならない事態を解消することを目的とする。
【課題を解決するための手段】
【0006】
請求項1に係る開示内容は、広視野画像の所定領域を表示する表示端末であって、前記広視野画像の少なくとも一部領域を再度表示する際に、前記広視野画像において過去に前記表示端末によって表示された第1の表示済み領域を前記広視野画像に重畳させる表示制御部を有する表示端末である。
【発明の効果】
【0007】
以上説明したように本開示によれば、ユーザが広視野画像のうちのどの領域を既に表示していたかを思い出しながら閲覧を進めて行かなければならない事態を解消することができるという効果を奏する。
【図面の簡単な説明】
【0008】
【
図1】(a)は撮影装置の左側面図であり、(b)は撮影装置の正面図であり、(c)は撮影装置の平面図である。
【
図3】(a)は撮影装置で撮影された半球画像(前)、(b)は撮影装置で撮影された半球画像(後)、(c)はメルカトル図法により表された画像を示した図である。
【
図4】(a)メルカトル画像で球を被う状態を示した概念図、(b)全天球画像を示した図である。
【
図5】全天球画像を3次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。
【
図6】(a)は
図5の立体斜視図、(b)は(a)の状態の所定領域画像がディスプレイに表示されている図、(c)は(a)における仮想カメラICの視点を変更後の所定領域を示した図、(d)は(c)の状態の所定領域画像がディスプレイに表示されている図である。
【
図7】球座標による三次元ユークリッド空間内の点を示した図である。
【
図8】所定領域と注目点との関係を示した概念図である。
【
図9】本発明の実施形態に係る通信システムの概略図である。
【
図12】通信制御システム及び通信端末のハードウェア構成図である。
【
図13】第1の実施形態に係る通信システムの各機能構成図である。
【
図14】ユーザ・デバイス管理DBの概念図である。
【
図17】通信システムにおいてコンテンツデータの通信処理を示したシーケンス図である。
【
図18】通信システムにおいて録画及び録音を開始する処理を示すシーケンス図である。
【
図19】通信システムにおいて録画及び録音を停止する処理を示すシーケンス図である。
【
図20】通信システムにおいて録画及び録音の再生の処理を示すシーケンス図である。
【
図23】表示中の所定領域T1上に過去に表示された所定領域T2を重畳する場合の説明図である。
【
図24】最初に表示された所定領域画像を示す図である。
【
図25】2回目に表示された所定領域画像を示す図である。
【
図26】3回目に表示された所定領域画像を示す図である。
【
図27】第2の実施形態に係る通信システムの概念図である。
【
図28】VRゴーグルのハードウェア構成図である。
【
図31】第2の実施形態に係る通信システムの各機能構成図である。
【
図32】通信システムにおいてVRコンテンツを共有する処理を示すシーケンス図である。
【
図33】3回目に表示された所定領域画像を示す図である。
【発明を実施するための形態】
【0009】
以下、図面を用いて、本発明の実施形態について説明する。
【0010】
〔全天球画像の概要〕
図1乃至
図8を用いて、全天球画像の生成方法について説明する。なお、全天球画像は、全天球パノラマ画像、360°パノラマ画像とも言われ、広範囲の視野角を有する広視野動画の一例である。広視野画像には、180°程度の単なるパノラマ画像も含まれる。
【0011】
まず、
図1を用いて、撮影装置10の外観を説明する。撮影装置10は、全天球画像の元になる撮影画像を得るためのデジタルカメラである。なお、
図1(a)は撮影装置の左側面図であり、
図1(b)は撮影装置の正面図であり、
図1(c)は撮影装置の平面図である。
【0012】
図1(a)に示されているように、撮影装置10は、人間が片手で持つことができる大きさである。また、
図1(a),(b),(c)に示されているように、撮影装置10の上部には、正面側(前側)に撮像素子103a及び背面側(後側)に撮像素子103bが設けられている。また、
図1(b)に示されているように、撮影装置10の正面側には、シャッターボタン等の操作部115が設けられている。
【0013】
次に、
図2を用いて、撮影装置10の使用状況を説明する。なお、
図2は、撮影装置の使用イメージ図である。撮影装置10は、
図2に示されているように、何らかの台2の上に設置された中継装置3と通信可能に接続されており、周りの被写体や風景等を撮影するために用いられる。この場合、
図1に示されている撮像素子103a及び撮像素子103bによって、それぞれユーザの周りの被写体が撮像されることで、2つの半球画像を得ることができる。なお、撮影装置10が撮影により得た全天球画像を、他の通信端末やシステムに送信しないのであれば、中継装置3は不要である。
【0014】
次に、
図3及び
図4を用いて、撮影装置10で撮影された画像から全天球画像が作成されるまでの処理の概略を説明する。なお、
図3(a)は撮影装置で撮影された半球画像(前側)、
図3(b)は撮影装置で撮影された半球画像(後側)、
図3(c)は正距円筒図法により表された画像(以下、「正距円筒射影画像」という)を示した図である。なお、メルカトル図法等により表された画像(以下、「メルカトル画像」という)でもよい。
図4(a)は正距円筒射影画像で球を被う状態を示した概念図、
図4(b)は全天球画像を示した図である。なお、「正距円筒射影画像」は、上述の広視野画像の一例としてエクイレクタングラー(equirectangular)形式の全天球画像である。
【0015】
図3(a)に示されているように、撮像素子103aによって得られた画像は、後述の魚眼レンズ等の広角レンズ102aによって湾曲した半球画像(前側)となる。また、
図3(b)に示されているように、撮像素子103bによって得られた画像は、後述の魚眼レンズ等の広角レンズ102bによって湾曲した半球画像(後側)となる。そして、撮影装置10は、半球画像(前側)と180度反転された半球画像(後側)とを合成して、
図3(c)に示されているような正距円筒射影画像ECを作成する。
【0016】
そして、撮影装置10は、OpenGL ES(Open Graphics Library for Embedded Systems)等のソフトウェアを利用することで、
図3(a)に示されているように、球面を覆うように正距円筒射影画像ECを貼り付け、
図3(b)に示されているような全天球画像CEを作成する。このように、全天球画像CEは、正距円筒射影画像ECが球の中心を向いた画像として表される。なお、OpenGL ESは、2D(2-Dimensions)及び3D(3-Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。OpenGL ESはあくまで画像処理を実行するソフトウェアの一例であって、他のソフトウェアによって全天球画像CEを作成してもよい。また、全天球画像CEは、静止画であっても動画であってもよい。なお、ここでは撮影装置10が全天球画像を生成する例として説明したが、同様の画像処理又は一部の画像処理の工程を通信制御システム5又は通信端末7,9が実行してもよい。
【0017】
そして、OpenGL ES(Open Graphics Library for Embedded Systems)が利用されることで、
図4(a)に示されているように、メルカトル画像が球面を覆うように貼り付けられ、
図4(b)に示されているような全天球画像が作成される。このように、全天球画像は、メルカトル画像が球の中心を向いた画像として表される。なお、OpenGL ESは、2D(2-Dimensions)および3D(3-Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。なお、全天球画像は、静止画であっても動画であってもよい。
【0018】
以上のように、全天球画像CEは、球面を覆うように貼り付けられた画像であるため、人間が見ると違和感を持ってしまう。そこで、通信端末7,9が全天球画像の一部領域である所定領域(以下、「所定領域画像」という)を湾曲(歪み)の少ない平面画像として表示することで、人間に違和感を与えない表示を行うことができる。これに関して、
図5乃至
図8を用いて説明する。
【0019】
図5は、全天球画像を三次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。仮想カメラICは、三次元の立体球として表示されている全天球画像CEに対して、その画像を見るユーザの仮想的な視点の位置に相当するものである。
図6において、(a)は
図5の立体斜視図、(b)は(a)の状態の所定領域画像がディスプレイに表示されている図、(c)は(a)における仮想カメラICの視点を変更後の所定領域を示した図、(d)は(c)の状態の所定領域画像がディスプレイに表示されている図である。
【0020】
このように生成された全天球画像CEが、立体球CSであるとした場合、
図5に示されているように、仮想カメラICは、全天球画像CEの内部に位置している。全天球画像CEにおける所定領域Tは、仮想カメラICの撮像領域であり、全天球画像CEを含む三次元の仮想空間における仮想カメラICの撮像方向と画角を示す画角情報(「領域情報」ともいう)によって特定される。
【0021】
また、所定領域Tのズームは、仮想カメラICを全天球画像CEに近づいたり、遠ざけたりすることで表現することもできる。所定領域画像Qは、全天球画像CEにおける所定領域Tの画像である。したがって、所定領域Tは、画角αと、仮想カメラICから全天球画像CEまでの距離fにより特定できる。
【0022】
また、
図6(a)の状態から、
図6(c)に示されているように、仮想カメラICの仮想的な視点が右側(図面に向かって左側)に移動(「変更」ともいう)されると、これに応じて全天球画像CEにおける所定領域Tが所定領域T'に移動されるため、所定のディスプレイに表示される所定領域画像Qが所定領域画像Q'に変更される。これにより、所定のディスプレイには、
図6(b)に示されている画像が、
図6(d)に示されている画像に変更表示される。
【0023】
次に、
図7及び
図8を用いて、画角情報と所定領域Tの画像の関係について説明する。
図7は、球座標による三次元ユークリッド空間内の点を示した図である。
図8は、所定領域と注目点(中心点)との関係を示した概念図である。
【0024】
ここで、
図7で示した中心点CPを球面極座標系で表現したときの任意の位置座標を(r,θ,φ)とする。(r,θ,φ)は、それぞれ動径、極角、方位角である。動径rは、全天球画像を含む三次元の仮想空間の原点から任意の点(
図8では中心点CP)までの距離であり、
図8で示した距離fに等しい。
【0025】
また、
図8に示すように、仮想カメラICの撮像領域である所定領域Tの中心を、
図7の中心点CPと考えた場合、一般的に以下の(式1)で示される三角関数が成り立つ。
(L/f)= tan(α/2)・・・(式1)
なお、fは、仮想カメラICから中心点CPまでの距離である。Lは、所定領域Tの任意の頂点と中心点CPとの距離である(2Lは対角線)。αは画角である。この場合、所定領域Tを特定するための画角情報は、pan(θ)、tilt(φ)、及びfov(α)によって表すことができる。なお、所定領域Tのズームは、画角αの範囲(円弧)を広げたり縮めたりすることで表現することができる。
【0026】
●第1の実施形態
〔第1の通信システムの概略〕
続いて、
図9を用いて、第1の実施形態に係る通信システム1aの概略を説明する。
図9は、第1の実施形態に係る通信システムの概略図である。
【0027】
図9に示されているように、本実施形態の通信システム1aは、撮影装置10、中継装置3、通信端末7、及び通信端末9a,9bによって構成されている。なお、通信端末9a,9bの総称を「通信端末9」と示す。また、通信端末は、画像等を表示する「表示端末」と示してもよい。
【0028】
このうち、撮影装置10は、上述のように、広視野画像(全天球画像等)を得るためのデジタルカメラである。中継装置3は、撮影装置1への充電やデータ送受信を行なうクレードル(Cradle)の機能を有している。また、中継装置3は、接点を介して撮影装置1とデータ通信を行なうことができると共に、通信ネットワーク100を介して通信制御システム5とデータ通信を行なうことができる。なお、通信ネットワーク100は、例えば、インターネット、LAN(Local Area Network)、(無線)ルータ等を含む。
【0029】
また、通信制御システム5は、例えば、コンピュータであり、通信ネットワーク100を介して、中継装置3、通信端末7,9とデータ通信を行なうことができる。なお、通信制御システム5は、画角情報等を管理するため、「情報管理システム」と示すこともできる。
【0030】
通信端末7,9は、例えば、ノートPC(Personal Computer)であり、通信ネットワーク100を介して、通信制御システム5とデータ通信を行なうことができる。通信端末7,9には、OpenGL ESがインストールされており、通信制御システム5から受信した全天球画像から所定領域画像(
図6参照)を作成する。なお、通信制御システム5は、単一のコンピュータによって構成されてもよいし、複数のサーバコンピュータによって構成されてもよい。
【0031】
更に、撮影装置10及び中継装置3は、工事現場、展示場、教育現場、医療現場等の現地Saで主催者X等によって所定の位置に設置されている。通信端末7は主催者Xによって操作される。通信端末9aは現地Saの遠隔地にいる閲覧者等の参加者Aによって操作される。同様に、通信端末9bは現地Saの遠隔地にいる閲覧者等の参加者Bによって操作される。参加者Aと参加者Bは、同じ場所にいてもよいし、違う場所にいてもよい。
【0032】
通信制御システム5は、撮影装置10から中継装置3を介して得た広視野画像を、通信端末7,9に送信(配信)する。また、通信制御システム5は、各通信端末7,9から各通信端末7,9で表示中の所定領域画像の所定領域を特定するための各画角情報を受信して、各画角情報を通信端末7,9に送信する。
【0033】
〔第1の実施形態のハードウェア構成〕
次に、
図10乃至
図12を用いて、本実施形態の撮影装置10、中継装置3、及び通信端末7,9のハードウェア構成を詳細に説明する。
【0034】
<撮影装置のハードウェア構成>
図10は、撮影装置のハードウェア構成図である。
図10に示されているように、撮影装置10は、撮像ユニット101、画像処理ユニット104、撮像制御ユニット105、マイク108、音処理ユニット109、CPU(Central Processing Unit)111、ROM(Read Only Memory)112、SRAM(Static Random Access Memory)113、DRAM(Dynamic Random Access Memory)114、操作部115、入出力I/F116、近距離通信回路117、近距離通信回路117のアンテナ117a、電子コンパス118、ジャイロセンサ119,加速度センサ120、及びネットワークI/F121によって構成されている。
【0035】
このうち、撮像ユニット101は、各々半球画像を結像するための180°以上の画角の撮像が可能な広角レンズ102a,102b(以下区別する必要のないときは、レンズ102と称する。)、及び各レンズ102a,102bに対応させて設けられている二つの撮像素子103a,103bを備えている。
【0036】
また、撮像素子103a,103bは、レンズ102a,102b等による光学像を電気信号の画像データに変換して出力するCMOS(Complementary Metal Oxide Semiconductor)センサやCCD(Charge Coupled Device)センサ等の画像センサ、この画像センサの水平又は垂直同期信号や画素クロック等を生成するタイミング生成回路、及びこの撮像素子の動作に必要な種々のコマンドもしくはパラメータ等が設定されるレジスタ群等を有している。なお、撮像ユニット101が広角レンズを2つ備える構成はあくまで一例であって、1つだけ備えていてもよいし、3つ以上備えていてもよい。
【0037】
撮像ユニット101の撮像素子103a,103bは、各々、画像処理ユニット104とパラレルI/Fバスを介して接続している。一方、撮像ユニット101の撮像素子103a,103bは、それぞれ撮像制御ユニット105とシリアルI/Fバス(I2Cバス等)を介して接続している。
【0038】
画像処理ユニット104、撮像制御ユニット105及び音処理ユニット109は、バス110を介してCPU111と接続している。さらに、バス110には、ROM112、SRAM113、DRAM114、操作部115、入出力I/F116、近距離通信回路117、電子コンパス118、ジャイロセンサ119、加速度センサ120及びネットワークI/F121等も接続される。
【0039】
画像処理ユニット104は、撮像素子103a,103bから出力される画像データをパラレルI/Fバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、後述する正距円筒射影画像(広視野画像の一例)のデータを作成する。
【0040】
撮像制御ユニット105は、一般に撮像制御ユニット105をマスタデバイス、撮像素子103a,103bをスレーブデバイスとして、I2Cバスを利用して、撮像素子103a,103bのレジスタ群にコマンド等を設定する。必要なコマンド等は、CPU111から受け取る。撮像制御ユニット105は、同じくI2Cバスを利用して、撮像素子103a,103bのレジスタ群のステータスデータ等を取り込み、CPU111に送る。
【0041】
また、撮像制御ユニット105は、操作部115のシャッターボタンが押下されたタイミングで、撮像素子103a,103bに画像データの出力を指示する。撮影装置10によっては、ディスプレイ(例えば、近距離通信回路117を用いて撮影装置10と近距離通信を行うスマートフォン等の外部端末のディスプレイ)によるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子103a,103bからの画像データの出力は、所定のフレームレート(フレーム/分)によって連続して行われる。
【0042】
また、撮像制御ユニット105は、後述するように、CPU111と協働して撮像素子103a,103bの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、撮影装置10には表示部(ディスプレイ)が設けられていないが、表示部を設けてもよい。マイク108は、音を音(信号)データに変換する。音処理ユニット109は、マイク108から出力される音データをI/Fバスを通して取り込み、音データに対して所定の処理を施す。
【0043】
CPU111は、撮影装置10の全体の動作を制御すると共に必要な処理を実行する。ROM112は、CPU111のための種々のプログラムを記憶している。SRAM113及びDRAM114はワークメモリであり、CPU111で実行するプログラムや処理途中のデータ等を記憶する。特にDRAM114は、画像処理ユニット104での処理途中の画像データや処理済みの正距円筒射影画像のデータを記憶する。
【0044】
操作部115は、種々の操作ボタンや電源スイッチ、シャッターボタン、及び表示と操作の機能を兼ねたタッチパネル等の総称である。ユーザは、操作部115を操作することで、種々の撮像モードや撮像条件等を入力する。
【0045】
入出力I/F116は、SDカード等の外付けのメディア又はパーソナルコンピュータ等とのインターフェース回路(USBのI/F等)の総称である。入出力I/F116は、無線、有線を問わない。DRAM114に記憶された正距円筒射影画像のデータは、入出力I/F116を介して外付けのメディアに記録されたり、必要に応じて入出力I/F116を介して外部端末(装置)に送信されたりする。
【0046】
近距離通信回路117は、撮影装置10に設けられたアンテナ117aを介して、NFC(Near Field Communication)、Bluetooth(登録商標)又はWi-Fi等の近距離無線通信技術によって、外部端末(装置)と通信を行う。近距離通信回路117は、正距円筒射影画像のデータを、外部端末(装置)に送信することができる。
【0047】
電子コンパス118は、地球の磁気から撮影装置10の方位を算出し、方位情報を出力する。この方位情報は、Exifに沿った関連情報(メタデータ)の一例であり、撮影画像の画像補正等の画像処理に利用される。なお、関連情報は、画像の撮像日時及び画像データのデータ容量の各データも含む。
【0048】
ジャイロセンサ119は、撮影装置10の移動に伴う角度の変化(roll角、Pitch角、Yaw角)を検出するセンサである。角度の変化はExifに沿った関連情報(メタデータ)の一例であり、撮影画像の画像補正等の画像処理に利用される。
【0049】
加速度センサ120は、三軸方向の加速度を検出するセンサである。
【0050】
撮影装置10は、電子コンパス118、加速度センサ120等を利用して、自装置(撮影装置10)の姿勢(重力方向に対する角度)を算出する。また、撮影装置10は、加速度センサ120を設けることによって、画像補正の精度が向上する。
【0051】
ネットワークI/F121は、ルータ等を介して、インターネット等の通信ネットワーク100を利用したデータ通信を行うためのインターフェースである。また、撮影装置10のハードウェア構成はここに示すものに限られず、撮影装置10の機能的構成を実現できるものであればよい。また、上記ハードウェア構成の少なくとも一部は、中継装置3又は通信ネットワーク100上に存在していてもよい。
【0052】
<中継装置のハードウェア構成>
図11は、中継装置3のハードウェア構成図である。なお、
図11は、中継装置3が、無線通信機能を有したクレードルの場合のハードウェア構成図である。
【0053】
図11に示されているように、中継装置3は、CPU310、ROM302、RAM303、EEPROM304、CMOSセンサ305、バスライン310、通信部313、アンテナ313a、GPS受信部314、及び入出力I/F316を備えている。
【0054】
これらのうち、CPU301は、中継装置3全体の動作を制御する。ROM302は、IPL(Initial Program Loader)等のCPU301の駆動に用いられるプログラムを記憶する。RAM303は、CPU301のワークエリアとして使用される。
【0055】
EEPROM(Electrically Erasable and Programmable ROM)304は、CPU301の制御にしたがってデータの読み出し又は書き込みを行う。なお、EEPROM304には、CPU301が実行するオペレーティングシステム(OS)、その他のプログラム、及び、種々データが記憶されている。
【0056】
CMOS(Complementary Metal Oxide Semiconductor)センサ305は、CPU301の制御に従って被写体を撮像し画像データを得る個体撮像素子である。
【0057】
通信部313は、アンテナ313aを利用して無線通信信号により、通信ネットワーク100に対する通信を行う。
【0058】
GPS受信部314は、GPS(Global Positioning Systems)衛星又は屋内GPSとしてのIMES(Indoor MEssaging System)によって中継装置3の位置情報(緯度、経度、および高度)を含んだGPS信号を受信する。
【0059】
入出力I/F316は、撮影装置10の入出力I/F116と電気的に接続されるインターフェース回路(USBのI/F等)のである。入出力I/F316は、無線、有線を問わない。
【0060】
バスライン310は、CPU301等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【0061】
<通信制御システム、通信端末のハードウェア構成>
図12は、通信制御システム5のハードウェア構成である。なお、通信端末7,9のハードウェア構成は、通信制御システム5と同様であるため、説明を省略する。
【0062】
通信制御システム5は、コンピュータとして、
図4に示されているように、CPU501、ROM502、RAM503、SSD504、外部機器接続I/F505、ネットワークI/F506、ディスプレイ507、操作部508、メディアI/F509、バスライン510、CMOSセンサ511、及びスピーカ512を備えている。
【0063】
これらのうち、CPU501は、通信制御システム5全体の動作を制御する。ROM502は、IPL等のCPU501の駆動に用いられるプログラムを記憶する。RAM503は、CPU501のワークエリアとして使用される。
【0064】
SSD504は、CPU501の制御に従って各種データの読み出し又は書き込みを行う。なお、通信端末7,9がスマートフォン等の場合には、SSD504を設けなくてもよい。また、SSD504の代わりに、HDD(Hard Disk Drive)を設けてもよい。
【0065】
外部機器接続I/F505は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、ディスプレイ、スピーカ、キーボード、マウス、USBメモリ、及びプリンタ等である。
【0066】
ネットワークI/F506は、通信ネットワーク100を介してデータ通信をするためのインターフェースである。
【0067】
ディスプレイ507は、各種画像を表示する液晶や有機EL(Electro Luminescence)などの表示部の一種である。
【0068】
操作部508は、種々の操作ボタンや電源スイッチ、シャッターボタン、タッチパネル等の各種指示の選択や実行、処理対象の選択、カーソルの移動等を行うための入力手段である。
【0069】
メディアI/F509は、フラッシュメモリ等の記録メディア509mに対するデータの読み出し又は書き込み(記憶)を制御する。記録メディア509mには、DVDやBlu-ray Disc(登録商標)等も含まれる。
【0070】
CMOSセンサ511は、CPU501の制御に従って被写体を撮像して、画像データを得る撮像手段の一種である。CMOSセンサではなく、CCDセンサを使用してもよい。
【0071】
スピーカ512は、電気信号を物理振動に変えて音楽や音声などの音を生み出す回路である。
【0072】
バスライン510は、CPU501等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【0073】
〔第1の実施形態の機能構成〕
続いて、
図13乃至
図16を用いて、第1の実施形態の機能構成について説明する。
【0074】
<撮影装置の機能構成>
図13に示されているように、撮影装置10は、受付部12、検知部13、撮像部16、集音部17、接続部18、及び記憶・読出部19を有している。これら各部は、
図10に示されている各構成要素のいずれかが、SRAM113からDRAM114上に展開された撮影蔵置用のプログラムに従ったCPU111からの命令によって動作することで実現される機能又は手段である。
【0075】
また、撮影装置1は、
図9に示されているROM112、SRAM113、及びDRAM114によって構築される記憶部1000を有している。
【0076】
(撮影装置の各機能構成)
撮影装置1の受付部12は、CPU111に対する操作部115の処理によって実現され、ユーザからの操作入力を受け付ける。
【0077】
検知部13は、主に、CPU111から、電子コンパス118、ジャイロセンサ119、及び加速度センサ120等に対する処理によって実現され、撮影装置10の姿勢を検知することで姿勢情報を得る。
【0078】
撮像部16は、主に、CPU111から、撮像ユニット101、画像処理ユニット104、及び撮像制御ユニット105、及びCPU111に対する処理によって実現され、風景等を撮像し、撮影画像を得る。
【0079】
集音部17は、主に、CPU111から、音処理ユニット109に対する処理によって実現され、撮影装置10の周囲の音を収音する。
【0080】
接続部18は、主に、CPU111から入出力I/F116に対する処理によって実現され、中継装置3とデータ通信を行う。
【0081】
記憶・読出部19は、主に、CPU111の処理によって実現され、記憶部1000に各種データ(または情報)を記憶したり、記憶部1000から各種データ(または情報)を読み出したりする。
【0082】
<中継装置の機能構成>
図13に示すように、中継装置3は、通信部31、及び接続部38を有している。これら各部は、
図11に示されている各構成要素のいずれかが、EEPROM304からRAM303上に展開された中継装置3用プログラムに従ったCPU301からの命令によって動作することで実現される機能又は手段である。
【0083】
(中継装置3の各機能構成)
中継装置3の通信部31は、主に、
図11に示すCPU301から通信部313に対する処理によって実現され、通信ネットワーク100を介して、撮影装置10と通信制御システム5とのデータ通信を行う。
【0084】
接続部38は、主に、CPU301から入出力I/F316に対する処理によって実現され、撮影装置10とデータ通信を行う。
【0085】
<通信制御システムの機能構成>
次に、
図13を用いて、通信制御システム5の各機能構成について詳細に説明する。通信制御システム5は、通信部51、受付部52、作成部53、認証部55及び記憶・読出部59を有している。これら各部は、
図12に示されている各構成要素のいずれかが、SSD504からRAM503上に展開された通信制御システム5用プログラムに従ったCPU501からの命令によって動作することで実現される機能又は手段である。
【0086】
また、通信制御システム5は、
図12に示されているRAM503、及びHD504によって構築される記憶部5000を有している。この記憶部5000には、ユーザ・デバイス管理DB5001、仮想ルーム管理DB5002、及び画角情報管理DB5003が構築されている。
【0087】
(ユーザ・デバイス管理DB)
図14は、ユーザ・デバイス管理DBの概念図である。ユーザ・デバイス管理DB5001はテーブル形式によって構成され、ユーザID(又はデバイスID)、パスワード、名称、ユーザ画像、及びIPアドレスが関連付けて記憶されて管理されている。
【0088】
これらのうち、ユーザIDは、ユーザ(主催者X、参加者A,B)を識別するためのユーザ識別情報の一例である。デバイスIDは、撮影装置10等のデバイスを識別するためのデバイス識別情報の一例である。なお、撮影装置10以外にヘッドマウントディスプレイ等を用いる場合には、ヘッドマウントディスプレイ等もデバイスとして扱われる。
【0089】
名称は、ユーザ又はデバイスの名称である。
【0090】
ユーザ画像は、各ユーザの顔を模式化した画像、ユーザの顔の写真の画像等であり、予め各ユーザによって登録されている。
【0091】
IPアドレスは、ユーザが使用する通信端末7,9、及び撮影装置10等のデバイスの宛先特定情報の一例である。
【0092】
(仮想ルーム管理DB)
図15は、仮想ルーム管理DB5002の概念図である。仮想ルーム管理DB5002はテーブル形式によって構成され、仮想ルームID、仮想ルーム名称、デバイスID、主催者ID、参加者ID、コンテンツID、コンテンツURL(画像、音のコンテンツデータの保存場所情報)、及び画角情報URL(画角情報管理DBの保存場所情報)が関連付けて記憶されて管理されている。
【0093】
これらのうち、仮想ルームIDは、仮想ルームを識別するための仮想ルーム識別情報の一例である。
【0094】
仮想ルーム名称は、仮想ルームの名称であり、ユーザ等によって付される。
【0095】
デバイスIDは、
図14のデバイスIDと同意であり、同じレコードの仮想ルームIDで示される仮想ルームに参加したデバイスのIDである。
【0096】
主催者IDは、
図14のユーザIDのうち、特に主催者IDを識別するための主催者識別情報の一例であり、同じレコードの仮想ルームIDで示される仮想ルームに参加した主催者のIDである。
【0097】
参加者IDは、
図14のユーザIDのうち、特に参加者IDを識別するための参加者識別情報の一例であり、同じレコードの仮想ルームIDで示される仮想ルームに参加した参加者のIDである。
【0098】
コンテンツIDは、画像及び音のコンテンツデータを識別するためのコンテンツ識別情報の一例である。この場合の画像は撮影時に得られた広視野画像であり、音は同じ撮影時に得られた音(音声を含む)である。
【0099】
コンテンツURLは、コンテンツ(広視野画像、音情報)データが保存されている場所を示すコンテンツ保存場所情報の一例である。コンテンツURLには、コンテンツデータと共に録画及び録音された時間も関連付けて保存される。
【0100】
画角情報URLは、
図16に示す画角情報管理DBが保存されている場所を示す画角保存場所情報の一例である。
【0101】
(画角情報管理DB)
図16は、画角情報管理DB5003の概念図である。画角情報管理DB5003はテーブル形式によって構成され、コンテンツID毎に、ユーザID、IPアドレス、画角情報(pan,tilt,fov)、及びタイムスタンプ(又は再生経過時間)が関連付けて記憶されて管理されている。なお、タイムスタンプは、録画経過時間と示すこともできる。
【0102】
これらのうち、ユーザIDは、
図14のユーザIDと同意である。
【0103】
IPアドレスは、
図14のIPアドレスと同意である。
【0104】
画角情報(pan,tilt,fov)は、同じレコードのユーザIDで示されるユーザ(主催者、参加者)の通信端末7,9から送られて来た画角情報である。
【0105】
タイムスタンプは、録画時に同じレコードの画角情報が送られて来た時刻を示す。なお、録画終了時には、後述の記憶・読出部59がタイムスタンプを再生経過時間に変換する。また、録画再生時には、後述の記憶・読出部59が最初から再生経過時間として記憶する。なお、「録画再生」は単に「再生」と示しても良い。
【0106】
(通信制御システムの各機能構成)
次に、
図13を用いて、通信制御システム5の各機能構成について詳細に説明する。
【0107】
通信制御システム5の通信部51は、主に、
図11に示すCPU501からネットワークI/F505に対する処理によって実現され、通信ネットワーク100を介して、他の装置等(中継装置3、通信端末7,9)とのデータ通信を行う。
【0108】
受付部52は、CPU501に対する操作部508の処理によって実現され、ユーザ(ここでは、システム管理者等)からの操作入力を受け付ける。
【0109】
作成部53は、画面作成部としての役割を果たし、主に、CPU501の処理によって実現され、記憶部5000に記憶されているデータ等を用いて、各通信端末7,9に送るための画面を作成する。
【0110】
認証部55は、各ユーザが仮想ルームを利用するのに正当な者であるか等の認証を行う。
【0111】
記憶・読出部59は、主に、CPU501の処理によって実現され、記憶部5000に各種データ(または情報)を記憶したり、記憶部5000から各種データ(または情報)を読み出したりする。
【0112】
<通信端末7の機能構成>
次に、
図13を用いて、通信端末7の機能構成について詳細に説明する。通信端末7は、通信部71、受付部72、表示制御部74、音入出力制御部75、作成部76、接続部78、及び記憶・読出部79を有している。これら各部は、
図12に示されている各構成要素のいずれかが、SSD504からRAM503上に展開された通信端末7用プログラムに従ったCPU501からの命令によって動作することで実現される機能又は手段である。
【0113】
通信端末7の通信部71は、主に、
図11に示すCPU501からネットワークI/F505に対する処理によって実現され、通信ネットワーク100を介して、他の装置等(通信制御システム5)とのデータ通信を行う。
【0114】
受付部72は、主に、CPU501に対する操作部508の処理によって実現され、ユーザ(ここでは、主催者X)からの操作入力を受け付ける。また、受付部97は、取得部としての役割も果たし、ユーザから広視野画像における所定領域の表示を受け付けた場合に、この所定領域を特定するための画角情報を取得する。
【0115】
表示制御部74は、主に、CPU501の処理によって実現され、通信端末7のディスプレイ507又は外部機器接続I/F505に接続された外付けのディスプレイに対して各種画像を表示させるための制御を行なう。
【0116】
音入出力制御部75は、主に、通信端末7のCPU501の処理によって実現され、外部機器接続I/F505に接続された外付けのマイクから音を集音させるための制御を行なう。なお、通信端末7にマイクが内蔵されている場合には、このマイクから音を集音させるための制御を行う。また、音入出力制御部75は、通信端末7のスピーカ512又は外部機器接続I/F505に接続された外付けのスピーカに対して音を出力させるための制御を行なう。
【0117】
作成部76は、主に、CPU501の処理によって実現され、通信端末7で録画及び録音されたコンテンツデータにナレーションやテロップ等を追加して、教材用等のコンテンツデータを作成する。
【0118】
記憶・読出部79は、主に、CPU501の処理によって実現され、記憶部7000に各種データ(または情報)を記憶したり、記憶部7000から各種データ(または情報)を読み出したりする。
【0119】
<通信端末9の機能構成>
次に、
図13を用いて、通信端末9の各機能構成について詳細に説明する。
【0120】
通信端末9は、通信部91、受付部92、表示制御部94、音入出力制御部95、接続部98、及び記憶・読出部99を有している。これら各部は、
図12に示されている各構成要素のいずれかが、SSD504からRAM503上に展開された通信端末9用プログラムに従ったCPU501からの命令によって動作することで実現される機能又は手段である。
【0121】
また、通信端末9は、
図12に示されているRAM503、及びSSD504によって構築される記憶部9000を有している。
【0122】
通信端末9の通信部91は、主に、CPU501からネットワークI/F505に対する処理によって実現され、通信ネットワーク100を介して、他の装置等(通信制御システム5)とのデータ通信を行う。
【0123】
受付部92は、主に、CPU501に対する操作部508の処理によって実現され、ユーザ(ここでは、参加者)からの操作入力を受け付ける。また、受付部92は、取得部としての役割も果たし、ユーザから広視野画像における所定領域の表示を受け付けた場合に、この所定領域を特定するための画角情報を取得する。
【0124】
表示制御部94は、主に、CPU501の処理によって実現され、通信端末9のディスプレイ507又は外部機器接続I/F505に接続された外付けのディスプレイに対して各種画像を表示させるための制御を行なう。
【0125】
音入出力制御部95は、主に、通信端末9のCPU501の処理によって実現され、外部機器接続I/F505に接続された外付けのマイクから音を集音させるための制御を行なう。なお、通信端末7にマイクが内蔵されている場合には、このマイクから音を集音させるための制御を行う。また、音入出力制御部95は、通信端末9のスピーカ512又は外部機器接続I/F505に接続された外付けのスピーカに対して音を出力させるための制御を行なう。
【0126】
接続部98は、主に、CPU501から外部機器接続I/F505に対する処理によって実現され、有線又は無線により接続された外部機器とデータ通信を行う。
【0127】
記憶・読出部99は、主に、CPU501の処理によって実現され、記憶部9000に各種データ(または情報)を記憶したり、記憶部9000から各種データ(または情報)を読み出したりする。
【0128】
〔第1の実施形態の処理又は動作〕
続いて、
図17乃至
図26を用いて、第1の実施形態の処理又は動作について説明する。なお、以下の処理は、既に、撮影装置10、通信端末7,9が同じ仮想ルームに参加した後の処理である。
【0129】
<通信システムにおけるコンテンツデータの通信処理>
まずは、
図17を用いて、通信システム1aにおいてコンテンツデータの通信処理を説明する。
図17は、通信システムにおける広視野画像及び各画角情報の通信処理を示したシーケンス図である。本実施形態では、撮影装置10、主催者Xの通信端末7、参加者Aの通信端末9a、及び参加者Bの通信端末9bが、同じ仮想ルームに入っている場合について説明する。また、仮想ルームが構築されることで、記憶・読出部79が、仮想ルーム管理DB(
図15参照)に1レコードを追加して、仮想ルームID、仮想ルーム名称、デバイスID、主催者ID、及び参加者IDが関連付けて管理する。コンテンツID、コンテンツURL、及び画角情報URLは、後ほど記憶される。なお、
図17の処理S11~S15は、例えば、1秒間に30回又は60回ほど繰り返して行われる。
【0130】
S11:撮影装置10では、撮像部16が地域Sa内を全天球撮影すると共に集音してコンテンツ(広視野画像、音情報)データを得た後、接続部18が中継装置3にコンテンツデータを送る。また、この場合、接続部18は、撮影装置10が参加している仮想ルームを識別するための仮想ルームID及び撮影装置10を識別するためのデバイスIDも送る。これにより、中継装置3の接続部38は、コンテンツデータ、仮想ルームID及びデバイスIDを取得する。
【0131】
S12:中継装置3では、通信部31が、通信ネットワーク100を介して通信制御システム5に対し、処理S11で接続部38によって取得された、コンテンツデータ、仮想ルームID及びデバイスIDを送信する。これにより、通信制御システム5では、通信部51が、コンテンツデータ、仮想ルーム及びデバイスIDを受信する。
【0132】
なお、撮影装置10は、中継装置3ではなく通信端末7に対して、コンテンツデータ、仮想ルームID及びデバイスIDを送信してもよい(S11d)。この場合、通信端末7が、通信制御システム5に、コンテンツデータ、仮想ルームID及びデバイスIDを送信する(S12d)。
【0133】
S13:通信制御システム5では、記憶・読出部59が処理S12で受信された仮想ルームIDに基づいて仮想ルーム管理DB5002を検索することにより、撮影装置10と同じ仮想ルームに参加しているユーザID(主催者ID及び参加者ID)を読み出す。また、記憶・読出部59は、読み出した主催者ID及び参加者IDに基づいてユーザ・デバイス管理DB5001を検索することにより、対応する主催者Xのユーザ画像及び通信端末7のIPアドレスを読み出すと共に、対応する参加者A,Bの各ユーザ画像及び通信端末9a,9b,各IPアドレスを読み出す。そして、通信部51は、通信端末7のIPアドレスを参照し、通信端末7に対して処理S12で受信されたコンテンツデータを送信する。これにより、通信端末7の通信部71は、コンテンツデータを受信する。なお、この際に、通信部51は、通信端末7に対して、同じ仮想ルームに参加しているユーザの各ユーザ画像及びユーザIDが関連付けられた状態で送信してもよい。
【0134】
S14:通信制御システム5の通信部51は、通信端末9aのIPアドレスを参照し、通信端末9aに対して処理S12で受信されたコンテンツデータを送信する。これにより、通信端末9aの通信部91は、コンテンツデータを受信する。なお、この際に、通信部51は、通信端末9aに対して、同じ仮想ルームに参加しているユーザの各ユーザ画像及びユーザIDが関連付けられた状態で送信してもよい。
【0135】
S15:同様に、通信制御システム5の通信部51は、通信端末9bのIPアドレスを参照し、通信端末9bに対して処理S12で受信されたコンテンツデータを送信する。これにより、通信端末9bの通信部91は、コンテンツデータを受信する。なお、この際に、通信部51は、通信端末9bに対して、同じ仮想ルームに参加しているユーザの各ユーザ画像及びユーザIDが関連付けられた状態で送信してもよい。
【0136】
以上の処理により、例えば、通信端末9aでは、表示制御部94が処理S14で受信された広視野画像のうち、予め定められている所定領域(
図6(a)参照)を示す所定領域画像(
図6(b)参照)を表示させると共に、音入出力制御部95が処理S14で受信された音情報に基づいて音を出力させる。また、受付部92は参加者Aの画面操作を受け付けることで、表示制御部94は予め定められている所定領域T(
図6(a)参照)を変更して参加者Aの興味がある物等が表示されている所定領域T'(
図6(c)参照)示す所定領域画像(
図6(d)参照)を表示させる。
【0137】
<通信システムにおける録画及び録音を開始する処理>
続いて、
図18を用いて、通信システム1aにおいて録画及び録音を開始する処理を説明する。
図18は、通信システムにおいて録画及び録音を開始する処理を示すシーケンス図である。
【0138】
S31:まず、主催者Xの通信端末7では、受付部72が主催者Xから録画及び録音の開始の操作を受け付ける。
【0139】
S32:通信端末7では、録画及び録音を開始する前に、通信部71が通信制御システム5に対して、画角情報の共有指示を送信する。この共有指示には、通信端末7が参加している仮想ルームの仮想ルームID、及び撮影装置10のデバイスIDが含まれている。これにより、通信制御システム5の通信部51は、画角情報の共有指示を受信する。
【0140】
S33:通信制御システム5では、記憶・読出部59が、仮想ルーム管理DB(
図15参照)のコンテンツURL及び画角情報URLを設定する。そして、通信部51が通信端末7に対して、録画開始指示及び画角情報のアップロード要求を送信する。この指示には、通信端末7が録画後のコンテンツデータを保存する場所を示すコンテンツURLを示す情報が含まれている。また、この要求には、画角情報を保続するための画角情報URLを示す情報が含まれている。これにより、通信端末7では、通信部71が、録画開始指示、及び画角情報のアップロード要求を受信する。
【0141】
S34:また、通信部51が通信端末9aに対して、画角情報のアップロード要求を送信する。この要求には、画角情報を保続するためのURLの情報が含まれている。これにより、通信端末9aでは、通信部91が画角情報のアップロード要求を受信する。
【0142】
S35:同様に、通信部51が通信端末9bに対して、画角情報のアップロード要求を送信する。この要求には、画角情報を保続するためのURLの情報が含まれている。これにより、通信端末9bでは、通信部91が画角情報のアップロード要求を受信する。
【0143】
S36:続いて、通信端末7では、記憶・読出部79が、録画部及び録音部としての役割を果たし、
図17に示す処理S13で受信されたコンテンツデータの録画及び録音を開始する。なお、
図17に示す処理S12dの場合、通信端末7は、処理S13によって通信制御システム5から受信したコンテンツデータではなく、処理S11dによって撮影装置10から受信したコンテンツデータの録画及び録音を開始してもよい。
【0144】
S37:通信端末7では、例えば、処理S13で受信された広視野画像の所定領域(
図6(a)参照)である所定領域画像(
図6(b)参照)を表示中に、受付部72が主催者Xから画角の変更を受け付けると、表示制御部74が同じ広視野画像の変更後の所定領域(
図6(c)参照)である所定領域画像(
図6(d)参照)を表示させる。この場合、受付部72は、取得部としての役割も果たし、ユーザ(ここでは、主催者X)から広視野画像における所定領域の表示を受け付けた場合に、広視野画像においてディスプレイ507に表示する所定領域を特定するための画角情報(pan,tilt,fov)を取得する。そして、通信部71が、処理S33で受信した画像情報URL(通信制御システム5)に対して、変更後の所定領域を特定するための画角情報を送信する。この画角情報には、送信元である通信端末7の主催者XのユーザIDが含まれている。これにより、通信制御システム5では、通信部51が画角情報を受信する。そして、記憶・読出部79が画角情報管理DB(
図16参照)に、ユーザID、送信元のIPアドレス、画角情報、タイムスタンプを記憶する。このタイムスタンプは、処理S37によって画角情報が受信された時刻を示す。
【0145】
S38:通信端末9a及び通信制御システム5でも、処理S37とは独立して処理S37と同様の処理が行われる。なお、この場合に送信されるユーザIDは参加者AのユーザIDである。
【0146】
S39:通信端末9b及び通信制御システム5でも、処理S37,S38とは独立して処理S37と同様の処理が行われる。なお、この場合に送信されるユーザIDは参加者BのユーザIDである。
【0147】
なお、処理S37~S39は、録画の終了時にまとめて、通信制御システム5に対して実行されるようにしてもよい。
【0148】
<通信システムにおける録画及び録音を停止する処理>
続いて、
図19を用いて、通信システム1aにおいて録画及び録音を停止する処理を説明する。
図19は、通信システムにおいて録画及び録音を停止する処理を示すシーケンス図である。
【0149】
S51:まず、主催者Xの通信端末7では、受付部72が主催者Xから録画及び録音の停止の操作を受け付ける。
【0150】
S52:記憶・読出部79は、コンテンツデータの録画及び録音を停止する。
【0151】
S53:通信部71が、処理S33で受信した所定のコンテンツURL(通信制御システム5)に対して、録画及び録音していたコンテンツデータをアップロード(送信)する。このコンテンツデータには、録画及び録音の開始から終了までの時間(タイムスタンプ)が含まれている。これにより、通信制御システム5では、通信部51がコンテンツデータを受信する。
【0152】
S54:通信制御システム5では、記憶・読出部59が、所定のコンテンツURLに、タイムスタンプと共にコンテンツデータを記憶する。更に、記憶・読出部59が、画角情報管理DB(
図16参照)に管理されているタイムスタンプを、録画が停止されたコンテンツデータの総録画時間に合わせて、再生経過時間に変換する。
【0153】
S55:通信部51は、通信端末7に対して、録画及び録音の終了通知を送信する。終了通知には、所定のコンテンツURLを示す情報が含まれている。これにより、通信端末7の通信部71は、録画及び録音の終了通知を受信する。
【0154】
S56:同様に、通信部51は、通信端末9aに対して、録画及び録音の終了通知を送信する。終了通知には、所定のコンテンツURLを示す情報が含まれている。これにより、通信端末9aの通信部91は、録画及び録音の終了通知を受信する。
【0155】
S57:同様に、通信部51は、通信端末9bに対して、録画及び録音の終了通知を送信する。終了通知には、所定のコンテンツURLを示す情報が含まれている。これにより、通信端末9bの通信部91は、録画及び録音の終了通知を受信する。
【0156】
なお、処理S55の場合は、終了通知に所定のコンテンツURLを含めなくてもよい。
【0157】
<通信システムにおける録画及び録音の再生の処理>
続いて、
図20乃至
図26を用いて、通信システムにおいて録画及び録音の再生の処理を説明する。
図20は、通信システムにおいて録画及び録音の再生の処理を示すシーケンス図である。
図21は、画データ選択画面を示す図である。ここでは、参加者Aが、通信端末9aを用いて、録画及び録音されているコンテンツデータを再生する。
【0158】
S71:まず、通信端末9aの受付部92が、ユーザAから、ユーザID及びパスワード等の入力によりログイン操作を受け付けると、通信部91が通信制御システム5に対してログイン要求を送信する。この要求には、ユーザAのユーザID及びパスワードが含まれている。これにより、通信制御システム5では、通信部51がログイン要求を受信して、認証部55がユーザ・デバイス管理DB(
図14参照)を参照して認証を行う。以降、ログイン認証により、ユーザAが正当なアクセス者であると判断されたとして説明を進める。
【0159】
S72:通信制御システム5では、作成部53が、
図21に示すような録画データ選択画面940を作成する。この場合、記憶・読出部59は、処理S71で受信されたユーザIDを検索キーとして、仮想ルーム管理DB(
図15参照)を検索することにより、対応する全ての仮想ルームID及び仮想ルーム名称並びにコンテンツURLを読み出す。そして、作成部53は、コンテンツURLに記憶されている各コンテンツデータ(タイムスタンプ付き)のうちの画像を用いて各サムネイル941,942,943を作成する。これにより、作成部53は、サムネイル毎に、仮想ルーム名称(「工事現場α」等)及びタイムスタンプの所定の時刻(例えば、録画開始時刻)を示す録画時刻(「2022/10/31 15:00」等)を追加する。
【0160】
S73:通信部51は、通信端末9aに対して、処理S72で作成された選択画面データを送信する。この選択画面データには、各サムネイルに、各サムネイルの作成元の広視野画像を識別するためのコンテンツIDが含まれている。これにより、通信端末9aの通信部91は、選択画面データを受信する。
【0161】
S74:通信端末9aでは、表示制御部94が通信端末9aのディスプレイ507上に、
図21に示すような録画データ選択画面を表示させる。そして、受付部92が、参加者Aから所定のサムネイルの指定(選択)を受け付ける。ここでは、サムネイル941が指定(選択)されたとして説明を続ける。
【0162】
S75:通信部71は、通信制御システム5に対して、選択されたサムネイル941の作成元のコンテンツデータのダウンロード要求を送信する。この要求には、サムネイル941に関連付けられたコンテンツIDが含まれている。これにより、通信制御システム5の通信部51が、コンテンツデータのダウンロード要求を受信する。
【0163】
S76:通信制御システム5では、記憶・読出部59が、処理S75で受信されたコンテンツIDを検索キーとして仮想ルーム管理DB(
図15参照)を検索し、対応するコンテンツURLからコンテンツデータを読み出すと共に、画角情報URLに記憶されている画角情報管理DB(
図16参照)から、処理S71で受信されたユーザAのユーザIDに関連付けられている画角情報及び再生経過時間の情報を読み出す。更に、記憶・読出部59は、参加者AのユーザID及び画角情報の組が同じレコードを抽出し、これまで同じ画角情報で表示された表示回数を算出する。そして、通信部51は、通信端末9aに対して、要求されたコンテンツデータと共に、参加者Aの画角情報、処理S75で受信されたコンテンツIDに対応する画角情報URL、及び表示回数を送信する。この画角情報には、再生経過時間が含まれている。これにより、通信端末9aの通信部91は、コンテンツデータ、画角情報URL、表示回数を受信する。なお、通信制御システム5では、処理S37~S39の際に、記憶・読出部59が表示回数を算出し、画角情報管理DB(
図16参照)の各レコードに記憶して管理しておいてもよい。
【0164】
S77:通信端末9aでは、表示制御部94が通信端末9aのディスプレイ507上に録画された画像を表示すると共に音入出力制御部95が再生処理を行う。
【0165】
S78:上述の処理S38と同様に、例えば、処理S76で受信された広視野画像の所定領域(
図6(a)参照)である所定領域画像(
図6(b)参照)を表示中に、受付部92が参加者Aから画角の変更を受け付けると、表示制御部94が同じ広視野画像の変更後の所定領域(
図6(c)参照)である所定領域画像(
図6(d)参照)を表示させる。そして、通信部91が、処理S76で受信した画像情報URL(通信制御システム5)に対して、変更後の所定領域を特定するための画角情報(pan,tilt,fov)を送信する。この画角情報には、送信元である通信端末7の主催者XのユーザID、及び所定領域を変更した時点の再生経過時間の情報が含まれている。これにより、通信制御システム5では、通信部51が画角情報を受信する。そして、記憶・読出部79が画角情報管理DB(
図16参照)に、ユーザID、送信元のIPアドレス、画角情報、再生経過時間を記憶する。このようにして、新たに画角情報が追加され、新たに追加された画角情報は次の録画再生時に後述の表示済み領域の重畳に用いられる。
【0166】
<再生処理の詳細>
続いて、
図22乃至
図26を用いて、処理S77の再生処理について詳細に説明する。
図22は、再生処理を示すフローチャートである。なお、
図24は、録画時に既にユーザAの操作によって所定領域画像751を示した図である。マークm1は、広視野画像内で所定領域を変更することで(
図6(a)から
図6(c)を参照)、所定領域画像751を変更することができる(
図6(b)から
図6(d)を参照)旨を示す。
【0167】
S111:まず、受付部72は、参加者Aからコンテンツデータの録画再生の開始を受け付ける。
【0168】
S112:表示制御部94は、処理S76で受信された広視野画像の少なくとも一部領域を再度(ここでは第2回目)表示する際に、所定の再生経過時間に表示する広視野画像に対して、処理S76で受信された同じ所定の再生経過時間に関連付けられている画角情報で示される表示済み領域を重畳する。
【0169】
ここで、
図23を用いて、表示制御部94が、広視野画像(
図23では広視野画像の所定領域T1)上に表示済み領域(
図23では所定領域T2)を重畳する処理について説明する。
図23は、広視野画像のうちの所定領域T1に所定領域T2で示される表示済み領域を重畳する場合の説明図である。
【0170】
図23では、通信端末9が所定の再生経過時間に所定領域T1(φ1,θ1,α1)の所定領域画像を表示する場合に、同じ所定の再生経過時間に関連付けられている画角情報によって特定される所定領域T2(φ2,θ2,α2)を示す視点表示領域を重畳する場合が示されている。この場合、表示制御部94は、ディスプレイ507に現在表示する所定領域画像を示す所定領域T1を特定する画角情報と、過去に表示された所定領域画像を示す所定領域T2を特定する画角情報に基づいて、それぞれの表示領域を算出する。
【0171】
S113:表示制御部94は、
図25に示すように、ディスプレイ507上で現在表示する所定領域画像752上に、過去に表示された所定領域画像を再現するための表示済み領域751aを重畳して表示する。この場合、表示済み領域751aには、表示済み領域751aを表示するための画角情報に関連付けられている表示回数(ここでは「2」)も表示される。これにより、参加者Aは、再度、同じ広視野画像において所定領域を示す所定領域画像752を閲覧する際に、自分が過去(ここでは、1回目)に閲覧した所定領域画像(表示済み領域751a)を把握することができる。
【0172】
S114:続いて、受付部72が、参加者Aからコンテンツデータの録画再生の終了を受け付けない場合には(NO)、処理S112に戻り、表示制御部94は次の再生経過時間に関して同様の重畳の処理を行う。なお、受付部92が所定表示画像の変更を受け付けた場合には、表示制御部94は、変更後の所定領域画像に対して、処理S112の重畳の処理を行う。
【0173】
S115:受付部72が、参加者Aからコンテンツデータの録画再生の終了を受け付けた場合には(YES)、表示制御部94は、録画再生を終了する。
【0174】
なお、ユーザAが再度処理S71~S76を経て、同じ広視野画像を録画再々生すると、表示制御部94は、
図26に示すような所定領域画像753を表示するにあたって、1つ前に表示された所定領域を特定するための表示済み領域752a、及び2つ前に表示された所定領域を特定するための表示済み領域751aを表示させる。このようにして、表示回数が増える毎に、表示済み領域が増加すると共に表示する再生回数も増加する。
【0175】
なお、表示制御部94は、処理S76で受信された表示回数に基づき、所定回目(例えば、3回目)以上前の表示済み領域を表示させないことも可能である。
【0176】
また、上記例では、録画時が第1回目の表示で、録画再生時が第2回目以降の表示として説明したが、録画時の表示は表示回数としてカウントせずに、録画再生時から第1回目の表示回数をカウントしてもよい。
【0177】
更に、
図26では、表示済み領域751a,752aは破線で示されているがこれに限るものではない。例えば、二重線で示したり、表示済み領域751a,752a内を半透明なマスキングしたりしてもよい。逆に、表示済み領域751a,752a以外に半透明なマスキングをしてもよい。
【0178】
〔第1の本実施形態の主な効果〕
以上説明したうように実施形態によれば、ユーザAが広視野画像のうちのどの領域を既に表示していたかを思い出しながら閲覧を進めて行かなければならない事態を解消することができるという効果を奏する。
【0179】
●第1の実施形態の変形例
以下に、第1の実施形態の変形例を説明する。
【0180】
第1の実施形態では、通信端末9aは、処理S38により通信制御システム5に画角情報を送信したが、送信すると共に、又は送信せずに、通信端末9aの記憶部9000で画角情報を記憶しておいてもよい。この場合、通信端末9aは、
図16に示すような画角情報管理DB5003のうち、コンテンツID毎に、ユーザA自身の画角情報及びタイムスタンプ(再生経過時間)を管理しておくことで、表示制御部94は、
図24乃至
図26に示すような所定領域画像751,752,753を表示してもよい。また、通信端末9aは、一度、処理S76でコンテンツデータを受信すれば、このコンテンツデータを記憶部9000に記憶しておくことで、
図25及び
図26に示すように、再度、広視野画像を表示する場合には、わざわざ処理S76によりコンテンツデータを取得する必要がない。これに関しては、通信端末9aも同様である。
【0181】
また、通信端末7の場合は、基本的に通信端末9aと同様であるが、
図17に示す処理S11dにより、撮影装置10から受信したコンテンツデータを、記憶部7000に記憶しておくことで、
図20に示す処理S71~S76を省略してもよい。
【0182】
●第2の実施形態
続いて、図面を用いて、第2の実施形態について説明する。
【0183】
〔第2の実施形態の通信システムの概略〕
まずは、
図27を用いて、第2の実施形態に係る通信システム1bの概略を説明する。
図27は、第2の実施形態に係る通信システムの概略図である。
【0184】
図27に示されているように、本実施形態の通信システム1bは、
図9に示す通信システム1aに対して、更にVR(Virtual Reality)ゴーグル8が追加された構成である。なお、ここでは、撮影装置10及び中継装置3は、工事現場、展示場、教育現場、医療現場等の現地Sbで主催者X等によって所定の位置に設置されている。
【0185】
VRゴーグル8は、通信端末9に、有線又は無線により接続されており、通信端末9が受信したコンテンツデータを再生することができる。
【0186】
〔第2の実施形態のハードウェア構成〕
通信システム1bは、VRゴーグル8以外は、第1の実施形態と同様の装置(端末、システム)を有するため、ここでは、VRゴーグル8のハードウェア構成について説明する。
VRゴーグル8は、コンピュータとして、
図4に示されているように、CPU801、ROM802、RAM803、外部機器接続I/F805、ディスプレイ807、操作部808、メディアI/F809、バスライン810、スピーカ812、電子コンパス818、ジャイロセンサ819、加速度センサ820を備えている。
【0187】
これらのうち、CPU801は、VRゴーグル8全体の動作を制御する。ROM802は、IPL等のCPU801の駆動に用いられるプログラムを記憶する。RAM803は、CPU801のワークエリアとして使用される。
【0188】
外部機器接続I/F805は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、通信端末9等である。
【0189】
ディスプレイ807は、各種画像を表示する液晶や有機EL(Electro Luminescence)などの表示部の一種である。
【0190】
操作部808は、種々の操作ボタンや電源スイッチ、物理ボタン、ユーザの視線を検知して操作する視線操作回路等の各種指示の選択や実行、処理対象の選択、カーソルの移動等を行うための入力手段である。
【0191】
メディアI/F809は、フラッシュメモリ等の記録メディア809mに対するデータの読み出し又は書き込み(記憶)を制御する。記録メディア809mには、DVDやBlu-ray Disc(登録商標)等も含まれる。
【0192】
スピーカ812は、電気信号を物理振動に変えて音楽や音声などの音を生み出す回路である。
【0193】
電子コンパス818は、地球の磁気からVRゴーグル8の方位を算出し、方位情報を出力する。
【0194】
ジャイロセンサ819は、VRゴーグル8の移動に伴う角度の変化(roll角、Pitch角、Yaw角)を検出するセンサである。
【0195】
加速度センサ820は、三軸方向の加速度を検出するセンサである。
【0196】
バスライン810は、CPU801等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【0197】
<VRゴーグルの使用イメージ>
続いて、
図29及び
図30を用いて、VRゴーグル8の使用イメージを説明する。
図29及び
図30は、VRスコープの使用イメージ図である。
【0198】
ユーザは、通信端末に接続したVRゴーグル8を自分の頭に装着して、VRゴーグル8内のディスプレイ807を覗くと、
図29に示されているように、VR画像を見ることができる。また、
図30に示されているように、ユーザがVRゴーグル8を装着した状態で頭部を上側に向けると、電子コンパス818、ジャイロセンサ819、加速度センサ820等により、VRゴーグル8は元のVR画像よりも上空側のVR画像を表示する。これにより、ユーザ、あたかも画像で表わされた場所にいるかの様な感覚を体験することができる。
【0199】
〔第2の実施形態の機能構成〕
続いて、
図31を用いて、第2の実施形態の機能構成について説明する。
【0200】
図31は、第2の実施形態に係る通信システムの各機能構成図である。
【0201】
なお、第2の実施形態では、第1の実施形態に対して、新たにVRゴーグル8が追加されただけであるため、以下ではVRゴーグル8についてのみ説明する。
【0202】
<VRゴーグルの機能構成>
図31に示すように、VRゴーグル8は、受付部82、検知部83、表示制御部84、音出力制御部85、及び接続部88を有している。これら各部は、
図28に示されている各構成要素のいずれかが、RAM803上に展開されたVRゴーグル8用プログラムに従ったCPU801からの命令によって動作することで実現される機能又は手段である。
【0203】
受付部82は、主にCPU801に対する操作部808の処理によって実現され、ユーザ(ここでは、参加者A)からの操作入力を受け付ける。例えば、受付部82は、表示中の所定領域画像の拡大又は縮小の入力を受け付けることができる。また、受付部82は、取得部としての役割も果たし、ユーザから広視野画像における所定領域の表示を受け付けた場合に、この所定領域を特定するための画角情報を取得する。
【0204】
検知部83は、主に、CPU801に対する各センサ(電子コンパス818、ジャイロセンサ819、加速度センサ820)の処理によって実現される。例えば、ユーザがVRゴーグル8を装着した状態で頭部の向きを変更することにより、検知部83が
図6(a)から
図6(c)のような所定領域の変更を検知する。
【0205】
表示制御部84は、主に、CPU801の処理によって実現され、接続部88を介して外部から取得されたコンテンツ(広視野画像、及び音情報)データに基づいて、VRゴーグル8のディスプレイ807に対して各種画像を表示させるための制御を行なう。
【0206】
音出力制御部85は、主に、CPU801の処理によって実現され、スピーカ812に対して音を出力させるための制御を行なう。
【0207】
〔第2の実施形態の処理又は動作〕
続いて、
図32を用いて、第2の実施形態の処理又は動作について説明する。
図32は、通信システムにおいてVRコンテンツを共有する処理を示すシーケンス図である。
【0208】
なお、以下の処理は、通信端末7が、処理S36で録画及び録音しておいたコンテンツデータと、記憶部7000の画角情報管理DB7001に記憶された情報を用いて、教材等のVRコンテンツ(VR広視野画像、音情報)を作成する処理について説明する。
【0209】
S201:まず、受付部72が主催者Xによって、既に録画及び録音されたコンテンツデータに対して、ナレーションやテロップ等の入力を受け付ける。これにより、作成部76は、コンテンツデータを作成する。
【0210】
S202:通信部71が、処理S33等で受信した所定のコンテンツURL(通信制御システム5)に対して、録画及び録音していたVRコンテンツデータをアップロード(送信)する。このVRコンテンツデータには、録画及び録音の開始から終了までの再生経過時間が含まれている。これにより、通信制御システム5では、通信部51がVRコンテンツデータを受信する。
【0211】
S203:通信制御システム5では、記憶・読出部59が、所定のコンテンツURLに、再生経過時間と共にVRコンテンツデータを記憶する。
【0212】
S204:通信部51は、通信端末7に対して、VRコンテンツが閲覧可能になった旨を示す閲覧可能通知を送信する。通知には、所定のコンテンツURLを示す情報が含まれている。これにより、通信端末7の通信部71は、閲覧可能通知を受信する。
【0213】
S205:同様に、通信部51は、通信端末9aに対して、閲覧可能通知を送信する。この通知には、所定のVRコンテンツURLを示す情報が含まれている。これにより、通信端末9aの通信部91は、閲覧可能通知を受信する。
【0214】
S206:同様に、通信部51は、通信端末9bに対して、閲覧可能通知を送信する。この通知には、所定のコンテンツURLを示す情報が含まれている。これにより、通信端末9bの通信部91は、閲覧可能通知を受信する。
【0215】
なお、処理S204の場合は、閲覧可能通知に所定のコンテンツURLを含めなくてもよい。
【0216】
以上により、ユーザAが、通信端末9aを用いて、
図20に示す処理により、通信制御システム5から、コンテンツデータ、画角情報(再生経過時間を含む)、画角情報URL、及び表示回数の情報を取得する。そして、通信端末9aの表示制御部94は、
図33に示すような所定領域画像763を生成する。また、ユーザAは、VRゴーグル8を通信端末9aに接続することで、VRゴーグル8では、接続部88が通信端末9aの接続部98から所定領域画像763のデータを取得して、表示制御部84が、ディスプレイ807上に、例えば、
図33に示すような所定領域画像763を表示させる。即ち、表示制御部94は、表示制御部84を介してディスプレイ807上に所定領域画像763を表示させる。
【0217】
図33では、同じ広視野画像の3回目の表示状態が示されている。表示制御部84は、
図33に示すような所定領域画像763を表示するにあたって、1つ前に表示された所定領域を特定するための表示済み領域762a、及び2つ前に表示された所定領域を特定するための表示済み領域761aを表示させる。このようにして、表示回数が増える毎に、表示済み領域が増加すると共に表示する再生回数も増加する。
【0218】
なお、表示制御部84は、所定回目(例えば、3回目)以上前の表示済み領域を表示させないことも可能である。
【0219】
また、ユーザAが頭部の向きを変更することで、検知部83が検知した変更後の所定領域を特定するための画角情報は、再生経過時間と共に接続部88から通信端末9の接続部98に送信される。また、同様に、ユーザAが操作することで、受付部82が受け付けた所定領域の拡大又は縮小による変更後の所定領域を特定するための画角情報は、再生経過時間と共に接続部88から通信端末9の接続部98に送信される。これにより、通信端末9aは、処理S77に示すように、ユーザAのユーザID及び再生経過時間を含めて、画角情報を通信制御システム5に送信する。
【0220】
〔第2の本実施形態の主な効果〕
以上説明したうように実施形態によれば、第1の実施形態の効果に加え、VRコンテンツによる閲覧も可能である。
【0221】
また、VRコンテンツには、ナレーション、テロップ等が含まれているため、ユーザAはVRコンテンツを教材としても使用することができる。
【0222】
〔補足〕
以上、実施形態について説明したが、本発明はこうした実施形態何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【0223】
(1)上記実施形態では、通信端末9a側で表示制御部94が過去に表示された所定領域を表示済み表域として広視野画像に重畳したが、通信制御システム5の作成部53が同様の処理を行っても良い。この場合、通信部51は、通信端末9aが録画時等に送信した、広視野画像においてディスプレイ507に表示された第1の所定領域を特定するための第1の領域情報を受信する。次に、作成部53は、通信端末9aが広視野画像の少なくとも一部領域を再度表示する際に、広視野画像において第1の領域情報に基づく第1の表示済み領域を重畳した広視野画像を作成する。通信部51は、作成部53によって作成された第1の表示済み領域が重畳されている広視野画像を、通信端末9aに送信する。なお、作成部53第2の表示済み領域以降の表示領域を広視野画像に重畳してもよい。
【0224】
(2)上記実施形態では、第1回目の表示が「最初の表示」の一例であり、第2回目の表示が「再度表示」の一例であり、第3回目の表示が「再々表示」の一例である。例えば、第3回目の表示が「再度表示」の場合、第4回目以降の表示が「再々表示」となる。
【0225】
(3)上記各実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)や従来の回路モジュール等のデバイスを含むものとする。
【0226】
(4)上記各プログラムが記憶されたDVD-ROM等の(非一時的)記録媒体は、プログラム製品(Program Product)として、国内又は国外へ提供されることができる。
【0227】
(5)プロセッサとしてのCPU111,301,501,801は、それぞれ複数であってもよい。
【符号の説明】
【0228】
1a,1b 通信システム
3 中継装置
5 通信制御システム(情報管理システム又は画像管理システムとも示す)
7 通信端末(表示端末の一例)
8 VRゴーグル(表示端末の一例)
9,9a,9b 通信端末(表示端末の一例)
10 撮影装置
51 通信部(送信部の一例、受信部の一例)
52 受付部
53 作成部
71 通信部(送信部の一例、受信部の一例)
72 受付部(取得部とも示す)
74 表示制御部
75 音入出力制御部
76 作成部
88 接続部
82 受付部(取得部とも示す)
83 検知部
84 表示制御部
85 音出力制御部
91 通信部(送信部の一例、受信部の一例)
92 受付部(取得部とも示す)
94 表示制御部
95 音入出力制御部
507 ディスプレイ(表示部の一例)
807 ディスプレイ(表示部の一例)
5001 ユーザ・デバイス管理DB
5002 仮想ルーム管理DB
5003 画角情報管理DB
7003 画角情報管理DB
【先行技術文献】
【特許文献】
【0229】