知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024137685
(43)【公開日】2024-10-07
(54)【発明の名称】表示端末、通信システム、表示方法、及びプログラム
(51)【国際特許分類】
G06F 3/01 20060101AFI20240927BHJP
G06F 3/04845 20220101ALI20240927BHJP
H04N 5/93 20060101ALI20240927BHJP
【ＦＩ】
G06F3/01 510
G06F3/04845
H04N5/93
【審査請求】未請求
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2023218528
(22)【出願日】2023-12-25
(31)【優先権主張番号】P 2023046058
(32)【優先日】2023-03-22
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】澤田 恭也
(72)【発明者】
【氏名】日野原 寛
(72)【発明者】
【氏名】本間 毅史
(72)【発明者】
【氏名】堀内 岳志
(72)【発明者】
【氏名】長谷川 尭志
【テーマコード（参考）】
5E555
【Ｆターム（参考）】
5E555AA26
5E555AA28
5E555AA64
5E555BA08
5E555BA18
5E555BA83
5E555BA87
5E555BB18
5E555BC17
5E555BD07
5E555BE13
5E555CA42
5E555CA44
5E555CB45
5E555CB47
5E555CC05
5E555DA03
5E555DA08
5E555DB51
5E555DB53
5E555DB57
5E555DC75
5E555FA00
(57)【要約】
【課題】録画された動画の再生時に、動画の録画時に各ユーザによって広視野画像のうち、どの所定領域を閲覧しながら発話されたかを把握し易くすることを目的とする。
【解決手段】本開示は、録画された広視野画像の所定領域を再生する表示端末であって、広視野画像における第１の所定領域を第１の表示端末で表示中に発話された第１の録画経過期間に関する第１の表示領域及び前記広視野画像における第２の所定領域を第１の表示端末で表示中に発話された第２の録画経過期間に関する第２の表示領域（７８４）を表示する表示制御部と、第１の表示領域に対応する第１の所定領域を示す第１の所定領域画像（７６０ｘ）を表示中に第２の表示領域の選択を受け付ける受付部とを有し、表示制御部は受付部によって受け付けた第２の表示領域の選択に基づいて第２の表示領域に対応する第２の所定領域を示す第２の所定領域画像（７６０ｂ）を表示する、表示端末である。
【選択図】図２６
【解決手段】本開示は、録画された広視野画像の所定領域を再生する表示端末であって、広視野画像における第１の所定領域を第１の表示端末で表示中に発話された第１の録画経過期間に関する第１の表示領域及び前記広視野画像における第２の所定領域を第１の表示端末で表示中に発話された第２の録画経過期間に関する第２の表示領域（７８４）を表示する表示制御部と、第１の表示領域に対応する第１の所定領域を示す第１の所定領域画像（７６０ｘ）を表示中に第２の表示領域の選択を受け付ける受付部とを有し、表示制御部は受付部によって受け付けた第２の表示領域の選択に基づいて第２の表示領域に対応する第２の所定領域を示す第２の所定領域画像（７６０ｂ）を表示する、表示端末である。
【選択図】図２６
【特許請求の範囲】
【請求項1】
録画された広視野画像の所定領域を再生する表示端末であって、
前記広視野画像における第１の所定領域を第１の表示端末で表示中に発話された第１の録画経過期間に関する第１の表示領域、及び前記広視野画像における第２の所定領域を第１の表示端末で表示中に発話された第２の録画経過期間に関する第２の表示領域を表示させる表示制御部と、
前記第１の表示領域に対応する前記第１の所定領域を示す第１の所定領域画像を表示中に、前記第２の表示領域の選択を受け付ける受付部と、
を有し、
前記表示制御部は、前記受付部によって受け付けた前記第２の表示領域の選択に基づいて、前記第２の表示領域に対応する前記第２の所定領域を示す第２の所定領域画像を表示する、
表示端末。
前記広視野画像における第１の所定領域を第１の表示端末で表示中に発話された第１の録画経過期間に関する第１の表示領域、及び前記広視野画像における第２の所定領域を第１の表示端末で表示中に発話された第２の録画経過期間に関する第２の表示領域を表示させる表示制御部と、
前記第１の表示領域に対応する前記第１の所定領域を示す第１の所定領域画像を表示中に、前記第２の表示領域の選択を受け付ける受付部と、
を有し、
前記表示制御部は、前記受付部によって受け付けた前記第２の表示領域の選択に基づいて、前記第２の表示領域に対応する前記第２の所定領域を示す第２の所定領域画像を表示する、
表示端末。
【請求項2】
前記表示制御部は、前記第１の所定領域画像から前記第２の所定領域画像に切り替えて表示する、請求項１に記載の表示端末。
【請求項3】
前記表示制御部は、前記第１の録画経過期間及び前記第２の録画経過期間に基づいて、発話の時系列順に、前記第１の表示領域及び前記第２の表示領域を表示する、請求項１に記載の表示端末。
【請求項4】
前記表示制御部は、前記第１の表示端末に関連する第１の画像及び前記第１の表示領域を第１の表示態様で表示し、並びに前記第１の表示端末に関連する第２の画像及び前記第２の表示領域を第２の表示態様で表示する、請求項１に記載の表示端末。
【請求項5】
前記第１の画像は前記録画の時に前記第１の表示端末で撮影された画像であり、前記第２の画像は前記録画の時に前記第１の表示端末とは異なる第２の表示端末で撮影された画像である、請求項４に記載の表示端末。
【請求項6】
前記第１の画像は第１の表示端末のユーザに関する画像であり、前記第２の画像は前記第２の表示端末のユーザに関する画像である、請求項５に記載の表示端末。
【請求項7】
前記第１の表示態様と前記第２の表示態様は、形状、模様、又は色彩が異なる、請求項４に記載の表示端末。
【請求項8】
前記表示制御部は、前記第１の表示領域に対して、前記録画の時に前記第１の表示端末で前記第１の録画経過期間に発話された内容をテキスト化された第１のテキストを表示し、前記第２の表示領域に対して、前記録画の時に前記第１の表示端末で前記第２の録画経過期間に発話された内容をテキスト化された第２のテキストを表示する、請求項１に記載の表示端末。
【請求項9】
前記表示制御部は、前記第１の録画経過期間及び前記第２の録画経過期間に基づいて、発話の時系列順に、前記第１の表示領域及び前記第２の表示領域を表示する、請求項８に記載の表示端末。
【請求項10】
録画された広視野画像の所定領域を再生する表示端末と当該表示端末に送信する情報を管理する情報管理システムとを有する通信システムであって、
前記情報管理システムは、
前記広視野画像における第１の所定領域を第１の表示端末で表示中に発話された第１の録画経過期間に発話された内容をテキスト化して第１のテキストを作成すると共に、前記広視野画像における第２の所定領域を第２の表示端末で表示中に発話された第２の録画経過期間に発話された内容をテキスト化して第２のテキストを作成する作成部と、
前記作成部によって作成された前記第１のテキスト及び前記第２のテキストを前記表示端末に送信する送信部と、
を有し、
前記表示端末は、
前記第１のテキスト及び前記第２のテキストを受信する受信部と、
前記第１のテキストを含む第１の表示領域及び前記第２のテキストを含む第２の表示領域を表示させる表示制御部と、
前記第１の表示領域に対応する前記第１の所定領域を示す第１の所定領域画像が前記再生の時で表示中に、前記第２の表示領域の選択を受け付ける受付部と、
を有し、
前記表示制御部は、前記受付部によって受け付けた前記第２の表示領域の選択に基づいて、前記第２の表示領域に対応する前記第２の所定領域を示す第２の所定領域画像を表示する、
通信システム。
前記情報管理システムは、
前記広視野画像における第１の所定領域を第１の表示端末で表示中に発話された第１の録画経過期間に発話された内容をテキスト化して第１のテキストを作成すると共に、前記広視野画像における第２の所定領域を第２の表示端末で表示中に発話された第２の録画経過期間に発話された内容をテキスト化して第２のテキストを作成する作成部と、
前記作成部によって作成された前記第１のテキスト及び前記第２のテキストを前記表示端末に送信する送信部と、
を有し、
前記表示端末は、
前記第１のテキスト及び前記第２のテキストを受信する受信部と、
前記第１のテキストを含む第１の表示領域及び前記第２のテキストを含む第２の表示領域を表示させる表示制御部と、
前記第１の表示領域に対応する前記第１の所定領域を示す第１の所定領域画像が前記再生の時で表示中に、前記第２の表示領域の選択を受け付ける受付部と、
を有し、
前記表示制御部は、前記受付部によって受け付けた前記第２の表示領域の選択に基づいて、前記第２の表示領域に対応する前記第２の所定領域を示す第２の所定領域画像を表示する、
通信システム。
【請求項11】
録画された広視野画像の所定領域を録画再生する表示方法であって、
第１の表示端末で前記広視野画像における第１の所定領域を前記録画の時に表示中に前記第１の表示端末で発話された第１の録画経過期間に関する第１の表示領域、及び第２の表示端末で前記広視野画像における第２の所定領域を前記録画の時に表示中に前記第２の表示端末で発話された第２の録画経過期間に関する第２の表示領域を表示させる表示制御処理と、
前記第１の表示領域に対応する前記第１の所定領域を示す第１の所定領域画像が前記録画再生の時で表示中に、前記第２の表示領域の選択を受け付ける受付処理と、
を実行し、
前記表示制御処理は、前記受付処理によって前記第２の表示領域の選択が受け付けられたことに基づいて、前記第２の表示領域に対応する前記第２の所定領域を示す第２の所定領域画像を表示させる、
表示方法。
第１の表示端末で前記広視野画像における第１の所定領域を前記録画の時に表示中に前記第１の表示端末で発話された第１の録画経過期間に関する第１の表示領域、及び第２の表示端末で前記広視野画像における第２の所定領域を前記録画の時に表示中に前記第２の表示端末で発話された第２の録画経過期間に関する第２の表示領域を表示させる表示制御処理と、
前記第１の表示領域に対応する前記第１の所定領域を示す第１の所定領域画像が前記録画再生の時で表示中に、前記第２の表示領域の選択を受け付ける受付処理と、
を実行し、
前記表示制御処理は、前記受付処理によって前記第２の表示領域の選択が受け付けられたことに基づいて、前記第２の表示領域に対応する前記第２の所定領域を示す第２の所定領域画像を表示させる、
表示方法。
【請求項12】
録画された広視野画像の所定領域を録画再生するためのプログラムであって、
コンピュータに、
第１の表示端末で前記広視野画像における第１の所定領域を前記録画の時に表示中に前記第１の表示端末で発話された第１の録画経過期間に関する第１の表示領域、及び第２の表示端末で前記広視野画像における第２の所定領域を前記録画の時に表示中に前記第２の表示端末で発話された第２の録画経過期間に関する第２の表示領域を表示させる表示制御処理と、
前記第１の表示領域に対応する前記第１の所定領域を示す第１の所定領域画像が前記録画再生の時で表示中に、前記第２の表示領域の選択を受け付ける受付処理と、
を実行させ、
前記表示制御処理は、前記受付処理によって前記第２の表示領域の選択が受け付けられたことに基づいて、前記第２の表示領域に対応する前記第２の所定領域を示す第２の所定領域画像を表示させる処理を含む、
プログラム。
コンピュータに、
第１の表示端末で前記広視野画像における第１の所定領域を前記録画の時に表示中に前記第１の表示端末で発話された第１の録画経過期間に関する第１の表示領域、及び第２の表示端末で前記広視野画像における第２の所定領域を前記録画の時に表示中に前記第２の表示端末で発話された第２の録画経過期間に関する第２の表示領域を表示させる表示制御処理と、
前記第１の表示領域に対応する前記第１の所定領域を示す第１の所定領域画像が前記録画再生の時で表示中に、前記第２の表示領域の選択を受け付ける受付処理と、
を実行させ、
前記表示制御処理は、前記受付処理によって前記第２の表示領域の選択が受け付けられたことに基づいて、前記第２の表示領域に対応する前記第２の所定領域を示す第２の所定領域画像を表示させる処理を含む、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、表示端末、通信システム、表示方法、及びプログラムに関する。
【背景技術】
【0002】
近年、通常の画角では確認しきれないような箇所も含む撮像範囲として撮影できる撮像装置が登場している。例えば、この撮像装置が撮影する画像として、３６０度の全周囲が撮像された３６０度画像（全天球画像、全方位画像、全周囲画像ともいう）等の広い視野角を有する広視野の画像（以下「広視野画像」と示す。）が知られている。このような広視野画像の全てを表示端末で表示させようとすると、広視野画像が湾曲してユーザにとって見えづらいため、各ユーザは同じ広視野画像において所望の所定領域を示す所定領域画像を表示して閲覧している。
【0003】
また、遠隔会議に参加している各ユーザが遠隔会議で発話した内容から自動的にテキスト作成すると共に、このテキストと各ユーザが発言した際に画面共有されていた資料とを関連付けて記憶しておき、後からテキストと画面共有されていた資料を関連付けて表示することが提案されている（特許文献１参照）。これにより、遠隔会議の後に、所定のユーザは、テキストとそのテキストに関連付けられている資料を参照することで、遠隔会議の内容をより詳細に把握又は思い出すことができる。
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、広視野画像の場合、上述の画面共有された資料とは異なり、同じ広視野画像であっても各ユーザによって閲覧している所定領域が異なる。そのため、遠隔会議の動画の録画時に各ユーザが発話した内容が、録画された動画の再生時にテキストで表示された場合であっても、録画された動画を再生した所定のユーザは、各ユーザが録画時に広視野画像のどの所定領域を閲覧しながら発話したかを把握することが困難である。
【0005】
本開示は上記事情に鑑みてなされたもので、録画された動画の再生時の所定のユーザが、各ユーザが広視野画像のうちのどの所定領域を閲覧しながら発話していたかを把握し易くすることを目的とする。
【課題を解決するための手段】
【0006】
請求項１に係る開示内容は、録画された広視野画像の所定領域を再生する表示端末であって、前記広視野画像における第１の所定領域を第１の表示端末で表示中に発話された第１の録画経過期間に関する第１の表示領域、及び前記広視野画像における第２の所定領域を第１の表示端末で表示中に発話された第２の録画経過期間に関する第２の表示領域を表示する表示制御部と、前記第１の表示領域に対応する前記第１の所定領域を示す第１の所定領域画像を表示中に、前記第２の表示領域の選択を受け付ける受付部と、を有し、前記表示制御部は、前記受付部によって受け付けた前記第２の表示領域の選択に基づいて、前記第２の表示領域に対応する前記第２の所定領域を示す第２の所定領域画像を表示する、表示端末である。
【発明の効果】
【0007】
以上説明したように本開示によれば、録画された動画の再生時に、動画の録画時に各ユーザによって広視野画像のうちどの所定領域を閲覧しながら発話されたかを把握し易くすることができるという効果を奏する。
【図面の簡単な説明】
【0008】
【図1】（ａ）は撮影装置の左側面図であり、（ｂ）は撮影装置の正面図であり、（ｃ）は撮影装置の平面図である。
【図2】撮影装置の使用イメージ図である。
【図3】（ａ）は撮影装置で撮影された半球画像（前）、（ｂ）は撮影装置で撮影された半球画像（後）、（ｃ）はメルカトル図法により表された画像を示した図である。
【図4】（ａ）メルカトル画像で球を被う状態を示した概念図、（ｂ）全天球画像を示した図である。
【図5】全天球画像を３次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。
【図6】（ａ）は図５の立体斜視図、（ｂ）は（ａ）の状態の所定領域画像がディスプレイに表示されている図、（ｃ）は（ａ）における仮想カメラＩＣの視点を変更後の所定領域を示した図、（ｄ）は（ｃ）の状態の所定領域画像がディスプレイに表示されている図である。
【図7】球座標による三次元ユークリッド空間内の点を示した図である。
【図8】所定領域と注目点との関係を示した概念図である。
【図9】本発明の実施形態に係る通信システムの概略図である。
【図10】撮影装置のハードウェア構成図である。
【図11】中継装置のハードウェア構成図である。
【図12】通信制御システム及び通信端末のハードウェア構成図である。
【図13】第１の実施形態に係る通信システムの各機能構成図である。
【図14】ユーザ・デバイス管理ＤＢの概念図である。
【図15】仮想ルーム管理ＤＢの概念図である。
【図16】画角情報管理ＤＢの概念図である。
【図17】音声テキスト管理ＤＢの概念図である。
【図18】通信システムにおいてコンテンツデータの通信処理を示したシーケンス図である。
【図19】通信システムにおいて録画及び録音を開始する処理を示すシーケンス図である。
【図20】通信システムにおいて録画及び録音を停止する処理を示すシーケンス図である。
【図21】通信システムにおいて録画及び録音の再生の処理を示すシーケンス図である。
【図22】録画データ選択画面を示す図である。
【図23】再生処理を示すフローチャートである。
【図24】最初に表示された録画再生画面を示す図である。
【図25】発話期間表示領域群及び周辺を示す図である。
【図26】所定の表示領域(発話期間表示領域又は発話内容表示領域)が選択された場合に表示された録画再生画面を示す図である。
【図27】第２の実施形態に係る通信システムの概念図である。
【図28】ＶＲゴーグルのハードウェア構成図である。
【図29】ＶＲゴーグルの使用イメージ図である。
【図30】ＶＲゴーグルの使用イメージ図である。
【図31】第２の実施形態に係る通信システムの各機能構成図である。
【図32】通信システムにおいてＶＲコンテンツを共有する処理を示すシーケンス図である。
【図33】最初に表示された録画再生画面を示す図である。
【図34】所定の表示領域(発話期間表示領域又は発話内容表示領域)が選択された場合に表示された録画再生画面を示す図である。
【発明を実施するための形態】
【0009】
以下、図面を用いて、本発明の実施形態について説明する。
【0010】
〔全天球画像の概要〕
図１乃至図８を用いて、全天球画像の生成方法について説明する。なお、全天球画像は、全天球パノラマ画像、３６０°パノラマ画像とも言われ、広範囲の視野角を有する広視野動画の一例である。広視野画像には、１８０°程度の単なるパノラマ画像も含まれる。
図１乃至図８を用いて、全天球画像の生成方法について説明する。なお、全天球画像は、全天球パノラマ画像、３６０°パノラマ画像とも言われ、広範囲の視野角を有する広視野動画の一例である。広視野画像には、１８０°程度の単なるパノラマ画像も含まれる。
【0011】
まず、図１を用いて、撮影装置１０の外観を説明する。撮影装置１０は、全天球画像の元になる撮影画像を得るためのデジタルカメラである。なお、図１（ａ）は撮影装置の左側面図であり、図１（ｂ）は撮影装置の正面図であり、図１（ｃ）は撮影装置の平面図である。
【0012】
図１（ａ）に示されているように、撮影装置１０は、人間が片手で持つことができる大きさである。また、図１（ａ），（ｂ），（ｃ）に示されているように、撮影装置１０の上部には、正面側（前側）に撮像素子１０３ａ及び背面側（後側）に撮像素子１０３ｂが設けられている。また、図１（ｂ）に示されているように、撮影装置１０の正面側には、シャッターボタン等の操作部１１５が設けられている。
【0013】
次に、図２を用いて、撮影装置１０の使用状況を説明する。なお、図２は、撮影装置の使用イメージ図である。撮影装置１０は、図２に示されているように、何らかの台２の上に設置された中継装置３と通信可能に接続されており、周りの被写体や風景等を撮影するために用いられる。この場合、図１に示されている撮像素子１０３ａ及び撮像素子１０３ｂによって、それぞれユーザの周りの被写体が撮像されることで、２つの半球画像を得ることができる。なお、撮影装置１０が撮影により得た全天球画像を、他の通信端末やシステムに送信しないのであれば、中継装置３は不要である。
【0014】
次に、図３及び図４を用いて、撮影装置１０で撮影された画像から全天球画像が作成されるまでの処理の概略を説明する。なお、図３（ａ）は撮影装置で撮影された半球画像（前側）、図３（ｂ）は撮影装置で撮影された半球画像（後側）、図３（ｃ）は正距円筒図法により表された画像（以下、「正距円筒射影画像」という）を示した図である。なお、メルカトル図法等により表された画像（以下、「メルカトル画像」という）でもよい。図４（ａ）は正距円筒射影画像で球を被う状態を示した概念図、図４（ｂ）は全天球画像を示した図である。なお、「正距円筒射影画像」は、上述の広視野画像の一例としてエクイレクタングラー（equirectangular）形式の全天球画像である。
【0015】
図３（ａ）に示されているように、撮像素子１０３ａによって得られた画像は、後述の魚眼レンズ等の広角レンズ１０２ａによって湾曲した半球画像（前側）となる。また、図３（ｂ）に示されているように、撮像素子１０３ｂによって得られた画像は、後述の魚眼レンズ等の広角レンズ１０２ｂによって湾曲した半球画像（後側）となる。そして、撮影装置１０は、半球画像（前側）と１８０度反転された半球画像（後側）とを合成して、図３（ｃ）に示されているような正距円筒射影画像ＥＣを作成する。
【0016】
そして、撮影装置１０は、OpenGL ES（Open Graphics Library for Embedded Systems）等のソフトウェアを利用することで、図３（ａ）に示されているように、球面を覆うように正距円筒射影画像ＥＣを貼り付け、図３（ｂ）に示されているような全天球画像ＣＥを作成する。このように、全天球画像ＣＥは、正距円筒射影画像ＥＣが球の中心を向いた画像として表される。なお、OpenGL ESは、２Ｄ(2－Dimensions)及び３Ｄ(3－Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。OpenGL ESはあくまで画像処理を実行するソフトウェアの一例であって、他のソフトウェアによって全天球画像ＣＥを作成してもよい。また、全天球画像ＣＥは、静止画であっても動画であってもよい。なお、ここでは撮影装置１０が全天球画像を生成する例として説明したが、同様の画像処理又は一部の画像処理の工程を通信制御システム５又は通信端末７，９が実行してもよい。
【0017】
そして、OpenGL ES（Open Graphics Library for Embedded Systems）が利用されることで、図４（ａ）に示されているように、メルカトル画像が球面を覆うように貼り付けられ、図４（ｂ）に示されているような全天球画像が作成される。このように、全天球画像は、メルカトル画像が球の中心を向いた画像として表される。なお、OpenGL ESは、２Ｄ(2-Dimensions)および３Ｄ(3-Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。
【0018】
以上のように、全天球画像ＣＥは、球面を覆うように貼り付けられた画像であるため、人間が見ると違和感を持ってしまう。そこで、通信端末７，９が全天球画像の一部領域である所定領域（以下、「所定領域画像」という）を湾曲(歪み)の少ない平面画像として表示することで、人間に違和感を与えない表示を行うことができる。これに関して、図５乃至図８を用いて説明する。
【0019】
図５は、全天球画像を三次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。仮想カメラＩＣは、三次元の立体球として表示されている全天球画像ＣＥに対して、その画像を見るユーザの仮想的な視点の位置に相当するものである。図６において、（ａ）は図５の立体斜視図、（ｂ）は（ａ）の状態の所定領域画像がディスプレイに表示されている図、（ｃ）は（ａ）における仮想カメラＩＣの視点を変更後の所定領域を示した図、（ｄ）は（ｃ）の状態の所定領域画像がディスプレイに表示されている図である。
【0020】
このように生成された全天球画像ＣＥが、立体球ＣＳであるとした場合、図５に示されているように、仮想カメラＩＣは、全天球画像ＣＥの内部に位置している。全天球画像ＣＥにおける所定領域Ｔは、仮想カメラＩＣの撮像領域であり、全天球画像ＣＥを含む三次元の仮想空間における仮想カメラＩＣの撮像方向と画角を示す画角情報（「領域情報」ともいう）によって特定される。
【0021】
また、所定領域Ｔのズームは、仮想カメラＩＣを全天球画像ＣＥに近づいたり、遠ざけたりすることで表現することもできる。所定領域画像Ｑは、全天球画像ＣＥにおける所定領域Ｔの画像である。したがって、所定領域Ｔは、画角αと、仮想カメラＩＣから全天球画像ＣＥまでの距離ｆにより特定できる。
【0022】
また、図６（ａ）の状態から、図６（ｃ）に示されているように、仮想カメラＩＣの仮想的な視点が右側（図面に向かって左側）に移動（「変更」ともいう）されると、これに応じて全天球画像ＣＥにおける所定領域Ｔが所定領域Ｔ'に移動されるため、所定のディスプレイに表示される所定領域画像Ｑが所定領域画像Ｑ'に変更される。これにより、所定のディスプレイには、図６（ｂ）に示されている画像が、図６（ｄ）に示されている画像に変更表示される。
【0023】
次に、図７及び図８を用いて、画角情報と所定領域Ｔの画像の関係について説明する。図７は、球座標による三次元ユークリッド空間内の点を示した図である。図８は、所定領域と注目点（中心点）との関係を示した概念図である。
【0024】
ここで、図７で示した中心点ＣＰを球面極座標系で表現したときの任意の位置座標を(r,θ,φ)とする。(r,θ,φ)は、それぞれ動径、極角、方位角である。動径ｒは、全天球画像を含む三次元の仮想空間の原点から任意の点（図８では中心点ＣＰ）までの距離であり、図８で示した距離ｆに等しい。
【0025】
また、図８に示すように、仮想カメラＩＣの撮像領域である所定領域Ｔの中心を、図７の中心点ＣＰと考えた場合、一般的に以下の（式１）で示される三角関数が成り立つ。
（Ｌ／ｆ）＝ tan(α／２)・・・（式１）
なお、ｆは、仮想カメラＩＣから中心点ＣＰまでの距離である。Ｌは、所定領域Ｔの任意の頂点と中心点ＣＰとの距離である（２Ｌは対角線）。αは画角である。この場合、所定領域Ｔを特定するための画角情報は、pan(φ)、tilt(θ)、及びfov(α)によって表すことができる。なお、所定領域Ｔのズームは、画角αの範囲（円弧）を広げたり縮めたりすることで表現することができる。
（Ｌ／ｆ）＝ tan(α／２)・・・（式１）
なお、ｆは、仮想カメラＩＣから中心点ＣＰまでの距離である。Ｌは、所定領域Ｔの任意の頂点と中心点ＣＰとの距離である（２Ｌは対角線）。αは画角である。この場合、所定領域Ｔを特定するための画角情報は、pan(φ)、tilt(θ)、及びfov(α)によって表すことができる。なお、所定領域Ｔのズームは、画角αの範囲（円弧）を広げたり縮めたりすることで表現することができる。
【0026】
【0027】
図９に示されているように、本実施形態の通信システム１ａは、撮影装置１０、中継装置３、通信端末７、及び通信端末９ａ，９ｂによって構成されている。なお、通信端末９ａ，９ｂの総称を「通信端末９」と示す。また、通信端末は、画像等を表示する「表示端末」と示してもよい。
【0028】
このうち、撮影装置１０は、上述のように、広視野画像(全天球画像等)を得るためのデジタルカメラである。中継装置３は、撮影装置１への充電やデータ送受信を行なうクレードル(Cradle)の機能を有している。また、中継装置３は、接点を介して撮影装置１とデータ通信を行なうことができると共に、通信ネットワーク１００を介して通信制御システム５とデータ通信を行なうことができる。なお、通信ネットワーク１００は、例えば、インターネット、ＬＡＮ(Local Area Network)、(無線)ルータ等を含む。
【0029】
また、通信制御システム５は、例えば、コンピュータであり、通信ネットワーク１００を介して、中継装置３、通信端末７，９とデータ通信を行なうことができる。なお、通信制御システム５は、画角情報等を管理するため、「情報管理システム」と示すこともできる。
【0030】
通信端末７，９は、例えば、ノートＰＣ(Personal Computer)であり、通信ネットワーク１００を介して、通信制御システム５とデータ通信を行なうことができる。通信端末７，９には、OpenGL ESがインストールされており、通信制御システム５から受信した全天球画像から所定領域画像（図６参照）を作成する。なお、通信制御システム５は、単一のコンピュータによって構成されてもよいし、複数のサーバコンピュータによって構成されてもよい。
【0031】
更に、撮影装置１０及び中継装置３は、工事現場、展示場、教育現場、医療現場等の現地Ｓａで主催者Ｘ等によって所定の位置に設置されている。通信端末７は主催者Ｘによって操作される。通信端末９ａは現地Ｓａの遠隔地にいる閲覧者等の参加者Ａによって操作される。同様に、通信端末９ｂは現地Ｓａの遠隔地にいる閲覧者等の参加者Ｂによって操作される。参加者Ａと参加者Ｂは、同じ場所にいてもよいし、違う場所にいてもよい。
【0032】
通信制御システム５は、撮影装置１０から中継装置３を介して得た広視野画像を、通信端末７，９に送信（配信）する。また、通信制御システム５は、各通信端末７，９から各通信端末７，９で表示中の所定領域画像の所定領域を特定するための各画角情報を受信して、各画角情報を通信端末７，９に送信する。なお、広視野画像は動画(広視野動画)であっても静止画(広視野静止画)であってもよい。
【0033】
【0034】
＜撮影装置のハードウェア構成＞
図１０は、撮影装置のハードウェア構成図である。図１０に示されているように、撮影装置１０は、撮像ユニット１０１、画像処理ユニット１０４、撮像制御ユニット１０５、マイク１０８、音処理ユニット１０９、ＣＰＵ(Central Processing Unit)１１１、ＲＯＭ(Read Only Memory)１１２、ＳＲＡＭ(Static Random Access Memory)１１３、ＤＲＡＭ(Dynamic Random Access Memory)１１４、操作部１１５、入出力Ｉ／Ｆ１１６、近距離通信回路１１７、近距離通信回路１１７のアンテナ１１７ａ、電子コンパス１１８、ジャイロセンサ１１９，加速度センサ１２０、及びネットワークＩ／Ｆ１２１によって構成されている。
図１０は、撮影装置のハードウェア構成図である。図１０に示されているように、撮影装置１０は、撮像ユニット１０１、画像処理ユニット１０４、撮像制御ユニット１０５、マイク１０８、音処理ユニット１０９、ＣＰＵ(Central Processing Unit)１１１、ＲＯＭ(Read Only Memory)１１２、ＳＲＡＭ(Static Random Access Memory)１１３、ＤＲＡＭ(Dynamic Random Access Memory)１１４、操作部１１５、入出力Ｉ／Ｆ１１６、近距離通信回路１１７、近距離通信回路１１７のアンテナ１１７ａ、電子コンパス１１８、ジャイロセンサ１１９，加速度センサ１２０、及びネットワークＩ／Ｆ１２１によって構成されている。
【0035】
このうち、撮像ユニット１０１は、各々半球画像を結像するための１８０°以上の画角の撮像が可能な広角レンズ１０２ａ,１０２ｂ（以下区別する必要のないときは、レンズ１０２と称する。）、及び各レンズ１０２ａ，１０２ｂに対応させて設けられている二つの撮像素子１０３ａ,１０３ｂを備えている。
【0036】
また、撮像素子１０３ａ,１０３ｂは、レンズ１０２ａ,１０２ｂ等による光学像を電気信号の画像データに変換して出力するＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサやＣＣＤ(Charge Coupled Device)センサ等の画像センサ、この画像センサの水平又は垂直同期信号や画素クロック等を生成するタイミング生成回路、及びこの撮像素子の動作に必要な種々のコマンドもしくはパラメータ等が設定されるレジスタ群等を有している。なお、撮像ユニット１０１が広角レンズを２つ備える構成はあくまで一例であって、１つだけ備えていてもよいし、３つ以上備えていてもよい。
【0037】
撮像ユニット１０１の撮像素子１０３ａ,１０３ｂは、各々、画像処理ユニット１０４とパラレルＩ／Ｆバスを介して接続している。一方、撮像ユニット１０１の撮像素子１０３ａ,１０３ｂは、それぞれ撮像制御ユニット１０５とシリアルＩ／Ｆバス（Ｉ２Ｃバス等）を介して接続している。
【0038】
画像処理ユニット１０４、撮像制御ユニット１０５及び音処理ユニット１０９は、バス１１０を介してＣＰＵ１１１と接続している。さらに、バス１１０には、ＲＯＭ１１２、ＳＲＡＭ１１３、ＤＲＡＭ１１４、操作部１１５、入出力Ｉ／Ｆ１１６、近距離通信回路１１７、電子コンパス１１８、ジャイロセンサ１１９、加速度センサ１２０及びネットワークＩ／Ｆ１２１等も接続される。
【0039】
画像処理ユニット１０４は、撮像素子１０３ａ,１０３ｂから出力される画像データをパラレルＩ／Ｆバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、後述する正距円筒射影画像（広視野画像の一例）のデータを作成する。
【0040】
撮像制御ユニット１０５は、一般に撮像制御ユニット１０５をマスタデバイス、撮像素子１０３ａ,１０３ｂをスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子１０３ａ,１０３ｂのレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ１１１から受け取る。撮像制御ユニット１０５は、同じくＩ２Ｃバスを利用して、撮像素子１０３ａ,１０３ｂのレジスタ群のステータスデータ等を取り込み、ＣＰＵ１１１に送る。
【0041】
また、撮像制御ユニット１０５は、操作部１１５のシャッターボタンが押下されたタイミングで、撮像素子１０３ａ,１０３ｂに画像データの出力を指示する。撮影装置１０によっては、ディスプレイ（例えば、近距離通信回路１１７を用いて撮影装置１０と近距離通信を行うスマートフォン等の外部端末のディスプレイ）によるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子１０３ａ,１０３ｂからの画像データの出力は、所定のフレームレート（フレーム／分）によって連続して行われる。
【0042】
また、撮像制御ユニット１０５は、後述するように、ＣＰＵ１１１と協働して撮像素子１０３ａ,１０３ｂの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、撮影装置１０には表示部（ディスプレイ）が設けられていないが、表示部を設けてもよい。マイク１０８は、音を音（信号）データに変換する。音処理ユニット１０９は、マイク１０８から出力される音データをＩ／Ｆバスを通して取り込み、音データに対して所定の処理を施す。
【0043】
ＣＰＵ１１１は、撮影装置１０の全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ１１２は、ＣＰＵ１１１のための種々のプログラムを記憶している。ＳＲＡＭ１１３及びＤＲＡＭ１１４はワークメモリであり、ＣＰＵ１１１で実行するプログラムや処理途中のデータ等を記憶する。特にＤＲＡＭ１１４は、画像処理ユニット１０４での処理途中の画像データや処理済みの正距円筒射影画像のデータを記憶する。
【0044】
操作部１１５は、種々の操作ボタンや電源スイッチ、シャッターボタン、及び表示と操作の機能を兼ねたタッチパネル等の総称である。ユーザは、操作部１１５を操作することで、種々の撮像モードや撮像条件等を入力する。
【0045】
入出力Ｉ／Ｆ１１６は、ＳＤカード等の外付けのメディア又はパーソナルコンピュータ等とのインターフェース回路（ＵＳＢのＩ／Ｆ等）の総称である。入出力Ｉ／Ｆ１１６は、無線、有線を問わない。ＤＲＡＭ１１４に記憶された正距円筒射影画像のデータは、入出力Ｉ／Ｆ１１６を介して外付けのメディアに記録されたり、必要に応じて入出力Ｉ／Ｆ１１６を介して外部端末（装置）に送信されたりする。
【0046】
近距離通信回路１１７は、撮影装置１０に設けられたアンテナ１１７ａを介して、NFC(Near Field Communication)、Bluetooth(登録商標)又はWi-Fi等の近距離無線通信技術によって、外部端末（装置）と通信を行う。近距離通信回路１１７は、正距円筒射影画像のデータを、外部端末（装置）に送信することができる。
【0047】
電子コンパス１１８は、地球の磁気から撮影装置１０の方位を算出し、方位情報を出力する。この方位情報は、Exifに沿った関連情報（メタデータ）の一例であり、撮影画像の画像補正等の画像処理に利用される。なお、関連情報は、画像の撮像日時及び画像データのデータ容量の各データも含む。
【0048】
ジャイロセンサ１１９は、撮影装置１０の移動に伴う角度の変化（roll角、Pitch角、Yaw角）を検出するセンサである。角度の変化はExifに沿った関連情報（メタデータ）の一例であり、撮影画像の画像補正等の画像処理に利用される。
【0049】
加速度センサ１２０は、三軸方向の加速度を検出するセンサである。
【0050】
撮影装置１０は、電子コンパス１１８、加速度センサ１２０等を利用して、自装置（撮影装置１０）の姿勢（重力方向に対する角度）を算出する。また、撮影装置１０は、加速度センサ１２０を設けることによって、画像補正の精度が向上する。
【0051】
ネットワークＩ／Ｆ１２１は、ルータ等を介して、インターネット等の通信ネットワーク１００を利用したデータ通信を行うためのインターフェースである。また、撮影装置１０のハードウェア構成はここに示すものに限られず、撮影装置１０の機能的構成を実現できるものであればよい。また、上記ハードウェア構成の少なくとも一部は、中継装置３又は通信ネットワーク１００上に存在していてもよい。
【0052】
【0053】
図１１に示されているように、中継装置３は、ＣＰＵ３１０、ＲＯＭ３０２、ＲＡＭ３０３、ＥＥＰＲＯＭ３０４、ＣＭＯＳセンサ３０５、バスライン３１０、通信部３１３、アンテナ３１３ａ、ＧＰＳ受信部３１４、及び入出力Ｉ／Ｆ３１６を備えている。
【0054】
これらのうち、ＣＰＵ３０１は、中継装置３全体の動作を制御する。ＲＯＭ３０２は、ＩＰＬ(Initial Program Loader)等のＣＰＵ３０１の駆動に用いられるプログラムを記憶する。ＲＡＭ３０３は、ＣＰＵ３０１のワークエリアとして使用される。
【0055】
ＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）３０４は、ＣＰＵ３０１の制御にしたがってデータの読み出し又は書き込みを行う。なお、ＥＥＰＲＯＭ３０４には、ＣＰＵ３０１が実行するオペレーティングシステム(OS)、その他のプログラム、及び、種々データが記憶されている。
【0056】
ＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサ３０５は、ＣＰＵ３０１の制御に従って被写体を撮像し画像データを得る個体撮像素子である。
【0057】
通信部３１３は、アンテナ３１３ａを利用して無線通信信号により、通信ネットワーク１００に対する通信を行う。
【0058】
ＧＰＳ受信部３１４は、ＧＰＳ（Global Positioning Systems）衛星又は屋内ＧＰＳとしてのＩＭＥＳ(Indoor MEssaging System）によって中継装置３の位置情報（緯度、経度、および高度）を含んだＧＰＳ信号を受信する。
【0059】
入出力Ｉ／Ｆ３１６は、撮影装置１０の入出力Ｉ／Ｆ１１６と電気的に接続されるインターフェース回路（ＵＳＢのＩ／Ｆ等）のである。入出力Ｉ／Ｆ３１６は、無線、有線を問わない。
【0060】
バスライン３１０は、ＣＰＵ３０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【0061】
＜通信制御システム、通信端末のハードウェア構成＞
図１２は、通信制御システム５のハードウェア構成である。なお、通信端末７，９のハードウェア構成は、通信制御システム５と同様であるため、説明を省略する。
図１２は、通信制御システム５のハードウェア構成である。なお、通信端末７，９のハードウェア構成は、通信制御システム５と同様であるため、説明を省略する。
【0062】
通信制御システム５は、コンピュータとして、図４に示されているように、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、ＳＳＤ５０４、外部機器接続Ｉ／Ｆ５０５、ネットワークＩ／Ｆ５０６、ディスプレイ５０７、操作部５０８、メディアＩ／Ｆ５０９、バスライン５１０、ＣＭＯＳセンサ５１１、及びスピーカ５１２を備えている。
【0063】
これらのうち、ＣＰＵ５０１は、通信制御システム５全体の動作を制御する。ＲＯＭ５０２は、ＩＰＬ等のＣＰＵ５０１の駆動に用いられるプログラムを記憶する。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。
【0064】
ＳＳＤ５０４は、ＣＰＵ５０１の制御に従って各種データの読み出し又は書き込みを行う。なお、通信端末７，９がスマートフォン等の場合には、ＳＳＤ５０４を設けなくてもよい。また、ＳＳＤ５０４の代わりに、ＨＤＤ(Hard Disk Drive)を設けてもよい。
【0065】
外部機器接続Ｉ／Ｆ５０５は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、ディスプレイ、スピーカ、キーボード、マウス、ＵＳＢメモリ、及びプリンタ等である。
【0066】
ネットワークＩ／Ｆ５０６は、通信ネットワーク１００を介してデータ通信をするためのインターフェースである。
【0067】
ディスプレイ５０７は、各種画像を表示する液晶や有機ＥＬ(Electro Luminescence)などの表示部の一種である。
【0068】
操作部５０８は、種々の操作ボタンや電源スイッチ、シャッターボタン、タッチパネル等の各種指示の選択や実行、処理対象の選択、カーソルの移動等を行うための入力手段である。
【0069】
メディアＩ／Ｆ５０９は、フラッシュメモリ等の記録メディア５０９ｍに対するデータの読み出し又は書き込み（記憶）を制御する。記録メディア５０９ｍには、ＤＶＤやＢｌｕ-ｒａｙ Ｄｉｓｃ（登録商標）等も含まれる。
【0070】
ＣＭＯＳセンサ５１１は、ＣＰＵ５０１の制御に従って被写体を撮像して、画像データを得る撮像手段の一種である。ＣＭＯＳセンサではなく、ＣＣＤセンサを使用してもよい。
【0071】
スピーカ５１２は、電気信号を物理振動に変えて音楽や音声などの音を生み出す回路である。
【0072】
バスライン５１０は、ＣＰＵ５０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【0073】
【0074】
＜撮影装置の機能構成＞
図１３に示されているように、撮影装置１０は、受付部１２、検知部１３、撮像部１６、集音部１７、接続部１８、及び記憶・読出部１９を有している。これら各部は、図１０に示されている各構成要素のいずれかが、ＳＲＡＭ１１３からＤＲＡＭ１１４上に展開された撮影蔵置用のプログラムに従ったＣＰＵ１１１からの命令によって動作することで実現される機能又は手段である。
図１３に示されているように、撮影装置１０は、受付部１２、検知部１３、撮像部１６、集音部１７、接続部１８、及び記憶・読出部１９を有している。これら各部は、図１０に示されている各構成要素のいずれかが、ＳＲＡＭ１１３からＤＲＡＭ１１４上に展開された撮影蔵置用のプログラムに従ったＣＰＵ１１１からの命令によって動作することで実現される機能又は手段である。
【0075】
また、撮影装置１は、図９に示されているＲＯＭ１１２、ＳＲＡＭ１１３、及びＤＲＡＭ１１４によって構築される記憶部１０００を有している。
【0076】
（撮影装置の各機能構成）
撮影装置１の受付部１２は、ＣＰＵ１１１に対する操作部１１５の処理によって実現され、ユーザからの操作入力を受け付ける。
撮影装置１の受付部１２は、ＣＰＵ１１１に対する操作部１１５の処理によって実現され、ユーザからの操作入力を受け付ける。
【0077】
検知部１３は、主に、ＣＰＵ１１１から、電子コンパス１１８、ジャイロセンサ１１９、及び加速度センサ１２０等に対する処理によって実現され、撮影装置１０の姿勢を検知することで姿勢情報を得る。
【0078】
撮像部１６は、主に、ＣＰＵ１１１から、撮像ユニット１０１、画像処理ユニット１０４、及び撮像制御ユニット１０５、及びＣＰＵ１１１に対する処理によって実現され、風景等を撮像し、撮影画像を得る。
【0079】
集音部１７は、主に、ＣＰＵ１１１から、音処理ユニット１０９に対する処理によって実現され、撮影装置１０の周囲の音を収音する。
【0080】
接続部１８は、主に、ＣＰＵ１１１から入出力Ｉ／Ｆ１１６に対する処理によって実現され、中継装置３とデータ通信を行う。
【0081】
記憶・読出部１９は、主に、ＣＰＵ１１１の処理によって実現され、記憶部１０００に各種データ（または情報）を記憶したり、記憶部１０００から各種データ（または情報）を読み出したりする。
【0082】
＜中継装置の機能構成＞
図１３に示すように、中継装置３は、通信部３１、及び接続部３８を有している。これら各部は、図１１に示されている各構成要素のいずれかが、ＥＥＰＲＯＭ３０４からＲＡＭ３０３上に展開された中継装置３用プログラムに従ったＣＰＵ３０１からの命令によって動作することで実現される機能又は手段である。
図１３に示すように、中継装置３は、通信部３１、及び接続部３８を有している。これら各部は、図１１に示されている各構成要素のいずれかが、ＥＥＰＲＯＭ３０４からＲＡＭ３０３上に展開された中継装置３用プログラムに従ったＣＰＵ３０１からの命令によって動作することで実現される機能又は手段である。
【0083】
（中継装置３の各機能構成）
中継装置３の通信部３１は、主に、図１１に示すＣＰＵ３０１から通信部３１３に対する処理によって実現され、通信ネットワーク１００を介して、撮影装置１０と通信制御システム５とのデータ通信を行う。
中継装置３の通信部３１は、主に、図１１に示すＣＰＵ３０１から通信部３１３に対する処理によって実現され、通信ネットワーク１００を介して、撮影装置１０と通信制御システム５とのデータ通信を行う。
【0084】
接続部３８は、主に、ＣＰＵ３０１から入出力Ｉ／Ｆ３１６に対する処理によって実現され、撮影装置１０とデータ通信を行う。
【0085】
＜通信制御システムの機能構成＞
次に、図１３を用いて、通信制御システム５の各機能構成について詳細に説明する。通信制御システム５は、通信部５１、受付部５２、作成部５３、認証部５５及び記憶・読出部５９を有している。これら各部は、図１２に示されている各構成要素のいずれかが、ＳＳＤ５０４からＲＡＭ５０３上に展開された通信制御システム５用プログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能又は手段である。
次に、図１３を用いて、通信制御システム５の各機能構成について詳細に説明する。通信制御システム５は、通信部５１、受付部５２、作成部５３、認証部５５及び記憶・読出部５９を有している。これら各部は、図１２に示されている各構成要素のいずれかが、ＳＳＤ５０４からＲＡＭ５０３上に展開された通信制御システム５用プログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能又は手段である。
【0086】
また、通信制御システム５は、図１２に示されているＲＡＭ５０３、及びＨＤ５０４によって構築される記憶部５０００を有している。この記憶部５０００には、ユーザ・デバイス管理ＤＢ５００１、仮想ルーム管理ＤＢ５００２、及び画角情報管理ＤＢ５００３、及び音声テキスト管理ＤＢ５００４が構築されている。
【0087】
（ユーザ・デバイス管理ＤＢ）
図１４は、ユーザ・デバイス管理ＤＢの概念図である。ユーザ・デバイス管理ＤＢ５００１はテーブル形式によって構成され、ユーザＩＤ（又はデバイスＩＤ）、パスワード、名称、ユーザ画像、及びＩＰアドレスが関連付けて記憶されて管理されている。
図１４は、ユーザ・デバイス管理ＤＢの概念図である。ユーザ・デバイス管理ＤＢ５００１はテーブル形式によって構成され、ユーザＩＤ（又はデバイスＩＤ）、パスワード、名称、ユーザ画像、及びＩＰアドレスが関連付けて記憶されて管理されている。
【0088】
これらのうち、ユーザＩＤは、ユーザ（主催者Ｘ、参加者Ａ，Ｂ）を識別するためのユーザ識別情報の一例である。デバイスＩＤは、撮影装置１０等のデバイスを識別するためのデバイス識別情報の一例である。なお、撮影装置１０以外にヘッドマウントディスプレイ等を用いる場合には、ヘッドマウントディスプレイ等もデバイスとして扱われる。
【0089】
名称は、ユーザ又はデバイスの名称である。
【0090】
ユーザ画像は、各ユーザの顔を模式化した画像、ユーザの顔の写真の画像等であり、予め各ユーザによって登録されている。
【0091】
ＩＰアドレスは、ユーザが使用する通信端末７，９、及び撮影装置１０等のデバイスの宛先特定情報の一例である。
【0092】
（仮想ルーム管理ＤＢ）
図１５は、仮想ルーム管理ＤＢ５００２の概念図である。仮想ルーム管理ＤＢ５００２はテーブル形式によって構成され、仮想ルームＩＤ、仮想ルーム名称、デバイスＩＤ、主催者ＩＤ、参加者ＩＤ、コンテンツＩＤ、コンテンツＵＲＬ（画像、音のコンテンツデータの保存場所情報）、及び画角情報ＵＲＬ（画角情報管理ＤＢの保存場所情報）が関連付けて記憶されて管理されている。
図１５は、仮想ルーム管理ＤＢ５００２の概念図である。仮想ルーム管理ＤＢ５００２はテーブル形式によって構成され、仮想ルームＩＤ、仮想ルーム名称、デバイスＩＤ、主催者ＩＤ、参加者ＩＤ、コンテンツＩＤ、コンテンツＵＲＬ（画像、音のコンテンツデータの保存場所情報）、及び画角情報ＵＲＬ（画角情報管理ＤＢの保存場所情報）が関連付けて記憶されて管理されている。
【0093】
これらのうち、仮想ルームＩＤは、仮想ルームを識別するための仮想ルーム識別情報の一例である。
【0094】
仮想ルーム名称は、仮想ルームの名称であり、ユーザ等によって付される。
【0095】
デバイスＩＤは、図１４のデバイスＩＤと同意であり、同じレコードの仮想ルームＩＤで示される仮想ルームに参加したデバイスのＩＤである。
【0096】
主催者ＩＤは、図１４のユーザＩＤのうち、特に主催者ＩＤを識別するための主催者識別情報の一例であり、同じレコードの仮想ルームＩＤで示される仮想ルームに参加した主催者のＩＤである。
【0097】
参加者ＩＤは、図１４のユーザＩＤのうち、特に参加者ＩＤを識別するための参加者識別情報の一例であり、同じレコードの仮想ルームＩＤで示される仮想ルームに参加した参加者のＩＤである。
【0098】
コンテンツＩＤは、画像及び音のコンテンツデータを識別するためのコンテンツ識別情報の一例である。この場合の画像は撮影時に得られた広視野画像であり、音は同じ撮影時に得られた音(音声を含む)である。
【0099】
コンテンツＵＲＬは、コンテンツ(広視野画像、音情報)データが保存されている場所を示すコンテンツ保存場所情報の一例である。コンテンツＵＲＬには、コンテンツデータと共に録画及び録音された時間も関連付けて保存される。
【0100】
画角情報ＵＲＬは、図１６に示す画角情報管理ＤＢが保存されている場所を示す画角保存場所情報の一例である。
【0101】
（画角情報管理ＤＢ）
図１６は、画角情報管理ＤＢ５００３の概念図である。画角情報管理ＤＢ５００３はテーブル形式によって構成され、コンテンツＩＤ毎に、ユーザＩＤ、ＩＰアドレス、画角情報（pan,tilt,fov）、及びタイムスタンプ(又は再生経過時間)が関連付けて記憶されて管理されている。なお、タイムスタンプは、録画経過時間と示すこともできる。
図１６は、画角情報管理ＤＢ５００３の概念図である。画角情報管理ＤＢ５００３はテーブル形式によって構成され、コンテンツＩＤ毎に、ユーザＩＤ、ＩＰアドレス、画角情報（pan,tilt,fov）、及びタイムスタンプ(又は再生経過時間)が関連付けて記憶されて管理されている。なお、タイムスタンプは、録画経過時間と示すこともできる。
【0102】
これらのうち、ユーザＩＤは、図１４のユーザＩＤと同意である。
【0103】
ＩＰアドレスは、図１４のＩＰアドレスと同意である。
【0104】
画角情報（pan,tilt,fov）は、同じレコードのユーザＩＤで示されるユーザ(主催者、参加者)の通信端末７，９から送られて来た画角情報である。
【0105】
タイムスタンプは、録画時に同じレコードの画角情報が送られて来た時刻を示す。なお、録画終了時には、後述の記憶・読出部５９がタイムスタンプを再生経過時間に変換する。また、録画再生時には、後述の記憶・読出部５９が最初から再生経過時間として記憶する。なお、「録画再生」は単に「再生」と示しても良い。
【0106】
（音声テキスト管理ＤＢ）
図１７は、音声テキスト管理ＤＢ５００４の概念図である。音声テキスト管理ＤＢ５００４はテーブル形式によって構成され、コンテンツＩＤ毎に、ユーザＩＤ、ＩＰアドレス、テキスト内容、及びタイムスタンプ(又は再生経過期間)が関連付けて記憶されて管理されている。なお、タイムスタンプは、録画経過期間と示すこともできる。
図１７は、音声テキスト管理ＤＢ５００４の概念図である。音声テキスト管理ＤＢ５００４はテーブル形式によって構成され、コンテンツＩＤ毎に、ユーザＩＤ、ＩＰアドレス、テキスト内容、及びタイムスタンプ(又は再生経過期間)が関連付けて記憶されて管理されている。なお、タイムスタンプは、録画経過期間と示すこともできる。
【0107】
これらのうち、ユーザＩＤは、図１４のユーザＩＤと同意である。
【0108】
ＩＰアドレスは、図１４のＩＰアドレスと同意である。
【0109】
テキスト内容は、録画時に各ユーザが発話した内容を音声認識によりテキスト化された情報である。
【0110】
タイムスタンプは、録画時に同じレコードのテキスト内容に係る発話の期間を示す。例えば、「気になる所はありますか？」という発話は、15:00:00から３秒間で行われていたことが管理される。
【0111】
（通信制御システムの各機能構成）
次に、図１３を用いて、通信制御システム５の各機能構成について詳細に説明する。
次に、図１３を用いて、通信制御システム５の各機能構成について詳細に説明する。
【0112】
通信制御システム５の通信部５１は、主に、図１１に示すＣＰＵ５０１からネットワークＩ／Ｆ５０５に対する処理によって実現され、通信ネットワーク１００を介して、他の装置等（中継装置３、通信端末７，９）とのデータ通信を行う。
【0113】
受付部５２は、ＣＰＵ５０１に対する操作部５０８の処理によって実現され、ユーザ（ここでは、システム管理者等）からの操作入力を受け付ける。
【0114】
作成部５３は、画面作成部としての役割を果たし、主に、ＣＰＵ５０１の処理によって実現され、記憶部５０００に記憶されているデータ等を用いて、各通信端末７，９に送るための画面を作成する。また、作成部５３は、音声認識により音情報からテキストを作成する。
【0115】
認証部５５は、各ユーザが仮想ルームを利用するのに正当な者であるか等の認証を行う。
【0116】
記憶・読出部５９は、主に、ＣＰＵ５０１の処理によって実現され、記憶部５０００に各種データ（または情報）を記憶したり、記憶部５０００から各種データ（または情報）を読み出したりする。
【0117】
＜通信端末７の機能構成＞
次に、図１３を用いて、通信端末７の機能構成について詳細に説明する。通信端末７は、通信部７１、受付部７２、表示制御部７４、音入出力制御部７５、作成部７６、接続部７８、及び記憶・読出部７９を有している。これら各部は、図１２に示されている各構成要素のいずれかが、ＳＳＤ５０４からＲＡＭ５０３上に展開された通信端末７用プログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能又は手段である。
次に、図１３を用いて、通信端末７の機能構成について詳細に説明する。通信端末７は、通信部７１、受付部７２、表示制御部７４、音入出力制御部７５、作成部７６、接続部７８、及び記憶・読出部７９を有している。これら各部は、図１２に示されている各構成要素のいずれかが、ＳＳＤ５０４からＲＡＭ５０３上に展開された通信端末７用プログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能又は手段である。
【0118】
通信端末７の通信部７１は、主に、図１１に示すＣＰＵ５０１からネットワークＩ／Ｆ５０５に対する処理によって実現され、通信ネットワーク１００を介して、他の装置等（通信制御システム５）とのデータ通信を行う。
【0119】
受付部７２は、主に、ＣＰＵ５０１に対する操作部５０８の処理によって実現され、ユーザ（ここでは、主催者Ｘ）からの操作入力を受け付ける。また、受付部９７は、取得部としての役割も果たし、ユーザから広視野画像における所定領域の表示を受け付けた場合に、この所定領域を特定するための画角情報を取得する。
【0120】
表示制御部７４は、主に、ＣＰＵ５０１の処理によって実現され、通信端末７のディスプレイ５０７又は外部機器接続Ｉ／Ｆ５０５に接続された外付けのディスプレイに対して各種画像を表示させるための制御を行なう。
【0121】
音入出力制御部７５は、主に、通信端末７のＣＰＵ５０１の処理によって実現され、外部機器接続Ｉ／Ｆ５０５に接続された外付けのマイクから音を集音させるための制御を行なう。なお、通信端末７にマイクが内蔵されている場合には、このマイクから音を集音させるための制御を行う。また、音入出力制御部７５は、通信端末７のスピーカ５１２又は外部機器接続Ｉ／Ｆ５０５に接続された外付けのスピーカに対して音を出力させるための制御を行なう。
【0122】
作成部７６は、主に、ＣＰＵ５０１の処理によって実現され、通信端末７で録画及び録音されたコンテンツデータにナレーションやテロップ等を追加して、教材用等のコンテンツデータを作成する。
【0123】
記憶・読出部７９は、主に、ＣＰＵ５０１の処理によって実現され、記憶部７０００に各種データ（または情報）を記憶したり、記憶部７０００から各種データ（または情報）を読み出したりする。
【0124】
＜通信端末９の機能構成＞
次に、図１３を用いて、通信端末９の各機能構成について詳細に説明する。
次に、図１３を用いて、通信端末９の各機能構成について詳細に説明する。
【0125】
通信端末９は、通信部９１、受付部９２、表示制御部９４、音入出力制御部９５、接続部９８、及び記憶・読出部９９を有している。これら各部は、図１２に示されている各構成要素のいずれかが、ＳＳＤ５０４からＲＡＭ５０３上に展開された通信端末９用プログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能又は手段である。
【0126】
また、通信端末９は、図１２に示されているＲＡＭ５０３、及びＳＳＤ５０４によって構築される記憶部９０００を有している。
【0127】
通信端末９の通信部９１は、主に、ＣＰＵ５０１からネットワークＩ／Ｆ５０５に対する処理によって実現され、通信ネットワーク１００を介して、他の装置等（通信制御システム５）とのデータ通信を行う。
【0128】
受付部９２は、主に、ＣＰＵ５０１に対する操作部５０８の処理によって実現され、ユーザ（ここでは、参加者）からの操作入力を受け付ける。また、受付部９２は、取得部としての役割も果たし、ユーザから広視野画像における所定領域の表示を受け付けた場合に、この所定領域を特定するための画角情報を取得する。
【0129】
表示制御部９４は、主に、ＣＰＵ５０１の処理によって実現され、通信端末９のディスプレイ５０７又は外部機器接続Ｉ／Ｆ５０５に接続された外付けのディスプレイに対して各種画像を表示させるための制御を行なう。
【0130】
音入出力制御部９５は、主に、通信端末９のＣＰＵ５０１の処理によって実現され、外部機器接続Ｉ／Ｆ５０５に接続された外付けのマイクから音を集音させるための制御を行なう。なお、通信端末７にマイクが内蔵されている場合には、このマイクから音を集音させるための制御を行う。また、音入出力制御部９５は、通信端末９のスピーカ５１２又は外部機器接続Ｉ／Ｆ５０５に接続された外付けのスピーカに対して音を出力させるための制御を行なう。
【0131】
接続部９８は、主に、ＣＰＵ５０１から外部機器接続Ｉ／Ｆ５０５に対する処理によって実現され、有線又は無線により接続された外部機器とデータ通信を行う。
【0132】
記憶・読出部９９は、主に、ＣＰＵ５０１の処理によって実現され、記憶部９０００に各種データ（または情報）を記憶したり、記憶部９０００から各種データ（または情報）を読み出したりする。
【0133】
〔第１の実施形態の処理又は動作〕
続いて、図１８乃至図２６を用いて、第１の実施形態の処理又は動作について説明する。なお、以下の処理は、既に、撮影装置１０、通信端末７，９が同じ仮想ルームに参加した後の処理である。
続いて、図１８乃至図２６を用いて、第１の実施形態の処理又は動作について説明する。なお、以下の処理は、既に、撮影装置１０、通信端末７，９が同じ仮想ルームに参加した後の処理である。
【0134】
＜通信システムにおけるコンテンツデータの通信処理＞
まずは、図１８を用いて、通信システム１ａにおいてコンテンツデータの通信処理を説明する。図１８は、通信システムにおける広視野画像及び各画角情報の通信処理を示したシーケンス図である。本実施形態では、撮影装置１０、主催者Ｘの通信端末７、参加者Ａの通信端末９ａ、及び参加者Ｂの通信端末９ｂが、同じ仮想ルームに入っている場合について説明する。また、仮想ルームが構築されることで、記憶・読出部７９が、仮想ルーム管理ＤＢ(図１５参照)に1レコードを追加して、仮想ルームＩＤ、仮想ルーム名称、デバイスＩＤ、主催者ＩＤ、及び参加者ＩＤが関連付けて管理する。コンテンツＩＤ、コンテンツＵＲＬ、及び画角情報ＵＲＬは、後ほど記憶される。なお、図１８の処理Ｓ１０～Ｓ１５は、例えば、１秒間に３０回又は６０回ほど繰り返して行われる。
まずは、図１８を用いて、通信システム１ａにおいてコンテンツデータの通信処理を説明する。図１８は、通信システムにおける広視野画像及び各画角情報の通信処理を示したシーケンス図である。本実施形態では、撮影装置１０、主催者Ｘの通信端末７、参加者Ａの通信端末９ａ、及び参加者Ｂの通信端末９ｂが、同じ仮想ルームに入っている場合について説明する。また、仮想ルームが構築されることで、記憶・読出部７９が、仮想ルーム管理ＤＢ(図１５参照)に1レコードを追加して、仮想ルームＩＤ、仮想ルーム名称、デバイスＩＤ、主催者ＩＤ、及び参加者ＩＤが関連付けて管理する。コンテンツＩＤ、コンテンツＵＲＬ、及び画角情報ＵＲＬは、後ほど記憶される。なお、図１８の処理Ｓ１０～Ｓ１５は、例えば、１秒間に３０回又は６０回ほど繰り返して行われる。
【0135】
Ｓ１０：撮影装置１０は中継装置３から通信制御システム５との間で通信セッションが確立している(Ｓ１０ｒ)。通信端末７は通信制御システム５との間で通信セッションが確立している(Ｓ１０ｘ)。通信端末９ａは通信制御システム５との間で通信セッションが確立している(Ｓ１０ａ)。通信端末９ｂは通信制御システム５との間で通信セッションが確立している(Ｓ１０ｂ)。よって、通信端末７、通信端末９ａ、及び通信端末９ｂの間では、ビデオ通話を行うことができる。また、通信端末７、通信端末９ａ、及び通信端末９ｂは、それぞれ撮影装置１０で撮影することで得られた広視野画像及び集音することでられた音情報を共有することができる。
【0136】
Ｓ１１：撮影装置１０では、撮像部１６が地域Ｓａ内を全天球撮影すると共に集音してコンテンツ(広視野画像、音情報)データを得た後、接続部１８が中継装置３にコンテンツデータを送る。また、この場合、接続部１８は、撮影装置１０が参加している仮想ルームを識別するための仮想ルームＩＤ及び撮影装置１０を識別するためのデバイスＩＤも送る。これにより、中継装置３の接続部３８は、コンテンツデータ、仮想ルームＩＤ及びデバイスＩＤを取得する。
【0137】
Ｓ１２：中継装置３では、通信部３１が、通信ネットワーク１００を介して通信制御システム５に対し、処理Ｓ１１で接続部３８によって取得された、コンテンツデータ、仮想ルームＩＤ及びデバイスＩＤを送信する。これにより、通信制御システム５では、通信部５１が、コンテンツデータ、仮想ルーム及びデバイスＩＤを受信する。
【0138】
なお、撮影装置１０は、中継装置３ではなく通信端末７に対して、コンテンツデータ、仮想ルームＩＤ及びデバイスＩＤを送信してもよい(Ｓ１１ｄ)。この場合、通信端末７が、通信制御システム５に、コンテンツデータ、仮想ルームＩＤ及びデバイスＩＤを送信する(Ｓ１２ｄ)。
【0139】
Ｓ１３：通信制御システム５では、記憶・読出部５９が処理Ｓ１２で受信された仮想ルームＩＤに基づいて仮想ルーム管理ＤＢ５００２を検索することにより、撮影装置１０と同じ仮想ルームに参加しているユーザＩＤ(主催者ＩＤ及び参加者ＩＤ)を読み出す。また、記憶・読出部５９は、読み出した主催者ＩＤ及び参加者ＩＤに基づいてユーザ・デバイス管理ＤＢ５００１を検索することにより、対応する主催者Ｘのユーザ画像及び通信端末７のＩＰアドレスを読み出すと共に、対応する参加者Ａ，Ｂの各ユーザ画像及び通信端末９ａ，９ｂ，各ＩＰアドレスを読み出す。そして、通信部５１は、通信端末７のＩＰアドレスを参照し、通信端末７に対して処理Ｓ１２で受信されたコンテンツデータを送信する。これにより、通信端末７の通信部７１は、コンテンツデータを受信する。なお、この際に、通信部５１は、通信端末７に対して、同じ仮想ルームに参加しているユーザの各ユーザ画像及びユーザＩＤが関連付けられた状態で送信してもよい。
【0140】
Ｓ１４：通信制御システム５の通信部５１は、通信端末９ａのＩＰアドレスを参照し、通信端末９ａに対して処理Ｓ１２で受信されたコンテンツデータを送信する。これにより、通信端末９ａの通信部９１は、コンテンツデータを受信する。なお、この際に、通信部５１は、通信端末９ａに対して、同じ仮想ルームに参加しているユーザの各ユーザ画像及びユーザＩＤが関連付けられた状態で送信してもよい。
【0141】
Ｓ１５：同様に、通信制御システム５の通信部５１は、通信端末９ｂのＩＰアドレスを参照し、通信端末９ｂに対して処理Ｓ１２で受信されたコンテンツデータを送信する。これにより、通信端末９ｂの通信部９１は、コンテンツデータを受信する。なお、この際に、通信部５１は、通信端末９ｂに対して、同じ仮想ルームに参加しているユーザの各ユーザ画像及びユーザＩＤが関連付けられた状態で送信してもよい。
【0142】
以上の処理により、例えば、通信端末９ａでは、表示制御部９４が処理Ｓ１４で受信された広視野画像のうち、予め定められている所定領域(図６(ａ)参照)を示す所定領域画像(図６(ｂ)参照)を表示させると共に、音入出力制御部９５が処理Ｓ１４で受信された音情報に基づいて音を出力させる。また、受付部９２は参加者Ａの画面操作を受け付けることで、表示制御部９４は予め定められている所定領域Ｔ（図６(ａ)参照）を変更して参加者Ａの興味がある物等が表示されている所定領域Ｔ'（図６(ｃ)参照）示す所定領域画像(図６(ｄ)参照)を表示させる。
【0143】
＜通信システムにおける録画及び録音を開始する処理＞
続いて、図１９を用いて、通信システム１ａにおいて録画及び録音を開始する処理を説明する。図１９は、通信システムにおいて録画及び録音を開始する処理を示すシーケンス図である。
続いて、図１９を用いて、通信システム１ａにおいて録画及び録音を開始する処理を説明する。図１９は、通信システムにおいて録画及び録音を開始する処理を示すシーケンス図である。
【0144】
Ｓ３１：まず、主催者Ｘの通信端末７では、受付部７２が主催者Ｘから録画及び録音の開始の操作を受け付ける。
【0145】
Ｓ３２：通信端末７では、録画及び録音を開始する前に、通信部７１が通信制御システム５に対して、画角情報の共有指示を送信する。この共有指示には、通信端末７が参加している仮想ルームの仮想ルームＩＤ、及び撮影装置１０のデバイスＩＤが含まれている。これにより、通信制御システム５の通信部５１は、画角情報の共有指示を受信する。
【0146】
Ｓ３３：通信制御システム５では、記憶・読出部５９が、仮想ルーム管理ＤＢ(図１５参照)のコンテンツＵＲＬ及び画角情報ＵＲＬを設定する。そして、通信部５１が通信端末７に対して、録画開始指示及び画角情報のアップロード要求を送信する。この指示には、通信端末７が録画後のコンテンツデータを保存する場所を示すコンテンツＵＲＬを示す情報が含まれている。また、この要求には、画角情報を保続するための画角情報ＵＲＬを示す情報が含まれている。これにより、通信端末７では、通信部７１が、録画開始指示、及び画角情報のアップロード要求を受信する。
【0147】
Ｓ３４：また、通信部５１が通信端末９ａに対して、画角情報のアップロード要求を送信する。この要求には、画角情報を保続するためのＵＲＬの情報が含まれている。これにより、通信端末９ａでは、通信部９１が画角情報のアップロード要求を受信する。
【0148】
Ｓ３５：同様に、通信部５１が通信端末９ｂに対して、画角情報のアップロード要求を送信する。この要求には、画角情報を保続するためのＵＲＬの情報が含まれている。これにより、通信端末９ｂでは、通信部９１が画角情報のアップロード要求を受信する。
【0149】
Ｓ３６：続いて、通信端末７では、記憶・読出部７９が、録画部及び録音部としての役割を果たし、図１８に示す処理Ｓ１３で受信されたコンテンツデータの録画及び録音を開始する。なお、図１８に示す処理Ｓ１２ｄの場合、通信端末７は、処理Ｓ１３によって通信制御システム５から受信したコンテンツデータではなく、処理Ｓ１１ｄによって撮影装置１０から受信したコンテンツデータの録画及び録音を開始してもよい。
【0150】
Ｓ３７：通信端末７では、例えば、処理Ｓ１３で受信された広視野画像の所定領域(図６(ａ)参照)である所定領域画像(図６(ｂ)参照)を表示中に、受付部７２が主催者Ｘから画角の変更を受け付けると、表示制御部７４が同じ広視野画像の変更後の所定領域(図６(ｃ)参照)である所定領域画像(図６(ｄ)参照)を表示させる。この場合、受付部７２は、取得部としての役割も果たし、ユーザ(ここでは、主催者Ｘ)から広視野画像における所定領域の表示を受け付けた場合に、広視野画像においてディスプレイ５０７に表示する所定領域を特定するための画角情報（pan,tilt,fov）を取得する。そして、通信部７１が、処理Ｓ３３で受信した画像情報ＵＲＬ(通信制御システム５)に対して、変更後の所定領域を特定するための画角情報を送信する。この画角情報には、送信元である通信端末７の主催者ＸのユーザＩＤが含まれている。これにより、通信制御システム５では、通信部５１が画角情報を受信する。そして、記憶・読出部７９が画角情報管理ＤＢ(図１６参照)に、ユーザＩＤ、送信元のＩＰアドレス、画角情報、タイムスタンプを記憶する。このタイムスタンプは、処理Ｓ３７によって画角情報が受信された時刻を示す。
【0151】
Ｓ３８：通信端末９ａ及び通信制御システム５でも、処理Ｓ３７とは独立して処理Ｓ３７と同様の処理が行われる。なお、この場合に送信されるユーザＩＤは参加者ＡのユーザＩＤである。
【0152】
Ｓ３９：通信端末９ｂ及び通信制御システム５でも、処理Ｓ３７，Ｓ３８とは独立して処理Ｓ３７と同様の処理が行われる。なお、この場合に送信されるユーザＩＤは参加者ＢのユーザＩＤである。
【0153】
なお、処理Ｓ３７～Ｓ３９は、録画の終了時にまとめて、通信制御システム５に対して実行されるようにしてもよい。
【0154】
＜通信システムにおける録画及び録音を停止する処理＞
続いて、図２０を用いて、通信システム１ａにおいて録画及び録音を停止する処理を説明する。図２０は、通信システムにおいて録画及び録音を停止する処理を示すシーケンス図である。
続いて、図２０を用いて、通信システム１ａにおいて録画及び録音を停止する処理を説明する。図２０は、通信システムにおいて録画及び録音を停止する処理を示すシーケンス図である。
【0155】
Ｓ５１：まず、主催者Ｘの通信端末７では、受付部７２が主催者Ｘから録画及び録音の停止の操作を受け付ける。
【0156】
Ｓ５２：記憶・読出部７９は、コンテンツデータの録画及び録音を停止する。
【0157】
Ｓ５３：通信部７１が、処理Ｓ３３で受信した所定のコンテンツＵＲＬ(通信制御システム５)に対して、録画及び録音していたコンテンツデータをアップロード(送信)する。このコンテンツデータには、録画及び録音の開始から終了までの時間(タイムスタンプ)が含まれている。これにより、通信制御システム５では、通信部５１がコンテンツデータを受信する。
【0158】
Ｓ５４：通信制御システム５では、記憶・読出部５９が、所定のコンテンツＵＲＬに、タイムスタンプと共にコンテンツデータを記憶する。更に、記憶・読出部５９が、画角情報管理ＤＢ(図１６参照)に管理されているタイムスタンプを、録画が停止されたコンテンツデータの総録画時間に合わせて、再生経過時間(録画経過時間)に変換する。
【0159】
Ｓ５５：作成部５３は、処理５４で記憶されたコンテンツデータのうちの音情報から音声認識によりテキスト化する。作成部５３は、テキスト化の際に、発話の再生経過期間(録画経過期間)を特定することができる。そして、記憶・読出部５９は、音声テキスト管理ＤＢ５００４(図１７参照)に、元のコンテンツデータのＩＤ毎に、発話者であるユーザＩＤ、発話者の通信端末のＩＰアドレス、発話者の発話内容をテキスト化したテキスト内容、及びタイムスタンプ(録画経過期間又は再生経過期間)を関連付けて記憶する。なお、このタイムスタンプは、後述の発話期間を示す。
【0160】
Ｓ５６：通信部５１は、通信端末７に対して、録画及び録音の終了通知を送信する。終了通知には、所定のコンテンツＵＲＬを示す情報が含まれている。これにより、通信端末７の通信部７１は、録画及び録音の終了通知を受信する。
【0161】
Ｓ５７：同様に、通信部５１は、通信端末９ａに対して、録画及び録音の終了通知を送信する。終了通知には、所定のコンテンツＵＲＬを示す情報が含まれている。これにより、通信端末９ａの通信部９１は、録画及び録音の終了通知を受信する。
【0162】
Ｓ５８：同様に、通信部５１は、通信端末９ｂに対して、録画及び録音の終了通知を送信する。終了通知には、所定のコンテンツＵＲＬを示す情報が含まれている。これにより、通信端末９ｂの通信部９１は、録画及び録音の終了通知を受信する。
【0163】
なお、処理Ｓ５６の場合は、終了通知に所定のコンテンツＵＲＬを含めなくてもよい。
【0164】
＜通信システムにおける録画及び録音の再生の処理＞
続いて、図２１乃至図２６を用いて、通信システムにおいて録画及び録音の再生の処理を説明する。図２１は、通信システムにおいて録画及び録音の再生の処理を示すシーケンス図である。図２２は、画データ選択画面を示す図である。ここでは、録画時に参加していた参加者Ａが、録画及び録音の再生時に通信端末９ａを用いて、録画及び録音されているコンテンツデータを再生する。
続いて、図２１乃至図２６を用いて、通信システムにおいて録画及び録音の再生の処理を説明する。図２１は、通信システムにおいて録画及び録音の再生の処理を示すシーケンス図である。図２２は、画データ選択画面を示す図である。ここでは、録画時に参加していた参加者Ａが、録画及び録音の再生時に通信端末９ａを用いて、録画及び録音されているコンテンツデータを再生する。
【0165】
Ｓ７１：まず、通信端末９ａの受付部９２が、ユーザＡから、ユーザＩＤ及びパスワード等の入力によりログイン操作を受け付けると、通信部９１が通信制御システム５に対してログイン要求を送信する。この要求には、ユーザＡのユーザＩＤ及びパスワードが含まれている。これにより、通信制御システム５では、通信部５１がログイン要求を受信して、認証部５５がユーザ・デバイス管理ＤＢ(図１４参照)を参照して認証を行う。以降、ログイン認証により、ユーザＡが正当なアクセス者であると判断されたとして説明を進める。
【0166】
Ｓ７２：通信制御システム５では、作成部５３が、図２２に示すような録画データ選択画面９４０を作成する。この場合、記憶・読出部５９は、処理Ｓ７１で受信されたユーザＩＤを検索キーとして、仮想ルーム管理ＤＢ(図１５参照)を検索することにより、対応する全ての仮想ルームＩＤ及び仮想ルーム名称並びにコンテンツＵＲＬを読み出す。そして、作成部５３は、コンテンツＵＲＬに記憶されている各コンテンツデータ（タイムスタンプ付き）のうちの画像を用いて各サムネイル９４１，９４２，９４３を作成する。これにより、作成部５３は、サムネイル毎に、仮想ルーム名称(「工事現場α」等)及びタイムスタンプの所定の時刻(例えば、録画開始時刻)を示す録画時刻(「2022/10/31 15:00」等)を追加する。
【0167】
Ｓ７３：通信部５１は、通信端末９ａに対して、処理Ｓ７２で作成された選択画面データを送信する。この選択画面データには、各サムネイルに、各サムネイルの作成元の広視野画像を識別するためのコンテンツＩＤが含まれている。これにより、通信端末９ａの通信部９１は、選択画面データを受信する。
【0168】
Ｓ７４：通信端末９ａでは、表示制御部９４が通信端末９ａのディスプレイ５０７上に、図２２に示すような録画データ選択画面を表示させる。そして、受付部９２が、参加者Ａから所定のサムネイルの指定(選択)を受け付ける。ここでは、サムネイル９４１が指定(選択）されたとして説明を続ける。
【0169】
Ｓ７５：通信部７１は、通信制御システム５に対して、選択されたサムネイル９４１の作成元のコンテンツデータのダウンロード要求を送信する。この要求には、サムネイル９４１に関連付けられたコンテンツＩＤが含まれている。これにより、通信制御システム５の通信部５１が、コンテンツデータのダウンロード要求を受信する。
【0170】
Ｓ７６：通信制御システム５では、記憶・読出部５９が、処理Ｓ７５で受信されたコンテンツＩＤを検索キーとして仮想ルーム管理ＤＢ５００２(図１５参照)を検索し、対応するコンテンツＵＲＬからコンテンツデータを読み出す。また、記憶・読出部５９が、画角情報ＵＲＬに記憶されている画角情報管理ＤＢ５００３(図１６参照)から、ユーザＩＤ、画角情報及び録画経過時間(再生経過時間)の情報を読み出す。更に、記憶・読出部５９は、処理Ｓ７５で受信されたコンテンツＩＤを検索キーとして音声テキスト管理ＤＢ５００４(図１７参照)を検索することにより、対応するユーザＩＤ、テキスト内容、再生経過期間(録画経過期間）を読み出す。そして、通信部５１は、通信端末９ａに対して、要求された録画時のコンテンツデータと共に、各ユーザが録画時に表示した表示領域を特定するための画角情報、各ユーザが録画時に発話した内容を示すテキスト、及び各ユーザのビデオ通話の内容を示す通話画像を送信する。各画角情報には、ユーザＩＤ及び再生経過時間(録画経過時間)が含まれている。また、各テキストには、ユーザＩＤ及び再生経過期間(録画経過期間)が含まれている。これにより、通信端末９ａの通信部９１は、コンテンツデータ、各ユーザの画角情報、各ユーザのテキスト、及び通話画像を受信する。
【0171】
Ｓ７７：通信端末９ａでは、表示制御部９４が通信端末９ａのディスプレイ５０７上に録画された画像を表示すると共に音入出力制御部９５が再生処理を行う。
【0172】
【0173】
Ｓ１１１：まず、受付部７２は、参加者Ａからコンテンツデータの録画再生の開始を受け付ける。
【0174】
Ｓ１１２：表示制御部９４は、処理Ｓ７６で受信されたコンテンツデータ、各画角情報、及び各テキストに基づいて、通信端末９ａのディスプレイ５０７上に、図２４に示すような録画再生画面７５０を表示させる。図２４は、最初に表示された録画生成画面を示す図である。
【0175】
図２４に示すように、録画再生画面７５０には、所定領域画像の表示領域７６０、録画時に各通信端末７，９ａ，９で撮影することで得らえた通話画像に映し出されるユーザ（主催者Ｘ、参加者Ａ、参加者Ｂ）の顔の画像７７０ｘ，７７０ａ，７７０ｂ、及び音声テキストの表示領域７８０が表示されている。これらのうち、表示領域７６０には、最初に主催者Ｘが録画時に通信端末７で表示していた所定領域画像と同じ所定領域画像７６０ｘが表示される。この場合、表示制御部９４は、処理Ｓ７６で受信された広視野画像のうち、同じく処理Ｓ７６で受信されたユーザＩＤが主催者Ｘであり再生経過時間が00:00時点の画角情報を用いて広視野画像における所定領域を特定する。
【0176】
また、表示領域７６０には、マークｍ１が表示されている。マークｍ１は、ユーザ(ここでは、参加者Ａ)が、広視野画像の動画内で所定領域を変更することで(図６(ａ)から図６(ｃ)を参照)、表示領域７６０内の所定領域画像を変更することができる(図６(ｂ)から図６(ｄ)を参照)旨を示す。表示領域７６０には、表示領域７６０内の所定領域画像に対して操作するために、再生ボタン７６１、再生停止ボタン７６２、シークバー７６３、及びスライダ７６４が表示されている。
【0177】
更に、表示領域７６０には、シークバーの長さに合わせて、録画時のユーザ毎に発話した期間(録画経過期間)に関する表示領域を示す発話期間表示領域群７６５が表示されている。ここで、図２５を用いて、発話期間表示領域群７６５について詳細に説明する。図２５は、発話期間表示領域群及び周辺を示す図である。図２５に示すように、発話期間表示領域群７６５には、録画時のユーザ毎に発話した期間(録画経過期間)を視覚的に示した発話期間表示領域７６５ｘ，７６５ａ，７６５ｂが含まれている。また、発話期間表示領域群７６５には、無音期間を視覚的に示した無音期間表示領域７６５ｎも含まれている。発話期間表示領域７６５ｘ，７６５ａ，７６５ｂ、及び無音期間表示領域７６５ｎは、処理Ｓ７６で受信されたテキストのユーザＩＤ及び再生経過期間に基づいて、横の長さが特定されると共に、発話の時系列順に左から並べて表示される。
【0178】
また、各発話期間表示領域７６５ｘ，７６５ａ，７６５ｂの表示態様は異なる。各発話期間表示領域７６５ｘ，７６５ａ，７６５ｂの表示態様は、ユーザ（主催者Ｘ、参加者Ａ、参加者Ｂ）の顔の各画像７７０ｘ，７７０ａ，７７０ｂの表示態様と同じ又は類似している。更に、各表示態様は、形状、模様、又は色彩が異なる。例えば、発話期間表示領域７６５ｘとユーザ（ここでは、主催者Ｘ）の顔の画像７７０ｘの表示態様が同じ又は類似しているため、閲覧するユーザ(ここでは、参加者Ａ)には、発話期間表示領域７６５ｘにおける発話期間の発話者は主催者Ｘであったことを把握し易くなる。この場合、図２４におけるユーザ（主催者Ｘ）の顔の画像７７０ｘの枠が太く表示されるため、閲覧するユーザ(ここでは、参加者Ａ)には、更に把握し易くなる。
【0179】
なお、処理Ｓ７６において、通信制御システム５の通信部５１は、通信端末９ａに対して、通話画像を送信せずに、ユーザ・デバイス管理ＤＢ(図１４参照)に管理されているユーザＩＤ及びユーザ画像を送信してもよい。この場合、ユーザ（主催者Ｘ、参加者Ａ、参加者Ｂ）の顔の各画像７７０ｘ，７７０ａ，７７０ｂは、固定の各ユーザの顔が示される。
【0180】
また、表示領域７８０には、録画時に遠隔通話に参加していたユーザ(ここでは、主催者Ｘ、参加者Ａ、参加者Ｂ）毎に、各録画経過期間に発話された内容を示すテキストが表示された発話内容表示領域７８２等が表示される。この発話内容表示領域７８２等には、処理Ｓ７６によって受信されたユーザＩＤ毎に各再生経過期間におけるテキストの内容が表示される。また、各発話内容表示領域７８２等は、上から発話の時系列順に並べて表示される。表示領域７８０には、スクロールバー７８１も表示され、ユーザが強制的に発話内容表示領域７８２等を上下に移動させることができる。
【0181】
なお、誰も発話していない無音期間の場合には、発話内容表示領域７８３のように、テキスト内容が表示されない表示態様になる。この場合の表示態様としては、図２４に示すように空白でもよいし、その他に、「無」等のテキスト、又は「・・・」等の記号等であってもよい。
【0182】
図２４では、表示領域７６０内に録画時に主催者Ｘが自己の通信端末７で表示していた所定領域画像７６０ｘが表示されると共に、この表示されていた時間に主催者が発言した内容を示すテキストが表示される発話内容表示領域７８２の枠が太く表示される。そのため、閲覧するユーザ(ここでは、参加者Ａ)には、発話内容表示領域７８２における発話期間の発話者は主催者Ｘであったことを把握し易くなると共に、発話内容も把握することができる。
【0183】
Ｓ１１３：図２３に戻り、通信端末９ａの受付部９２が、利用者Ａから、所定の表示領域(発話期間表示領域又は発話内容表示領域)の選択を受け付けたかを判断する。そして、所定の表示領域が選択されない場合には(ＮＯ)、処理Ｓ１１３が繰り返される。この場合、再生ボタン７６１が押下された後に他のボタンが押下されない状態では、図２４において、時間が経過するにつれて、主催者Ｘの各発話内容表示領域７８２等の太枠が下に移動し、スライダ７６４が右に移動し、表示領域７６０内には録画時に主催者Ｘが表示していた所定領域画像７６０ｘが順次表示される。
【0184】
Ｓ１１４：所定の表示領域の選択が受け付けられた場合には(Ｓ１１３；ＹＥＳ)、表示制御部９４が、図２６に示すように、選択された所定の表示領域に対応する所定のユーザの録画経過時間における所定領域画像を表示する。図２６は、所定の表示領域(発話期間表示領域又は発話内容表示領域)が選択された場合に表示された録画再生画面を示す図である。図２６では、表示制御部９４は、表示領域７６０内に、発話内容表示領域７８４又は図２５に示す発話期間表示領域７６５ｂに対応する参加者Ｂの録画経過時間における所定領域画像７６０ｂを表示する。ここでは、表示制御部９４は、図２４に示すように、主催者Ｘが録画時に表示していた所定領域画像７６０ｘから、図２６に示すように、参加者Ｂが録画時に表示していた所定領域画像７６０ｂに切り替えて表示する。なお、表示制御部９４は、切り替えずに、所定領域画像７６０ｂを大きく表示し、元の所定領域画像７６０ｘを小さく表示してもよい。この場合も、図２６に示すように、表示制御部９４は、選択中の発話内容表示領域７８４又は図２５に示す発話期間表示領域７６５ｂに対応する参加者Ｂの顔の画像７７０ｂの枠が太く表示される。
【0185】
これにより、録画再生時に閲覧する利用者Ａは、利用者Ｂに関する所定の表示領域(発話期間表示領域７６５ａ又は発話内容表示領域７８４)の選択により、利用者Ｂが録画時に通信端末９ｂで表示していた所定領域画像７６０ｂを閲覧することができる。
【0186】
なお、上記例では、主催者Ｘの発話内容表示領域７８２の表示中に異なるユーザ(ここでは参加者Ｂ)の発話内容表示領域７８４の選択が行われたが、同じユーザ(ここでは主催者Ｘ)の発話内容表示領域の選択が行われても、表示制御部９４は同様の処理を行い、所定領域画像７８２とは異なるが、同じ主催者Ｘが録画時に表示していた所定領域画像を表示させる。
【0187】
Ｓ１１５：続いて、受付部７２が、参加者Ａからコンテンツデータの録画再生の終了を受け付けない場合には(ＮＯ)、処理Ｓ１１３に戻る。
【0188】
Ｓ１１６：受付部７２が、参加者Ａからコンテンツデータの録画再生の終了を受け付けた場合には(Ｓ１１５；ＹＥＳ)、表示制御部９４は、録画再生を終了する。
【0189】
〔第１の本実施形態の主な効果〕
以上説明したうように実施形態によれば、録画再生時の所定のユーザが、各ユーザによって録画時に広視野画像のうちのどの所定領域を閲覧しながら発話されたかを把握し易くすることができるという効果を奏する。
以上説明したうように実施形態によれば、録画再生時の所定のユーザが、各ユーザによって録画時に広視野画像のうちのどの所定領域を閲覧しながら発話されたかを把握し易くすることができるという効果を奏する。
【0190】
●第２の実施形態
続いて、図面を用いて、第２の実施形態について説明する。
続いて、図面を用いて、第２の実施形態について説明する。
【0191】
【0192】
図２７に示されているように、本実施形態の通信システム１ｂは、図９に示す通信システム１ａに対して、更にＶＲ(Virtual Reality)ゴーグル８が追加された構成である。なお、ここでは、撮影装置１０及び中継装置３は、工事現場、展示場、教育現場、医療現場等の現地Ｓｂで主催者Ｘ等によって所定の位置に設置されている。
【0193】
ＶＲゴーグル８は、通信端末９に、有線又は無線により接続されており、通信端末９が受信したコンテンツデータを再生することができる。
【0194】
〔第２の実施形態のハードウェア構成〕
通信システム１ｂは、ＶＲゴーグル８以外は、第１の実施形態と同様の装置(端末、システム)を有するため、ここでは、ＶＲゴーグル８のハードウェア構成について説明する。
ＶＲゴーグル８は、コンピュータとして、図４に示されているように、ＣＰＵ８０１、ＲＯＭ８０２、ＲＡＭ８０３、外部機器接続Ｉ／Ｆ８０５、ディスプレイ８０７、操作部８０８、メディアＩ／Ｆ８０９、バスライン８１０、スピーカ８１２、電子コンパス８１８、ジャイロセンサ８１９、加速度センサ８２０を備えている。
通信システム１ｂは、ＶＲゴーグル８以外は、第１の実施形態と同様の装置(端末、システム)を有するため、ここでは、ＶＲゴーグル８のハードウェア構成について説明する。
ＶＲゴーグル８は、コンピュータとして、図４に示されているように、ＣＰＵ８０１、ＲＯＭ８０２、ＲＡＭ８０３、外部機器接続Ｉ／Ｆ８０５、ディスプレイ８０７、操作部８０８、メディアＩ／Ｆ８０９、バスライン８１０、スピーカ８１２、電子コンパス８１８、ジャイロセンサ８１９、加速度センサ８２０を備えている。
【0195】
これらのうち、ＣＰＵ８０１は、ＶＲゴーグル８全体の動作を制御する。ＲＯＭ８０２は、ＩＰＬ等のＣＰＵ８０１の駆動に用いられるプログラムを記憶する。ＲＡＭ８０３は、ＣＰＵ８０１のワークエリアとして使用される。
【0196】
外部機器接続Ｉ／Ｆ８０５は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、通信端末９等である。
【0197】
ディスプレイ８０７は、各種画像を表示する液晶や有機ＥＬ(Electro Luminescence)などの表示部の一種である。
【0198】
操作部８０８は、種々の操作ボタンや電源スイッチ、物理ボタン、ユーザの視線を検知して操作する視線操作回路等の各種指示の選択や実行、処理対象の選択、カーソルの移動等を行うための入力手段である。
【0199】
メディアＩ／Ｆ８０９は、フラッシュメモリ等の記録メディア８０９ｍに対するデータの読み出し又は書き込み（記憶）を制御する。記録メディア８０９ｍには、ＤＶＤやＢｌｕ-ｒａｙ Ｄｉｓｃ（登録商標）等も含まれる。
【0200】
スピーカ８１２は、電気信号を物理振動に変えて音楽や音声などの音を生み出す回路である。
【0201】
電子コンパス８１８は、地球の磁気からＶＲゴーグル８の方位を算出し、方位情報を出力する。
【0202】
ジャイロセンサ８１９は、ＶＲゴーグル８の移動に伴う角度の変化（roll角、Pitch角、Yaw角）を検出するセンサである。
【0203】
加速度センサ８２０は、三軸方向の加速度を検出するセンサである。
【0204】
バスライン８１０は、ＣＰＵ８０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【0205】
【0206】
ユーザは、通信端末に接続したＶＲゴーグル８を自分の頭に装着して、ＶＲゴーグル８内のディスプレイ８０７を覗くと、図２９に示されているように、ＶＲ画像を見ることができる。また、図３０に示されているように、ユーザがＶＲゴーグル８を装着した状態で頭部を上側に向けると、電子コンパス８１８、ジャイロセンサ８１９、加速度センサ８２０等により、ＶＲゴーグル８は元のＶＲ画像よりも上空側のＶＲ画像を表示する。これにより、ユーザ、あたかも画像で表わされた場所にいるかの様な感覚を体験することができる。
【0207】
〔第２の実施形態の機能構成〕
続いて、図３１を用いて、第２の実施形態の機能構成について説明する。
続いて、図３１を用いて、第２の実施形態の機能構成について説明する。
【0208】
図３１は、第２の実施形態に係る通信システムの各機能構成図である。
【0209】
なお、第２の実施形態では、第１の実施形態に対して、新たにＶＲゴーグル８が追加されただけであるため、以下ではＶＲゴーグル８についてのみ説明する。
【0210】
＜ＶＲゴーグルの機能構成＞
図３１に示すように、ＶＲゴーグル８は、受付部８２、検知部８３、表示制御部８４、音出力制御部８５、及び接続部８８を有している。これら各部は、図２８に示されている各構成要素のいずれかが、ＲＡＭ８０３上に展開されたＶＲゴーグル８用プログラムに従ったＣＰＵ８０１からの命令によって動作することで実現される機能又は手段である。
図３１に示すように、ＶＲゴーグル８は、受付部８２、検知部８３、表示制御部８４、音出力制御部８５、及び接続部８８を有している。これら各部は、図２８に示されている各構成要素のいずれかが、ＲＡＭ８０３上に展開されたＶＲゴーグル８用プログラムに従ったＣＰＵ８０１からの命令によって動作することで実現される機能又は手段である。
【0211】
受付部８２は、主にＣＰＵ８０１に対する操作部８０８の処理によって実現され、ユーザ（ここでは、参加者Ａ）からの操作入力を受け付ける。例えば、受付部８２は、表示中の所定領域画像の拡大又は縮小の入力を受け付けることができる。また、受付部８２は、取得部としての役割も果たし、ユーザから広視野画像における所定領域の表示を受け付けた場合に、この所定領域を特定するための画角情報を取得する。
【0212】
検知部８３は、主に、ＣＰＵ８０１に対する各センサ(電子コンパス８１８、ジャイロセンサ８１９、加速度センサ８２０)の処理によって実現される。例えば、ユーザがＶＲゴーグル８を装着した状態で頭部の向きを変更することにより、検知部８３が図６(ａ)から図６(ｃ)のような所定領域の変更を検知する。
【0213】
表示制御部８４は、主に、ＣＰＵ８０１の処理によって実現され、接続部８８を介して外部から取得されたコンテンツ(広視野画像、及び音情報)データに基づいて、ＶＲゴーグル８のディスプレイ８０７に対して各種画像を表示させるための制御を行なう。
【0214】
音出力制御部８５は、主に、ＣＰＵ８０１の処理によって実現され、スピーカ８１２に対して音を出力させるための制御を行なう。
【0215】
【0216】
なお、以下の処理は、通信端末７が、処理Ｓ３６で録画及び録音しておいたコンテンツデータと、記憶部７０００の画角情報管理ＤＢ７００１に記憶された情報を用いて、教材等のＶＲコンテンツ(ＶＲ広視野画像、音情報)を作成する処理について説明する。
【0217】
Ｓ２０１：まず、受付部７２が主催者Ｘによって、既に録画及び録音されたコンテンツデータに対して、ナレーションやテロップ等の入力を受け付ける。これにより、作成部７６は、コンテンツデータを作成する。
【0218】
Ｓ２０２：通信部７１が、処理Ｓ３３等で受信した所定のコンテンツＵＲＬ(通信制御システム５)に対して、録画及び録音していたＶＲコンテンツデータをアップロード(送信)する。このＶＲコンテンツデータには、録画及び録音の開始から終了までの再生経過時間が含まれている。これにより、通信制御システム５では、通信部５１がＶＲコンテンツデータを受信する。
【0219】
Ｓ２０３：通信制御システム５では、記憶・読出部５９が、所定のコンテンツＵＲＬに、再生経過時間と共にＶＲコンテンツデータを記憶する。
【0220】
Ｓ２０４：通信部５１は、通信端末７に対して、ＶＲコンテンツが閲覧可能になった旨を示す閲覧可能通知を送信する。通知には、所定のコンテンツＵＲＬを示す情報が含まれている。これにより、通信端末７の通信部７１は、閲覧可能通知を受信する。
【0221】
Ｓ２０５：同様に、通信部５１は、通信端末９ａに対して、閲覧可能通知を送信する。この通知には、所定のＶＲコンテンツＵＲＬを示す情報が含まれている。これにより、通信端末９ａの通信部９１は、閲覧可能通知を受信する。
【0222】
Ｓ２０６：同様に、通信部５１は、通信端末９ｂに対して、閲覧可能通知を送信する。この通知には、所定のコンテンツＵＲＬを示す情報が含まれている。これにより、通信端末９ｂの通信部９１は、閲覧可能通知を受信する。
【0223】
なお、処理Ｓ２０４の場合は、閲覧可能通知に所定のコンテンツＵＲＬを含めなくてもよい。
【0224】
以上により、ユーザＡが、通信端末９ａを用いて、図２１に示す処理により、通信制御システム５から、コンテンツデータ、画角情報(再生経過時間を含む)、画角情報ＵＲＬ、及び表示回数の情報を取得する。そして、通信端末９ａの表示制御部９４は、図３３に示すような録画再生画面７５０を生成する。また、ユーザＡは、ＶＲゴーグル８を通信端末９ａに接続することで、ＶＲゴーグル８では、接続部８８が通信端末９ａの接続部９８から録画再生画面７５０のデータを取得して、表示制御部８４が、ディスプレイ８０７上に、例えば、図３３に示すような録画再生画面７５０を表示させる。即ち、表示制御部９４は、表示制御部８４を介してディスプレイ８０７上に録画再生画面７５０を表示させる。また、ＶＲゴーグル８の受付部８２は、ユーザＡからの操作を受け付けると、操作内容を示すデータ(信号)を接続部８８及び接続部９８を介して、通信端末９ａの受付部９２に送る。
【0225】
図３３は、最初に表示された録画再生画面を示す図である。図３４は、所定の表示領域(発話期間表示領域又は発話内容表示領域)が選択された場合に表示された録画再生画面を示す図である。図３３及び図３４には、医療現場に関する録画再生画面７５０が表示されている。図３３は図２４に対応し、図３４は図２６に対応している。なお、図３４の発話内容表示領域７８５は、図２６の発話内容表示領域７８４に対応するが、テキストの内容が異なる。
【0226】
〔第２の本実施形態の主な効果〕
以上説明したうように実施形態によれば、第１の実施形態の効果に加え、ＶＲコンテンツによる閲覧も可能である。
以上説明したうように実施形態によれば、第１の実施形態の効果に加え、ＶＲコンテンツによる閲覧も可能である。
【0227】
また、ＶＲコンテンツには、ナレーション、テロップ等が含まれているため、ユーザ（ここでは、利用者Ａ）はＶＲコンテンツを教材としても使用することができる。
【0228】
〔補足〕
以上、実施形態について説明したが、本発明はこうした実施形態何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
以上、実施形態について説明したが、本発明はこうした実施形態何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【0229】
（１）上記各実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC（Application Specific Integrated Circuit）、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。
【0230】
（２）上記各プログラムが記憶されたＤＶＤ－ＲＯＭ等の（非一時的）記録媒体は、プログラム製品(Program Product)として、国内又は国外へ提供されることができる。
【0231】
（３）プロセッサとしてのＣＰＵ１１１，３０１，５０１,８０１は、それぞれ複数であってもよい。
【符号の説明】
【0232】
１ａ，１ｂ 通信システム
３ 中継装置
５ 通信制御システム(情報管理システム又は画像管理システムとも示す)
７ 通信端末（第１の表示端末の一例）
８ ＶＲゴーグル（表示端末の一例）
９ 通信端末
９ａ 通信端末（表示端末の一例）
９ｂ 通信端末（（第１の表示端末とは異なる）第２の表示端末の一例）
１０ 撮影装置
５１ 通信部（送信部の一例、受信部の一例）
５２ 受付部
５３ 作成部
７１ 通信部（送信部の一例、受信部の一例）
７２ 受付部（取得部とも示す）
７４ 表示制御部
７５ 音入出力制御部
７６ 作成部
８８ 接続部
８２ 受付部（取得部とも示す）
８３ 検知部
８４ 表示制御部
８５ 音出力制御部
９１ 通信部（送信部の一例、受信部の一例）
９２ 受付部（取得部とも示す）
９４ 表示制御部
９５ 音入出力制御部
５０７ ディスプレイ（表示部の一例）
７６５ｘ 発話期間表示領域（第１の表示領域の一例）
７６５ｂ 発話期間表示領域（第２の表示領域の一例）
７８２ 発話内容表示領域（第１の表示領域の一例）
７８４ 発話内容表示領域（第２の表示領域の一例）
７８５ 発話内容表示領域（第２の表示領域の一例）
８０７ ディスプレイ（表示部の一例）
５００１ ユーザ・デバイス管理ＤＢ
５００２ 仮想ルーム管理ＤＢ
５００３ 画角情報管理ＤＢ
５００４ 音声テキストＤＢ
３ 中継装置
５ 通信制御システム(情報管理システム又は画像管理システムとも示す)
７ 通信端末（第１の表示端末の一例）
８ ＶＲゴーグル（表示端末の一例）
９ 通信端末
９ａ 通信端末（表示端末の一例）
９ｂ 通信端末（（第１の表示端末とは異なる）第２の表示端末の一例）
１０ 撮影装置
５１ 通信部（送信部の一例、受信部の一例）
５２ 受付部
５３ 作成部
７１ 通信部（送信部の一例、受信部の一例）
７２ 受付部（取得部とも示す）
７４ 表示制御部
７５ 音入出力制御部
７６ 作成部
８８ 接続部
８２ 受付部（取得部とも示す）
８３ 検知部
８４ 表示制御部
８５ 音出力制御部
９１ 通信部（送信部の一例、受信部の一例）
９２ 受付部（取得部とも示す）
９４ 表示制御部
９５ 音入出力制御部
５０７ ディスプレイ（表示部の一例）
７６５ｘ 発話期間表示領域（第１の表示領域の一例）
７６５ｂ 発話期間表示領域（第２の表示領域の一例）
７８２ 発話内容表示領域（第１の表示領域の一例）
７８４ 発話内容表示領域（第２の表示領域の一例）
７８５ 発話内容表示領域（第２の表示領域の一例）
８０７ ディスプレイ（表示部の一例）
５００１ ユーザ・デバイス管理ＤＢ
５００２ 仮想ルーム管理ＤＢ
５００３ 画角情報管理ＤＢ
５００４ 音声テキストＤＢ
【先行技術文献】
【特許文献】
【0233】
【特許文献1】特開２０１９－１９２２２９号公報
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】