(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-06-10
(45)【発行日】2024-06-18
(54)【発明の名称】表示端末、表示方法、通信システム、通信方法、及びプログラム
(51)【国際特許分類】
H04N 21/6587 20110101AFI20240611BHJP
H04N 21/437 20110101ALI20240611BHJP
H04N 21/442 20110101ALI20240611BHJP
H04N 7/18 20060101ALI20240611BHJP
【FI】
H04N21/6587
H04N21/437
H04N21/442
H04N7/18 U
(21)【出願番号】P 2022043090
(22)【出願日】2022-03-17
【審査請求日】2023-01-18
(73)【特許権者】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】100107766
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】本間 毅史
【審査官】醍醐 一貴
(56)【参考文献】
【文献】特開2018-006996(JP,A)
【文献】国際公開第2020/004013(WO,A1)
【文献】特開2008-187393(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 21/00-21/858
H04N 7/18
(57)【特許請求の範囲】
【請求項1】
撮像装置が撮像して得た広範囲の視野角を有する広視野画像を取得することで、当該広視野画像における所定領域である所定領域画像を表示する表示端末であって、
前記所定領域画像を表示部に表示させる表示制御部と、
前記表示部に表示されている前記所定領域画像の画質を適正化するための撮影パラメータを前記撮像装置が受信可能となるように送信するパラメータ送信部と、
前記表示部に表示されている前記所定領域画像の画質が適正であるかを判断することで、適正でない場合に前記撮影パラメータを生成するパラメータ生成部と、
を有し、前記パラメータ送信部は、生成された前記撮影パラメータを送信することを特徴とする表示端末。
【請求項2】
前記撮影パラメータは、前記撮像装置に対して、露出、ホワイトバランス、ISO感度、シャッタースピード、焦点、ノイズ低減、DR補正、又はHDR合成に関する調整を行うためのパラメータであることを特徴とする請求項1に記載の表示端末。
【請求項3】
撮像装置が撮像して得た広範囲の視野角を有する広視野画像を取得することで、当該広視野画像における所定領域である所定領域画像を表示する表示端末が実行する表示方法であって、
前記表示端末は、
前記所定領域画像を表示部に表示させ
る表示制御処理と、
前記表示部に表示されている前記所定領域画像の画質を適正化するための撮影パラメータを前記撮像装置が受信可能となるように送信する
パラメータ送信処理と、
前記表示部に表示されている前記所定領域画像の画質が適正であるかを判断することで、適正でない場合に前記撮影パラメータを生成するパラメータ生成処理と、
を実行し、前記パラメータ送信処理は、生成された前記撮影パラメータを送信する処理を含むことを特徴とする表示方法。
【請求項4】
コンピュータに、撮像装置が撮像して得た広範囲の視野角を有する広視野画像を取得することで、当該広視野画像における所定領域である所定領域画像を表示させるためのプログラムであって、
前記コンピュータに、
前記所定領域画像を表示部に表示させ
る表示制御処理と、
前記表示部に表示されている前記所定領域画像の画質を適正化するための撮影パラメータを前記撮像装置が受信可能となるように送信する
パラメータ送信処理と、
前記表示部に表示されている前記所定領域画像の画質が適正であるかを判断することで、適正でない場合に前記撮影パラメータを生成するパラメータ生成処理と、
を実させ、前記パラメータ送信処理は、生成された前記撮影パラメータを送信する処理を含むことを特徴とするプログラム。
【請求項5】
撮像して得た広範囲の視野角を有する広視野画像を送信する撮像装置と、前記撮像装置が送信した前記広視野画像を取得することで当該広視野画像における所定領域である所定領域画像を表示する表示端末と、を有する通信システムであって、
前記表示端末は、
前記所定領域画像を表示部に表示させる表示制御部と、
前記表示部に表示されている前記所定領域画像の画質を適正化するための撮影パラメータを前記撮像装置が受信可能となるように送信するパラメータ送信部と、
前記表示部に表示されている前記所定領域画像の画質が適正であるかを判断することで、適正でない場合に前記撮影パラメータを生成するパラメータ生成部と、
を有し、前記パラメータ送信部は、生成された前記撮影パラメータを送信し、
前記撮像装置は、
受信された前記撮影パラメータを用いて、前記広視野画像の画質を調整する調整部と、
調整された前記広視野画像を送信する画像送信部と、
を有することを特徴とする通信システム。
【請求項6】
前記撮影パラメータは、前記撮像装置に対して、露出、ホワイトバランス、ISO感度、シャッタースピード、焦点、ノイズ低減、DR補正、又はHDR合成に関する調整を行うためのパラメータであることを特徴とする請求項
5に記載の通信システム。
【請求項7】
請求項
5又は6に記載の通信システムであって、
前記撮像装置と前記表示端末の通信を中継する情報処理システムを有することを特徴とする通信システム。
【請求項8】
撮像して得た広範囲の視野角を有する広視野画像を送信する撮像装置と、前記撮像装置が送信した前記広視野画像を取得することで当該広視野画像における所定領域である所定領域画像を表示する表示端末と、を有する通信システムが実行する通信方法であって、
前記表示端末は、
前記所定領域画像を表示部に表示させ
る表示制御処理と、
前記表示部に表示されている前記所定領域画像の画質を適正化するための撮影パラメータを前記撮像装置が受信可能となるように送信する
パラメータ送信処理と、
前記表示部に表示されている前記所定領域画像の画質が適正であるかを判断することで、適正でない場合に前記撮影パラメータを生成するパラメータ生成処理と、
を実行し、前記パラメータ送信処理は、生成された前記撮影パラメータを送信する処理を含み、
前記撮像装置は、
前記撮影パラメータを受信す
る受信処理と、
前記撮影パラメータを用いて、前記広視野画像の画質を調整
する調整処理と、
調整された前記広視野画像を送信する
送信処理と、
を実行することを特徴とする通信方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、表示端末、表示方法、撮像装置、撮影方法、情報処理システム、情報処理方法、通信システム、通信方法、及びプログラムに関する。
【背景技術】
【0002】
通常の画角では確認しきれないような箇所も含む撮像範囲として例えば360度の全周囲が撮像された360度画像(全天球画像、全方位画像、全周囲画像ともいう)を含む広い撮像範囲で撮像された広い視野角を有する広視野の画像(以下、「広視野画像」と示す。)が知られている。この広視野画像は、全天球撮影用カメラが被写体や風景などを撮影することにより生成される。
【0003】
また、ユーザーが広視野画像を閲覧する場合、画像全体が湾曲して見えるため、広視野画像の一部である所定領域をディスプレイに表示して閲覧することも可能である(特許文献1参照)。
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、撮像装置が広視野で撮影する場合、撮像装置は広視野の全体に渡って一律に、露出、ホワイトバランス、ISO感度等の調整を行っている。そのため、ユーザーが、広視野画像の所定領域である所定領域画像を閲覧する場合、この所定領域画像が必ずしも適正な画質ではないという課題が生じる。
【0005】
本発明は上述の課題に鑑みてなされたもので、広視野画像における所定領域である所定領域画像の画質を適正化することを目的とする。
【課題を解決するための手段】
【0006】
請求項1に係る発明は、撮像装置が撮像して得た広範囲の視野角を有する広視野画像を取得することで、当該広視野画像における所定領域である所定領域画像を表示する表示端末であって、前記所定領域画像を表示部に表示させる表示制御部と、前記表示部に表示されている前記所定領域画像の画質を適正化するための撮影パラメータを前記撮像装置が受信可能となるように送信するパラメータ送信部と、前記表示部に表示されている前記所定領域画像の画質が適正であるかを判断することで、適正でない場合に前記撮影パラメータを生成するパラメータ生成部と、を有し、前記パラメータ送信部は、生成された前記撮影パラメータを送信することを特徴とする表示端末である。
【発明の効果】
【0007】
以上説明したように本発明によれば、広視野画像における所定領域である所定領域画像の画質を適正化することができるという効果を奏する。
【図面の簡単な説明】
【0008】
【
図1】広視野画像を用いた遠隔コミュニケーションの一例を説明する図である。
【
図3】撮像装置のハードウエア構成図の一例である。
【
図4】通信端末、情報処理システムのハードウエア構成図の一例である。
【
図5】(a)は撮像装置の左側面図であり、(b)は撮像装置の正面図であり、(c)は撮像装置の平面図である。
【
図7】(a)は撮像装置で撮像された半球画像(前)、(b)は撮像装置で撮像された半球画像(後)、(c)は正距円筒図法により表された画像を示した図である。
【
図8】(a)正距円筒射影画像で球を被う状態を示した概念図、(b)全天球画像を示した図である。
【
図9】全天球画像を三次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。
【
図10】(a)は
図5の立体斜視図、(b)は(a)の状態の所定領域画像がディスプレイに表示されている図、(c)は(a)における仮想カメラICの視点を変更後の所定領域を示した図、(d)は(c)の状態の所定領域画像がディスプレイに表示されている図である。
【
図11】所定領域情報と所定領域Tの画像との関係を示した図である。
【
図12】球座標による三次元ユークリッド空間内の点を示した図である。
【
図14】(a)、(b)は、画像管理情報記憶部に記憶される画像管理情報を示す概念図である。
【
図15】(a)仮想ルーム情報記憶部に記憶される仮想ルーム情報を示す概念図、(b)テナント情報記憶部に記憶されているテナント情報を示す概念図である。
【
図16】(a)は入室画面の一例を示す図である。(b)はユーザーが仮想ルームに入室したことで、通信端末が表示する画像閲覧画面の一例を示す図である。
【
図17】ユーザー(又は通信端末)が仮想ルームに入室する処理を説明するシーケンス図の一例である。
【
図18】通信端末が表示するデバイス登録画面の一例を示す図である。
【
図19】(a)は、撮像装置登録ダイアログを示す図の一例である。(b)は、二次元コード画面の一例を示す図である。
【
図20】VRゴーグル登録ボタンが押下された場合に表示されるVRゴーグル登録画面の一例を示す図である。
【
図21】仮想ルームに撮像装置を対応付けるための仮想ルーム対応付け画面(その1)の一例を示す図である。
【
図22】仮想ルーム対応付け画面(その2)の一例を示す図である。
【
図23】仮想ルーム対応付け画面(その3)の一例を示す図である。
【
図24】通信端末が表示する広視野画像送信開始停止ダイアログの一例を示す図である。
【
図25】ユーザーが仮想ルームに撮像装置を登録する手順を示すシーケンス図の一例である。
【
図26】広視野画像が共有される流れを説明するシーケンス図の一例である。
【
図28】撮影機能を調整する処理(その1)を示すシーケンス図である。
【
図29】(a)は広視野画像(全天球画像)を示す図、(b)は所定領域T1の所定領域画像を示す図、(c)撮影設定調整後の所定領域画像を示す図である。
【
図30】撮影機能を調整する処理(その2)を示すシーケンス図である。
【
図31】通信システムが遠隔医療に適用された遠隔コミュニケーションの一例を説明する図である。
【
図32】遠隔医療の場合において仮想ルームに撮像装置を対応付けるための仮想ルーム対応付け画面の一例を示す図である。
【発明を実施するための形態】
【0009】
以下、本発明を実施するための形態の一例として、情報処理システムと情報処理システムが行う画像送信方法について説明する。
【0010】
<遠隔コミュニケーションの一例>
図1は、広視野画像を用いた遠隔コミュニケーションの一例を説明する図である。
図1では、3つの拠点A~Cが情報処理システム50を介して通信している。拠点の数は一例に過ぎず、2拠点でも、4拠点以上でもよい。
【0011】
拠点Aは一例として、工事現場である。拠点B,Cはどこでもよいが、例えばオフィス等、広視野画像を通信可能な場所であればよい。拠点Aには、被写体等を撮像することで、例えば全天球画像と言われる広視野画像や、上下方向又は水平方向に180~360度といった周囲の広角な広視野画像を生成可能な撮像装置10が配置されている。以下ではこのような広角な画像を単に「広視野画像」という。拠点A~Cには広視野画像を閲覧する各種の通信端末30A~30Cが配置されている。なお、以下では、通信端末30A~30Cのうち任意の通信端末を「通信端末30」と称する。
【0012】
工事現場は、各場所で様々な工事が作業員により進められており、撮像装置が工事現場の全体が映された広視野画像を生成するために工事現場の全体を撮像しつつ、各拠点A~Cのユーザーが着目したい工事や作業があれば、拠点A~Cの各ユーザーa~cが仮想的な視点を任意に変えて確認できる。この場合の視点とは、広視野画像全体のうちディスプレイ等の表示画面に表示される所定領域の中心位置又は範囲である。
【0013】
撮像装置10は三脚86に取り付けられたり、ジンバル87を介してアーム85に取り付けられたりする。工事現場には中継装置(
図1では通信端末30Aが中継装置を兼ねている)が設置されており、通信端末30Aが有線又は無線で撮像装置10から受信した広視野画像を、情報処理システム50に送信する。通信端末30Aは、広視野画像の閲覧用の端末にもなり得る。通信端末30にカメラ9が接続されており(内蔵していてもよい)、カメラ9が撮像した通常の画角の画像(全天球画像を撮像できてもよい)も情報処理システム50に送信可能である。また、ユーザーa(例えば作業員でもよい)はスマートグラス88を装着でき、スマートグラス88が撮像することで生成した通常の画角の画像(全天球画像を撮像できてもよい)が情報処理システム50に送信される場合がある。スマートグラス88とは、視野を確保しながら、インターネット経由で取得した情報をディスプレイに表示する情報端末である。スマートグラス88は任意の拠点に配置されていてよい。
【0014】
一方、拠点Bには通信端末30Bの一例としてPC(Personal Computer)やスマートフォン等が配置されている。また、通信端末30Bは情報処理システム50と通信できる装置であればよく、これらの他、タブレット端末、PDA(Personal Digital Assistant)、電子黒板、プロジェクタ等でもよい。通信端末30Bにカメラが内蔵又は接続されていてもよい。
【0015】
また、拠点Cには通信端末30Cの一例としてPC、スマートフォン、VR(Virtual Reality)ゴーグル89等が配置され、
図1では、通信端末30Cにカメラ8が内蔵又は接続されている。VRゴーグル89とは、コンピュータ上の人工的な世界や全天球画像を、首や身体を動かした方向に合わせて表示する情報端末である。VRゴーグル89は、ハコスコ(ダンボール製の本体にプラスチック製のレンズが付いており、組み立ててスマートフォンをセットすることで手軽にVRを楽しめるVRスコープ)のようにスマートフォンにVR用のゴーグルをセットしたものでもよい。カメラ8は広角用でも通常画角用でもよい。また、通信端末30Cは情報処理システム50と通信できる装置であればよく、タブレット端末、PDA、電子黒板、プロジェクタ等でもよい。VRゴーグル89は任意の拠点に配置されていてよい。
【0016】
本実施形態では、撮像装置10及び各通信端末30は、「仮想ルーム」という通信グループで通信が管理される。撮像装置10は仮想ルームに対応付けられており、通信端末30(通信端末30を操作するユーザー)は、この仮想ルームに入室して、撮像装置10によって送信された広視野画像を受信することで、ユーザーが広視野画像を閲覧できる。スマートグラス88やVRゴーグル89も仮想ルームに対応付けることが可能である。カメラ8,9は、通信端末30と同様に仮想ルームに入室する。
【0017】
拠点A~Cのユーザーa~cは各自の通信端末30で任意に広視野画像の視点を変更できる。このため、リアルタイムに広視野画像を閲覧する各ユーザーa~cはそれぞれ異なる視点を見ている可能性が生じて、意思の疎通が困難になるおそれがある。そこで、本実施形態では、任意の拠点の通信端末30において設定されている仮想的な視点の情報を他の拠点の通信端末30でも共有できるようにする。共有の概略を説明する。以下では、説明のため、拠点Bのユーザーbが指定した視点が拠点A、Cのユーザーa,cと共有する場合が示されている。
【0018】
(1) 通信端末30A~30Cは撮像装置10が撮像することで生成した広視野画像(第一の広視野画像の一例)を共有している。ユーザーbが通信端末30Bで任意の視点で閲覧した状態で広視野画像を要求すると、通信端末30B(第一の通信端末の一例)が視点情報と撮像要求を情報処理システム50に送信する。
【0019】
(2) 情報処理システム50は撮像要求に応じて、視点情報を指定して撮像装置10に撮像(静止画でも動画でもよい)を要求する。
【0020】
(3) 撮像装置10は撮像要求に応じて撮像し、広視野画像(第二の広視野画像の一例)と視点情報を情報処理システム50から通知されたURL(保存場所情報の一例。
図1では、ストレージ90上の保存場所を示す。)に関連付けて保存する。ストレージ90に保存された広視野画像は任意の通信端末30がダウンロードして表示可能である。
【0021】
(4) 情報処理システム50はURLを通信端末30Bに送信する。
【0022】
(5)また、情報処理システム50は、自動で又はユーザーbの要求に応じて、URLを同じ仮想ルームに入室中の通信端末30A、30C(第二の通信端末の一例)に送信する。
【0023】
(6) 通信端末30A、30CはURLにアクセスして視点情報と広視野画像を受信し、視点情報で特定される広視野画像の視点を画像欄の中央に一致させるように設定して表示する。なお、視点を完全に中央に一致させる必要はなく、視点を画像欄の中央近傍の範囲に含まれるように設定して表示させてもよい。
【0024】
拠点Aのユーザーaの視点を拠点B、Cのユーザーに共有する場合、拠点Cのユーザーの視点を拠点A、Bのユーザーに共有する場合も同様である。
【0025】
以上のように、本実施形態の通信システム1aは、広視野画像が配信された場合でも、各拠点で着目していた所定領域が表示されるように撮像されることで生成された広視野画像に対する視点の移動を指示しなくとも、視点情報が共有されるので、ユーザーの意図疎通が容易になる。
【0026】
なお、(3)で撮像装置10が広視野画像そのものを情報処理システム50に送信し、(4)で情報処理システム50が広視野画像を通信端末30A~30Cに送信することもできる。
【0027】
また、
図1では、工事現場に撮像装置10が配置される例を説明したが、VR教育、イベント配信、リモート接客、遠隔医療等にも本実施形態を適用可能である。VR教育では、撮像装置10が研究室等の現場の拠点に配置され、遠隔拠点から学生が任意に視点を変えて黒板、器具、サンプル、実験結果等を閲覧できる。イベント配信では、撮像装置10が現場のイベントの開催場所に配置され、遠隔拠点から観客等のイベント参加者がオンラインで任意に視点を変えて開催場所の様子を閲覧できる。なお、開催場所の様子は演者、出場者、発表者、イベントで説明される製品や展示物などの被写体の映像、イベントで説明される資料の映像、開催場所の状態の映像等を含む。なお、イベントの開催場所は屋内であっても屋外であってもよく、スポーツ、コンサート、演劇等の会場も含まれる。リモート接客では、例えば旅行代理店の接客に適用する場合には、撮像装置10が現場の旅先に配置され、遠隔拠点から顧客が任意に視点を変えて旅程を検討できる。遠隔医療では、撮像装置10が手術室等の医療現場に配置され、遠隔拠点から医師、学生、医療機器の関係者等が任意に視点を変えて医療現場で医療行為を行っている医師の動作、看護師の動作、器具の配置、患者の状態、バイタル等を閲覧できる。
【0028】
画像が撮像される拠点は、これらに限られず、学校、工場、倉庫、建設現場、サーバルーム又は店舗等、閲覧側の拠点のユーザー(閲覧者)が遠隔拠点の現場の状況を把握したいニーズが存在する空間であればよい。
【0029】
<用語について>
テナントとは、サービスの提供者(本実施形態では情報処理システム)から画像配信サービスを受けることを契約する際の契約単位に紐づくユーザーのグループを示しており、契約した企業、組織、個人等である。そのため、テナントは、ユーザーグループとも言い換えることができる。ユーザーは一例としてテナントに所属しているが、ユーザー個人でサービスに加入してもよい。テナント(ユーザーグループ)には、ユーザーの他、撮像装置、仮想ルーム等が登録されている。
【0030】
拠点とは、活動のよりどころとする場所をいう。本実施形態では、拠点の例として会議室を例にする。会議室は、主に会議に使用することを目的に設置された部屋のことである。会議は、会合、ミーティング、打ち合わせ、集会、寄り合い、集まり等ともいう。
【0031】
デバイスとは、PCやスマートフォン等の汎用的な通信端末30でない装置をいい、撮像装置、又は、広視野画像の閲覧装置である。本実施形態では、撮像装置10、スマートグラス88、及び、VRゴーグル89が挙げられる。
【0032】
視点情報とは、ディスプレイの表示画面に表示する広視野画像のどの所定領域をディスプレイの表示画面に表示するかを特定するパラメータ情報である。本実施形態ではディスプレイの表示画面に表示される広視野画像の中心に対応する「動径」、「極角」、「方位角」を視点情報の一例として説明するが、対角頂点の座標など他のパラメータ情報で特定されてもよい。
【0033】
広視野画像とは、所定の表示方法においてディスプレイの表示画面(広視野画像が表示される領域)に一度に表示できる表示範囲より広い広範囲の視野角を有する画像を意味する。広視野画像は、最大で上下方向360度(または180度)、左右方向360度の視野分の表示範囲を持つが、上下360度未満、左右360度未満であってもディスプレイに一度に表示できる表示範囲より広い広範囲の視野角を有する画像であれば広視野画像に含まれる。また、上下方向及び左右方向についてそれぞれ、160度以上の視野分の表示範囲を有している画像も広視野画像に含まれる。例えば、人間が一度に視認できる範囲よりも広い表示範囲を有している画像も広視野画像に含まれる。なお、表示方法によってはディスプレイの表示画面に一度に表示できる画像であっても、所定の表示方法に切り替えたり、変更したりすることによって、広範囲の視野角を有するのであれば広視野画像に含まれる。なお、本実施形態では、広視野画像の一例としてエクイレクタングラー(equirectangular)形式の全天球画像を例に説明するが、全方位画像、半球画像、3Dパノラマ画像、2Dパノラマ画像、VR画像も広視野画像に含まれる。広視野画像は、例えばキューブマッピング形式、ドームマスター形式等の画像であってもよい。また、全天球画像はエクイレクタングラー(equirectangular)形式以外の形式であってもよい。
【0034】
通常の画角で撮像された画像は、広視野画像でない画像であるが、本実施形態では、広視野画像でない画像(平面画像)として説明する。
【0035】
通信グループとは、広視野画像が共有される(配信される)ユーザーの集まりである。通常の空間では、各ユーザーが同じ部屋に入室した場合に各ユーザーにより広視野画像が共有可能となるという意味で、通信グループを仮想的な部屋(仮想ルーム)という用語で説明する。ここでの仮想とはネットワークを介した情報処理で実現されるという意味である。
【0036】
各拠点のユーザーは遠隔地同士で遠隔コミュニケーションを行う。遠隔コミュニケーションは遠隔地の拠点で行われる会合である。会合とは相談や討議などのために人々が寄り集まることをいう。会合には接客、会議、集会、打合せ、勉強会、授業、セミナー、発表会など種々の態様がある。必ずしも双方向通信である必要はない。したがって、仮想ルームを仮想会議室と称してもよい。
【0037】
<通信システムの構成例>
図2は、通信システム1aの構成概略図の一例である。
図1は、
図2の通信システム1aを現場との遠隔コミュニケーションに適用した一例である。通信システム1aは、複数の拠点間において、撮像装置10が撮像した広視野画像や通常画角の画像を双方向に送受信するシステムであり、ある拠点から配信される画像を、他の拠点において表示させることで、他の拠点のユーザーが画像を閲覧できるシステムである。なお、広視野画像の一例として、撮像装置10が撮像する全天球画像が配信される。通信システム1aは、例えば、所定の一拠点で撮像された広視野画像を、遠隔地にある他の拠点において閲覧させることができる。
【0038】
図2に示されているように、通信システム1aでは、拠点Aに配置された撮像装置10、通信端末30A、情報処理システム50、及び複数の拠点(拠点B,C)のそれぞれに配置された通信端末30B,30Cが通信可能に接続されている。
【0039】
撮像装置10が直接、通信ネットワークNに接続できる通信機能を有している場合、中継装置(例えばルーター等)としての通信端末30Aは不要である。この場合、通信端末30Aは、撮像装置10を伴わずに通信ネットワークNに接続される。しかし、拠点Aに通信端末30Aが配置される場合、通信端末30Aが中継装置を兼ね、通信端末30B,30Cと同様にユーザーaが広視野画像を閲覧できる。なお、拠点A以外の拠点に撮像装置10がさらに配置されていてもよいし、拠点Aに複数の撮像装置10が配置されていてもよい。
【0040】
各通信端末30及び情報処理システム50は、通信ネットワークNを介して通信することができる。通信ネットワークNは、インターネット、移動体通信網、LAN(Local Area Network)等によって構築されている。なお、通信ネットワークNには、有線通信だけでなく、3G(3rd Generation)、4G(4th Generation)、5G(5th Generation)、Wi-Fi(Wireless Fidelity)(登録商標)、WiMAX(Worldwide Interoperability for Microwave Access)又はLTE(Long Term Evolution)等の無線通信によるネットワークが含まれてもよい。
【0041】
撮像装置10は、後述するように、被写体や風景等を撮像して元になる二つの半球画像を得て、一つの全天球画像を生成することが可能なデジタルカメラである。撮像装置10によって得られる広視野画像は、動画であっても静止画であってもよく、動画と静止画の両方であってもよい。また、撮像画像は、画像と共に音声を含む映像であってもよい。
【0042】
通信端末30は、各拠点のユーザーによって使用されるPC等のコンピュータである。通信端末30は、自拠点で撮像することで得られた画像、他の拠点から配信された広視野画像(静止画又は動画)及び通常の画角の画像を表示する。通信端末30は、例えば、通信ネットワークNを介して、撮像装置10によって撮像された広視野画像を取得する。また、通信端末30には、OpenGL ES等の画像処理を実行するソフトウェアがインストールされており、広視野画像の一部の領域を特定する視点情報に基づく画像表示ができる。なお、OpenGL ESは画像処理を実行するソフトウェアの一例であって、他のソフトウェアであってもよい。また、画像処理を実行するソフトウェアをインストールしていなくても、外部から受信したソフトウェアによって画像処理を実行してもよいし、外部のソフトウェアによって実行される画像処理結果を受信することで画像表示を行ってもよい。すなわち、通信端末30は、広視野画像の一部の所定領域を表示可能である。
【0043】
通信端末30はユーザーの操作に応じて広視野画像の表示範囲に対する視点を任意に変更できる。通信端末30は、タッチパネル、方向ボタン、マウス、キーボード、タッチパッドなどに対するユーザー操作入力(キー入力、ドラッグ、スクロール等を含む)に応じて、仮想的な視点を移動させることで、移動後の視点に応じた視点情報に基づいて視野範囲(所定領域)を変更して表示できる。さらに、通信端末30が例えばVRゴーグル等のユーザーが装着する通信端末の場合に、装着したユーザーの動きの変更に応じて変更された通信端末30の姿勢情報を検知し、検知した姿勢情報に応じて、仮想的な視点を移動させることで、移動後の視点に応じた視点情報に基づいて視野範囲(所定領域)を変更して表示してもよい。
【0044】
通信端末30Aは、後述の入出力I/F116に接続されたUSB(Universal Serial Bus)ケーブル等の有線ケーブルを介して撮像装置10から取得した広視野画像を、情報処理システム50を介して、他の拠点の通信端末30に配信する。撮像装置10及び通信端末30Aの接続は、有線ケーブルを用いた有線接続ではなく、近距離無線通信等を用いた無線接続であってもよい。拠点Aに複数の通信端末30Aが配置されてもよい。
【0045】
拠点Aのユーザーがスマートグラス88を装着し、スマートグラス88が通信ネットワークNに接続する場合もある。この場合、スマートグラス88が撮像した画像は通信ネットワークNを介して情報処理システム50に送信され、情報処理システム50が各拠点の通信端末30に配信することができる。
【0046】
通信端末30Bは、ユーザーbが存在する拠点Bに配置されており、通信端末30Cは、ユーザーcが存在する拠点Cに配置されている。拠点B,Cに複数の通信端末30B,30Cが配置されてもよい。なお、通信端末30Bや通信端末30Cはユーザーbやユーザーcがそれぞれ持ち歩くことができてもよい。
【0047】
なお、拠点A~Cの通信端末30A~30Cは撮像部としての一例のカメラ8、9を内蔵していたり外付けしたりすることが可能であり、通信端末30A~30Cは、自端末のカメラ8、9等によって自拠点が撮像された画像を他拠点に配信することができる。また、拠点A~Cには任意のデバイスが配置されてよい。
【0048】
図2に示す各端末及び装置(通信端末30及び撮像装置)、並びにユーザーの配置は一例であり、他の例であってもよい。また、通信端末30は、PCに限られず、例えば、タブレット端末、スマートフォン、PDA、ウェアラブル端末(スマートグラスやVRゴーグルを含む)、PJ(Projector:プロジェクタ)、電子黒板(相互通信が可能な電子式の黒板機能を有する白板)又は自律走行ロボット等であってもよい。通信端末30は、Webブラウザ又は画像配信サービスに専用のアプリケーションが動作するコンピュータであればよい。
【0049】
さらに、撮像装置10がディスプレイを有する場合、他の拠点から配信された画像を表示する構成であってもよい。
【0050】
情報処理システム50は、一台以上の情報処理装置を有している。情報処理システム50は、各拠点間の撮像装置10、通信端末30の通信を管理及び制御したり、送受信される広視野画像を管理したりする。情報処理システム50は、広視野画像の配信を行う画像配信サービスを提供するために必要な機能を利用できるプラットフォームを提供する。このプラットフォームを、画像配信サービスを提供したい個人や企業等のサービス提供者が、契約により利用できるようにしてもよい。以下、画像配信サービスを受けるテナントと区別するため、契約したプラットフォームを利用して画像配信サービスをユーザーに提供するサービス提供者をプラットフォーム契約者という。
【0051】
このため、プラットフォームとして情報処理システム50がAPI(Application Programming Interface)を公開し、プラットフォーム契約者がこのAPIを使用して様々な画像配信サービスを提供できるようにしてもよい。プラットフォーム契約者は、主に通信端末30が表示する画面やAPIの呼出しなどを行うアプリケーション等のソフトウェアを開発すればよく、画像配信等のAPIによって提供される機能を一から開発する必要がない。
【0052】
情報処理システム50は、単一のコンピュータによって構築されてもよいし、各部(機能又は手段)を分割して任意に割り当てられた複数のコンピュータによって構築されてもよい。また、情報処理システム50の機能の全て又は一部は、クラウド環境に存在するサーバコンピュータであってもよいし、オンプレミス環境に存在するサーバコンピュータであってもよい。
【0053】
ストレージ90は、広視野画像等のデータを記憶させる記憶装置である。ストレージ90は、情報処理システム50と別体となった外部ストレージ(クラウド上に配置されたストレージでもよいしオンプレミスに配置されたストレージでもよい)でもよいし、情報処理システム50に含まれるストレージでもよい。
【0054】
<ハードウエア構成例>
続いて、
図3、
図4を用いて、本実施形態に係る画像通信システムが有する各装置又は端末のハードウエア構成を説明する。なお、
図3、
図4に示されているハードウエア構成は、必要に応じて構成要素が追加又は削除されてもよい。
【0055】
<<撮像装置のハードウエア構成>>
まず、
図3を用いて、撮像装置10のハードウエア構成を説明する。
図3は、撮像装置10のハードウエア構成の一例を示す図である。以下では、撮像装置10は、二つの撮像素子を使用した全天球(全方位)撮像装置とするが、撮像素子は一つであっても、二つ以上あってもよい。また、必ずしも全方位撮像専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位撮像ユニットを取り付けることで、実質的に撮像装置10と同じ機能を有するようにしてもよい。
【0056】
図3に示されているように、撮像装置10は、撮像ユニット101、画像処理ユニット104、撮像制御ユニット105、マイク108、音処理ユニット109、CPU(Central Processing Unit)111、ROM(Read Only Memory)112、SRAM(Static Random Access Memory)113、DRAM(Dynamic Random Access Memory)114、操作部115、入出力I/F116、近距離通信回路117、近距離通信回路117のアンテナ117a、電子コンパス118、ジャイロセンサ119,加速度センサ120、及びネットワークI/F121によって構成されている。
【0057】
このうち、撮像ユニット101は、各々半球画像を結像するための180°以上の画角の撮像が可能な広角レンズカバー102a,102b(以下区別する必要のないときは、レンズカバー102と称する。)、及び各レンズカバー102a,102bに対応させて設けられている二つの撮像素子103a,103bを備えている。また、レンズカバー102a,102bよりも撮像装置10の内側には、それぞれレンズユニット106a,106b、及びメカニカルシャッタ107a,107bが外部から撮像素子103a,103bの方向に順に備えられている。これらにより、シャッタースピード、焦点等の調整を行うことができる。なお、メカニカルシャッタ107a,107bを用いず、電子シャッターを用いてもよい。
【0058】
また、撮像素子103a,103bは、レンズ102a,102b等による光学像を電気信号の画像データに変換して出力するCMOS(Complementary Metal Oxide Semiconductor)センサやCCD(Charge Coupled Device)センサ等の画像センサ、この画像センサの水平又は垂直同期信号や画素クロック等を生成するタイミング生成回路、及びこの撮像素子の動作に必要な種々のコマンドもしくはパラメータ等が設定されるレジスタ群等を有している。なお、撮像ユニット101が広角レンズを2つ備える構成はあくまで一例であって、1つだけ備えていてもよいし、3つ以上備えていてもよい。
【0059】
撮像ユニット101の撮像素子103a,103bは、各々、画像処理ユニット104とパラレルI/Fバスを介して接続している。一方、撮像ユニット101の撮像素子103a,103bは、それぞれ撮像制御ユニット105とシリアルI/Fバス(I2Cバス等)を介して接続している。
【0060】
画像処理ユニット104、撮像制御ユニット105及び音処理ユニット109は、バス110を介してCPU111と接続している。さらに、バス110には、ROM112、SRAM113、DRAM114、操作部115、入出力I/F116、近距離通信回路117、電子コンパス118、ジャイロセンサ119、加速度センサ120及びネットワークI/F121等も接続される。
【0061】
画像処理ユニット104は、撮像素子103a,103bから出力される画像データをパラレルI/Fバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、後述する正距円筒射影画像(広視野画像の一例)のデータを作成する。
【0062】
撮像制御ユニット105は、一般に撮像制御ユニット105をマスタデバイス、撮像素子103a,103bをスレーブデバイスとして、I2Cバスを利用して、撮像素子103a,103bのレジスタ群にコマンド等を設定する。必要なコマンド等は、CPU111から受け取る。また、撮像制御ユニット105は、レンズユニット106a,106b及びメカニカルシャッタ307a,307b(電子シャッター)の駆動を制御する。撮像制御ユニット105は、同じくI2Cバスを利用して、撮像素子103a,103bのレジスタ群のステータスデータ等を取り込み、CPU111に送る。
【0063】
また、撮像制御ユニット105は、操作部115のシャッターボタンが押下されたタイミングで、撮像素子103a,103bに画像データの出力を指示する。撮像装置10によっては、ディスプレイ(例えば、近距離通信回路117を用いて撮像装置10と近距離通信を行うスマートフォン等の外部端末のディスプレイ)によるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子103a,103bからの画像データの出力は、所定のフレームレート(フレーム/分)によって連続して行われる。
【0064】
また、撮像制御ユニット105は、後述するように、CPU111と協働して撮像素子103a,103bの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、撮像装置10には表示部(ディスプレイ)が設けられていないが、表示部を設けてもよい。マイク108は、音を音(信号)データに変換する。音処理ユニット109は、マイク108から出力される音データをI/Fバスを通して取り込み、音データに対して所定の処理を施す。
【0065】
CPU111は、撮像装置10の全体の動作を制御すると共に必要な処理を実行する。ROM112は、CPU111のための種々のプログラムを記憶している。SRAM113及びDRAM114はワークメモリであり、CPU111で実行するプログラムや処理途中のデータ等を記憶する。特にDRAM114は、画像処理ユニット104での処理途中の画像データや処理済みの正距円筒射影画像のデータを記憶する。
【0066】
操作部115は、種々の操作ボタンや電源スイッチ、シャッターボタン、及び表示と操作の機能を兼ねたタッチパネル等の総称である。ユーザーは、操作部115を操作することで、種々の撮像モードや撮像条件等を入力する。
【0067】
入出力I/F116は、SDカード等の外付けのメディア又はパーソナルコンピュータ等とのインターフェース回路(USBI/F等)の総称である。入出力I/F116は、無線、有線を問わない。DRAM114に記憶された正距円筒射影画像のデータは、入出力I/F116を介して外付けのメディアに記録されたり、必要に応じて入出力I/F116を介して外部端末(装置)に送信されたりする。
【0068】
近距離通信回路117は、撮像装置10に設けられたアンテナ117aを介して、NFC(Near Field Communication)、Bluetooth(登録商標)又はWi-Fi等の近距離無線通信技術によって、外部端末(装置)と通信を行う。近距離通信回路117は、正距円筒射影画像のデータを、外部端末(装置)に送信することができる。
【0069】
電子コンパス118は、地球の磁気から撮像装置10の方位を算出し、方位情報を出力する。この方位情報は、Exifに沿った関連情報(メタデータ)の一例であり、撮像画像の画像補正等の画像処理に利用される。なお、関連情報は、画像の撮像日時及び画像データのデータ容量の各データも含む。
【0070】
ジャイロセンサ119は、撮像装置10の移動に伴う角度の変化(Roll角、Pitch角、Yaw角)を検出するセンサである。角度の変化はExifに沿った関連情報(メタデータ)の一例であり、撮像画像の画像補正等の画像処理に利用される。
【0071】
加速度センサ120は、三軸方向の加速度を検出するセンサである。撮像装置10は、加速度センサ120が検出した加速度に基づいて、自装置(撮像装置10)の姿勢(重力方向に対する角度)を算出する。撮像装置10は、加速度センサ120を設けることによって、画像補正の精度が向上する。
【0072】
ネットワークI/F121は、ルーター等を介して、インターネット等の通信ネットワークNを利用したデータ通信を行うためのインターフェースである。また、撮像装置10のハードウエア構成はここに示すものに限られず、撮像装置10の機能的構成を実現できるものであればよい。また、上記ハードウエア構成の少なくとも一部は通信ネットワークN上に存在していてもよい。
【0073】
<<通信端末のハードウエア構成>>
図4は、通信端末30及び情報処理システム50のハードウエア構成の一例を示す図である。まず、通信端末30について説明する。通信端末30のハードウエア構成は、300番台の符号で示されている。通信端末30は、コンピュータによって構築されており、
図4に示されているように、CPU301、ROM302、RAM303、HDD(Hard Disk)304、HDDコントローラ305、ディスプレイ306、外部機器接続I/F308、ネットワークI/F309、バスライン310、キーボード311、ポインティングデバイス312、DVD-RW(Digital Versatile Disk Rewritable)ドライブ314、メディアI/F316、音入出力I/F317、マイク318、スピーカ319、近距離通信回路320及びカメラ321を備えている。
【0074】
これらのうち、CPU301は、通信端末30全体の動作を制御する。ROM302は、IPL等のCPU301の駆動に用いられるプログラムを記憶する。RAM303は、CPU301のワークエリアとして使用される。HDD304は、プログラムやデータ等の各種データを記憶する。HDDコントローラ305は、CPU301の制御にしたがってHDD304に対する各種データの読み出し又は書き込みを制御する。ディスプレイ306は、カーソル、メニュー、ウィンドウ、文字、又は画像等の各種情報を表示する。ディスプレイ306は、表示部の一例である。なお、ディスプレイ306は、入力手段を備えたタッチパネルディスプレイであってもよい。外部機器接続I/F308は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、USBメモリ又はプリンタ等である。ネットワークI/F309は、通信ネットワークNを利用してデータ通信をするためのインターフェースである。バスライン310は、
図4に示されているCPU301等の各構成要素を電気的に接続するためのアドレスバス又はデータバス等である。なお、HDD304やHDDコントローラ305は、それぞれプログラムやデータ等を記憶するストレージの一例であって、それぞれSSD(Solid State Drive)やSSDコントローラであってもよい。
【0075】
また、キーボード311は、文字、数値、各種指示等の入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス312は、各種指示の選択もしくは実行、処理対象の選択、又はカーソルの移動等を行う入力手段の一種である。なお、入力手段は、キーボード311及びポインティングデバイス312のみならず、タッチパネル又は音声入力装置等であってもよい。DVD-RWドライブ314は、着脱可能な記録媒体の一例としてのDVD-RW313に対する各種データの読み出し又は書き込みを制御する。なお、DVD-RW313は、DVD-R又はBlu-ray(登録商標) Disc(ブルーレイディスク)等であってもよい。メディアI/F316は、フラッシュメモリ等の記録メディア315に対するデータの読み出し又は書き込み(記憶)を制御する。マイク318は、音声を入力する内蔵型の集音手段の一種である。音入出力I/F317は、CPU301の制御にしたがってマイク318及びスピーカ319との間で音信号の入出力を処理する回路である。近距離通信回路320は、NFC、Bluetooth(登録商標)又はWi-Fi等の近距離無線通信技術によって、外部端末(装置)と通信を行うための通信回路である。カメラ321は、被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。なお、マイク318、スピーカ319及びカメラ321は、通信端末30の内蔵型ではなく、外付けの装置であってもよい。
【0076】
また、通信端末30のハードウエア構成はここに示すものに限られず、通信端末30の機能的構成を実現できるものであればよい。また、上記ハードウエア構成の少なくとも一部はネットワークN上に存在していてもよい。
【0077】
<<情報処理システムのハードウエア構成>>
図4に示すように、情報処理システム50の各ハードウエア構成は、括弧内の500番台の符号で示されている。情報処理システム50は、コンピュータによって構築されており、
図4に示されているように、通信端末30と同様の構成を備えているため、各ハードウエア構成の説明を省略する。
【0078】
また、情報処理システム50のハードウエア構成はここに示すものに限られず、情報処理システム50の機能的構成を実現できるものであればよい。また、上記ハードウエア構成の少なくとも一部はネットワーク上に存在していてもよい。
【0079】
なお、上記各プログラムは、インストール可能な形式又は実行可能な形式のファイルで、コンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。記録媒体の例として、CD-R(Compact Disc Recordable)、DVD(Digital Versatile Disk)、Blu-ray Disc(登録商標)、SDカード、USBメモリ等が挙げられる。また、記録媒体は、プログラム製品(Program Product)として、国内又は国外へ提供されることができる。例えば、通信端末30は、本発明に係るプログラムが実行されることで本発明に係る画像表示方法を実現する。
【0080】
<広視野画像、及び、視点情報について>
以下では、
図5~
図12を用いて広視野画像(全天球画像)の生成方法を説明する。
【0081】
まず、
図5を用いて、撮像装置10の外観を説明する。撮像装置10は、全天球(360°)画像の元になる撮像画像を得るためのデジタルカメラである。
図5(a)は撮像装置の左側面図であり、
図5(b)は撮像装置の正面図であり、
図5(c)は撮像装置の平面図である。この外観図は撮像装置10のあくまで一例であって、他の外観であってもよい。
【0082】
図5(a)に示されているように、撮像装置10は、人間が片手で持つことができる大きさであるが、この形状はあくまで一例であって、他の形状であってもよい。また、
図5(a),
図5(b),
図5(c)に示されているように、撮像装置10の上部には、正面側(前側)に撮像素子103a及び背面側(後側)に撮像素子103bが設けられている。これら撮像素子(画像センサ)103a,103bは、半球画像(画角180°以上)の撮像が可能な光学部材(例えば、後述するレンズ102a,102b)と併せて用いられる。また、
図5(b)に示されているように、撮像装置10の正面側とは反対側の面には、シャッターボタン等の操作部115が設けられている。なお、上記したように撮像素子は1つだけであってもよいし、3つ以上備えていてもよい。
【0083】
次に、
図6を用いて、撮像装置10の使用状況を説明する。
図6は、撮像装置の使用イメージ図である。撮像装置10は、
図6に示されているように、例えば、撮像装置10の周りの被写体を撮像するために用いられる。この場合、
図5に示されている撮像素子103a及び撮像素子103bによって、それぞれ撮像装置10の周りの被写体が撮像されることで、二つの半球画像を得ることができる。
【0084】
次に、
図7及び
図8を用いて、撮像装置10が撮像して得た画像から全天球画像が作成されるまでの処理の概略を説明する。
図7(a)は撮像装置が撮像して得た半球画像(前側)、
図7(b)は撮像装置が撮像して得た半球画像(後側)、
図7(c)は正距円筒図法により表された画像(以下、「正距円筒射影画像」という)を示した図である。
図8(a)は正距円筒射影画像で球を被う状態を示した概念図、
図8(b)は全天球画像を示した図である。なお、「正距円筒射影画像」は、上述の広視野画像の一例としてエクイレクタングラー(equirectangular)形式の全天球画像である。
【0085】
図7(a)に示されているように、撮像素子103aによって得られた画像は、後述のレンズ102aによって湾曲した半球画像(前側)となる。また、
図7(b)に示されているように、撮像素子103bによって得られた画像は、後述のレンズ102bによって湾曲した半球画像(後側)となる。そして、撮像装置10は、半球画像(前側)と180度反転された半球画像(後側)とを合成して、
図7(c)に示されているような正距円筒射影画像ECが作成する。
【0086】
そして、撮像装置10は、OpenGL ES(Open Graphics Library for Embedded Systems)等のソフトウェアを利用することで、
図8(a)に示されているように、球面を覆うように正距円筒射影画像ECを貼り付け、
図8(b)に示されているような全天球画像(全天球パノラマ画像)CEを作成する。このように、全天球画像CEは、正距円筒射影画像ECが球の中心を向いた画像として表される。なお、OpenGL ESは、2D(2-Dimensions)及び3D(3-Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。OpenGL ESはあくまで画像処理を実行するソフトウェアの一例であって、他のソフトウェアによって全天球画像CEを作成してもよい。また、全天球画像CEは、静止画であっても動画であってもよい。なお、ここでは撮像装置10が全天球画像を生成する例として説明したが、同様の画像処理又は一部の画像処理の工程を情報処理システム50又は通信端末30が実行してもよい。
【0087】
以上のように、全天球画像CEは、球面を覆うように貼り付けられた画像であるため、人間が見ると違和感を持ってしまう。そこで、撮像装置10又は通信端末30において、全天球画像CEの一部の所定領域T(以下、「所定領域画像」という)を湾曲の少ない平面画像として表示することで、人間に違和感を与えない表示をすることができる。これに関して、
図9乃至
図10を用いて説明する。
【0088】
図9は、全天球画像を三次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。仮想カメラICは、三次元の立体球として表示されている全天球画像CEに対して、その画像を見るユーザーの仮想的な視点の位置に相当するものである。
図10において、(a)は
図9の立体斜視図、(b)は(a)の状態の所定領域画像がディスプレイに表示されている図、(c)は(a)における仮想カメラICの視点を変更後の所定領域を示した図、(d)は(c)の状態の所定領域画像がディスプレイに表示されている図である。
【0089】
このように生成された全天球画像CEが、立体球CSであるとした場合、
図9に示されているように、仮想カメラICは、全天球画像CEの内部に位置している。全天球画像CEにおける所定領域Tは、仮想カメラICの撮像領域であり、全天球画像CEを含む三次元の仮想空間における仮想カメラICの撮像方向と画角を示す所定領域情報によって特定される。また、所定領域Tのズームは、仮想カメラICを全天球画像CEに近づいたり、遠ざけたりすることで表現することもできる。所定領域画像Qは、全天球画像CEにおける所定領域Tの画像である。したがって、所定領域Tは、画角αと、仮想カメラICから全天球画像CEまでの距離fにより特定できる(
図11参照)。
【0090】
そして、
図10(a)に示されている所定領域画像Qは、
図10(b)に示されているように、所定のディスプレイに、仮想カメラICの撮像領域の画像として表示される。
図10(b)に示されている画像は、初期設定(デフォルト)された所定領域情報によって表された所定領域画像である。以下、仮想カメラICの撮像方向(ea,aa)と画角(α)を用いて説明する。なお、所定領域Tは、画角αと距離fではなく、所定領域Tである仮想カメラICの撮像領域を位置座標(X,Y,Z)によって示してもよい。
【0091】
また、
図10(a)の状態から、
図10(c)に示されているように、仮想カメラICの仮想的な視点が右側(図面に向かって左側)に移動(「変更」ともいう)されると、これに応じて全天球画像CEにおける所定領域Tが所定領域T'に移動されるため、所定のディスプレイに表示される所定領域画像Qが所定領域画像Q'に変更される。これにより、ディスプレイには、
図10(b)に示されている画像が、
図10(d)に示されている画像に変更表示される。
【0092】
次に、
図11を用いて、所定領域情報と所定領域Tの画像の関係について説明する。
図11は、所定領域情報と所定領域Tの画像との関係を示した図である。
図11に示されているように、「ea」はelevation angle(仰角)、「aa」はazimuth angle(方位角)、「α」は画角(Angle)を示す。すなわち、仮想カメラICの姿勢は、撮像方向(ea,aa)で示される仮想カメラICの注視点が、仮想カメラICの撮像領域である所定領域Tの中心点CP(x,y)となるように変更される。
図11に示されているように、仮想カメラICの画角αによって表される所定領域Tの対角画角をαとした場合の中心点CP(x,y)が、所定領域情報のパラメータ((x,y))となる。所定領域画像Qは、全天球画像CEにおける所定領域Tの画像である。fは、仮想カメラICから中心点CP(x,y)までの距離である。Lは、所定領域Tの任意の頂点と中心点CP(x,y)との距離である(2Lは対角線)。そして、
図11では、一般的に以下の(式1)で示される三角関数が成り立つ。
【0093】
【0094】
なお、上記で説明した撮像装置10は、広視野画像を取得可能な撮像装置の一例であり、全天球画像は、広視野画像の一例である。ここで、広視野画像は、一般には広角レンズを用いて撮像された画像であり、人間の目で感じるよりも広い範囲を撮像することができるレンズで撮像されたものである。
【0095】
図12は、
図11で説明した関係を球座標による三次元ユークリッド空間内の点で示した図である。ここで、
図11で示した中心点CPを球面極座標系で表現したときの位置座標を(r,θ,φ)とする。(r,θ,φ)は、それぞれ動径、極角、方位角である。動径rは、全天球画像を含む三次元の仮想空間の原点から中心点CPまでの距離であるため、
図11で示した距離fに等しい。
図12は、これらの関係を表した図である。以降、仮想カメラICの位置座標(r,θ,φ)を視点情報の一例として用いて説明する。なお、視点情報は、上記したように
図10で示した所定のディスプレイに、仮想カメラICの撮像領域の画像として表示される所定領域T(所定領域画像Q)が特定できるパラメータ情報であればよく、所定領域Tの対角頂点の座標も含む。また、
図11で説明した仮想カメラICの画角αを示す情報及び中心点CP(x,y)を示す情報が視点情報であってもよい。また、
図11で説明した仮想カメラICの画角αを示す情報及び方位角aaを示す情報が視点情報であってもよい。また、視点情報は球座標による位置座標情報だけでなく、直交座標による位置座標情報や初期設定(デフォルト)された所定領域情報から座標の差分値等も含む。また、視点情報は
図11で示したように角度や距離といった座標情報以外の情報であってもよい。また、
図11や
図12では所定領域Tの中心点を基準にしているが、所定領域Tの頂点のいずれかを基準としたパラメータ情報により所定領域Tを特定してもよい。なお、上記では広視野画像が全天球画像である場合を例として視点情報を説明したが、他の広視野画像の場合には、その広視野画像における所定領域Tを特定する情報が視点情報となる。また、視点情報には所定領域Tの高さや幅といったパラメータ情報や、仮想カメラICのズーム等による拡大率といったパラメータ情報が含まれていてもよい。また、
図7(c)に示されているような正距円筒射影画像ECの各画素の位置を球体の表面の座標(例えば緯度、経度の2軸とした座標)と対応付けた場合に、仮想カメラICの方向と画角といったパラメータ情報を視点情報としてもよいし、緯度や経度といった情報を視点情報に含めてもよい。このように、視点情報とは、必ずしも点を示す情報に限られない。
【0096】
<機能について>
続いて、
図13を用いて、本実施形態に係る通信システム1aの機能構成について説明する。
図13は、本実施形態に係る通信システム1aの機能構成の一例を示す図である。なお、
図13では、
図1に示されている各端末、装置及びサーバのうち、後述の処理又は動作に関連しているものが示されている。
【0097】
<<撮像装置の機能構成>>
まず、
図13を参照して、撮像装置10の機能構成について説明する。撮像装置10は、通信部11、受付部12、撮像処理部13、解析部14、登録要求部15、接続部16、保存処理部17、画像送信制御部18、記憶・読出部19、及び調整部21を有している。これら各部は、
図3に示されている各構成要素のいずれかが、SRAM113又はDRAM114上に展開されたプログラムに従ったCPU111からの命令によって動作することで実現される機能、又は機能する手段である。また、撮像装置10は、
図3に示されているROM112等によって構築される記憶部1000を有している。
【0098】
通信部11は、主に、近距離通信回路117に対するCPU101の処理によって実現され、Wi-Fiなどの無線通信手段を利用して、通信ネットワークNに接続して、他の装置との間で各種データ又は情報の送受信を行う機能である。本実施形態では、主に、接続部16により、撮像処理部13によって取得された広視野画像を情報処理システム50に送信する形態を説明するが、通信部11が広視野画像を情報処理システム50に送信することも可能である。
【0099】
受付部12は、主に、操作部115に対するCPU101の処理によって実現され、撮像装置10に対するユーザーからの操作入力を受け付ける機能である。受付部12は、電源のオン、オフ、シャッターボタンのオン、オフ(広視野画像の送信開始又は送信停止)、タッチパネルやボタン等に対するユーザーの操作入力等を受け付ける。
【0100】
撮像処理部13は、主に、画像処理ユニット104に対するCPU101の処理によって実現され、被写体や風景画像等を撮像し、撮像画像を取得(生成)する。撮像処理部13によって取得される撮像画像は、動画であっても静止画であってもよく(両方でもよく)、画像と共に音声を含んでもよい。また、撮像処理部13は、例えば、通信端末30のディスプレイ306に表示された二次元コード(
図19参照)を撮像する。また、撮像処理部13が撮像画像に対して
図7及び
図8で説明した画像処理を実行することによって広視野画像を生成してもよい。
【0101】
解析部14は、主に、CPU101の処理によって実現され、撮像処理部13によって撮像されて取得された二次元コードを解析して二次元コードに含まれる情報(撮像装置をテナントに登録するためのURL、一時的なIDとパスワード)を抽出する。
【0102】
登録要求部15は、主に、CPU101の処理によって実現され、解析部14によって読み取られた二次元コードに含まれる情報を用いて、情報処理システム50のテナントに撮像装置10を登録する要求を、通信部11を介して情報処理システム50に送信する。
【0103】
接続部16は、主に、入出力I/F116に対するCPU101の処理によって実現され、通信端末30Aから電源供給を受けると共に、データ通信を行う機能である。
【0104】
保存処理部17は、主に、CPU101の処理によって実現され、任意の拠点からの撮像要求に応じて撮像された広視野画像を、情報処理システム50から通知されたURL(例えばストレージ90等)に保存する処理を行う。
【0105】
画像送信制御部18は、主に、CPU101の処理によって実現され、情報処理システム50に対する広視野画像の送信を制御する機能である。画像送信制御部18は、例えば、撮像処理部13によって取得された撮像画像を、静止画であれば定期的又はユーザー操作に応じて、動画であれば所定のFPS(Flame Per Second)で情報処理システム50に対して送信する。画像送信制御部18は通信部11と接続部16の切り替えも行う。
【0106】
調整部21は、主に、CPU101の処理によって実現され、撮影パラメータを用いて、広視野画像の画質を調整する。調整例として、露出、ホワイトバランス、ISO(International Organization for Standardization)感度、シャッタースピード、焦点、ノイズ低減、DR(Dynamic range)補正、又はHDR(High Dynamic Range)合成等が挙げられる。
【0107】
記憶・読出部19は、主に、CPU101の処理によって実現され、記憶部1000に各種データを記憶させ、又は記憶部1000から各種データを読み出す機能である。また、記憶部1000は、撮像処理部13によって取得された撮像画像データ、撮像装置ID等を記憶している。なお、記憶部1000に記憶されている撮像画像データは、撮像処理部13によって取得されてから所定の時間経過した場合に削除される構成であってもよいし、情報処理システム50へ送信されたデータが削除される構成であってもよい。
【0108】
なお、撮像装置10では、通信システム1aに対応するためのアプリケーション(プラグインともいう)がインストールされている。このアプリケーションは、撮像装置10を仮想ルームに対応付ける際や、外部からの制御を受け付けたりするために使用される。
図13に示した機能の一部(例えば登録要求部15)はこのアプリケーションによるものが含まれる。なお、通信システム1aに対応するためのアプリケーションを通信ネットワークN上に配置し、撮像装置10が有するWebブラウザ等によってアプリケーションにアクセスすることで同様の機能を実現させてもよい。
【0109】
<<通信端末の機能構成>>
続いて、
図13を用いて、通信端末30の機能構成について説明する。通信端末30は、通信部31、受付部32、表示制御部33、撮像部34、接続部36、記憶・読出部39、及びパラメータ生成部41を有している。これら各部は、
図4に示されている各構成要素のいずれかが、RAM303上に展開されたプログラム(Webブラウザでも専用のアプリケーションでもよい)に従ったCPU301からの命令によって動作することで実現される機能、又は機能する手段である。また、通信端末30は、
図4に示されているROM302又は記録メディア315によって構築される記憶部3000を有している。
【0110】
通信部31は、主に、ネットワークI/F309に対するCPU301の処理によって実現され、通信ネットワークNに接続し、他の装置との間で各種データ又は情報の送受信を行う機能である。
【0111】
受付部32は、主に、キーボード311及びポインティングデバイス312に対するCPU301の処理によって実現され、通信端末30への各種選択又は操作入力を受け付ける機能である。表示制御部33は、通信端末30のディスプレイ306に広視野画像や通常の画角の画像、及び、各種画面を表示させる機能である。
【0112】
表示制御部33は、主に、CPU301の処理によって実現され、例えば、情報処理システム50から送信された二次元コードを、ディスプレイ306に表示させる。二次元コードは、例えば、QRコード(登録商標)、DataMatrix(DataCode)、MaxiCode又はPDF417等である。二次元コードは、バーコードでもよい。
【0113】
撮像部34は、主に、カメラ321に対するCPU301の処理によって実現され、被写体や周囲を撮像する。
【0114】
接続部36は、主に、近距離通信回路320に対するCPU301の処理によって実現され、撮像装置10に電源を供給すると共に、データ通信を行う機能である。
【0115】
パラメータ生成部41は、主に、CPU301の処理によって実現され、ディスプレイ305(表示部の一例)に表示されている所定領域画像の画質が適正かを判断することで、適正でない場合に適正化するための撮影パラメータを生成する。なお、情報処理システム50が、パラメータ生成部61を有していれば、通信端末30は必ずしもパラメータ生成部41を有していなくてもよい。
【0116】
記憶・読出部39は、主に、CPU301の処理によって実行され、記憶部3000に各種データを記憶させ、又は記憶部3000から各種データを読み出す機能である。記憶部3000には、画像管理情報記憶部3001が形成される。画像管理情報記憶部3001については情報処理システム50の説明において説明する。
【0117】
<<情報処理システムの機能構成>>
次に、情報処理システム50の機能構成について説明する。情報処理システム50は、通信部51、画面生成部52、関連付け処理部53、画像配信制御部54、認証部55、通信グループ管理部56、通信制御部57、コネクション管理部58、記憶・読出部59、API管理部60、パラメータ生成部61を有している。これら各部は、
図4に示されている各構成要素のいずれかが、RAM503上に展開されたプログラムに従ったCPU501からの命令によって動作することで実現される機能、又は機能する手段である。また、情報処理システムは、
図4に示されているROM502、HDD504又は記録メディア515によって構築される記憶部5000を有している。
【0118】
通信部51は、主に、ネットワークI/F509に対するCPU501の処理通信ネットワークNを介して、他の装置との間で各種データ又は情報の送受信を行う機能である。
【0119】
画面生成部52は、主に、CPU501の処理によって実現され、通信端末30が表示する画面情報の生成を行う。通信端末30がWebアプリを実行する場合は、画面情報は、HTML、XML、CSS(Cascade Style Sheet)、及びJavaScript(登録商標)等により作成される。通信端末30がネイティブアプリを実行する場合は、画面情報は通信端末30が保持しており、表示される情報がXML等で送信される。画面生成部52は画像配信制御部54が通信部51を介して配信する広視野画像等が配置される画面情報を生成する。
【0120】
関連付け処理部53は、主に、CPU501の処理によって実現され、広視野画像の視点情報の関連付け及び共有に関する制御を行う。関連付け処理部53は、通信端末30から視点情報と撮像要求を受信した場合、撮像装置10に撮像を要求して取得した広視野画像と視点情報を関連付ける処理を行う。さらに、関連付けた広視野画像と視点情報は、記憶・読出部59によって画像管理情報記憶部5001に保存される。また、関連付け処理部53は、関連付けられた該広視野画像と視点情報が保存される保存場所を示す情報として各保存場所情報(例えばURL)を通信端末30に送信する。なお、情報処理システム50は、通信端末30から視点情報と撮像要求を同時に受信する必要はなく、別々に受信した上で関連付ける処理を行ってもよい。また、URLは保存場所を示す保存場所情報の一例であって、URI等の他の形式であってもよい。
【0121】
画像配信制御部54は、主に、CPU501の処理によって実現され、仮想ルームに入室中のユーザーが操作する通信端末30に、同じ仮想ルームに対応付けられている撮像装置10が送信した広視野画像等の画像を、通信部51を介して配信する。通信端末30が有するカメラ又は接続されたカメラ8,9が撮像した通常の画角の画像についても同様に配信される。なお、配信される画像は、ストリーミング映像、動画、静止画等を含む。
【0122】
認証部55は、主に、CPU501の処理によって実現され、通信部51によって受信された認証要求に基づいて、要求元の認証を行う機能である。認証部55は、例えば、通信部51によって受信された認証要求に含まれている認証情報(ユーザーID及びパスワード)が予め保持する認証情報と一致するか否かにより、ユーザーを認証する。なお、認証情報は、ICカードのカード番号、顔、指紋や声紋などの生体認証情報、デバイスID、パスコード、アクセストークン、セキュリティキー、チケット等でもよい。また、認証部55は、外部の認証システムやOAuthなどの認証方法で認証してもよい。また、認証部55は、ユーザーだけでなく撮像装置等のデバイスを認証してもよい。
【0123】
通信グループ管理部56は、主に、CPU501の処理によって実現され、仮想ルームへの通信端末30やユーザーの入室、デバイスの対応付け等を管理する。通信グループ管理部56は、認証部55による認証が成功した場合に、ユーザーID及び通信端末30のIPアドレスを仮想ルーム情報記憶部5002に登録したり、仮想ルームに撮像装置10を対応付けたりする。
【0124】
通信制御部57は、主に、CPU501の処理によって実現され、各仮想ルームに対応付けられた撮像装置10との通信の開始、確立、終了を管理する。また、通信制御部57は、通信端末30が仮想ルームに入室したり退室したりすることに応じて、広視野画像や音声を配信する通信の開始、確立、終了を管理する。
【0125】
コネクション管理部58は、主に、CPU501の処理によって実現され、通信端末30及び撮像装置10が情報処理システム50と確立している通信(コネクション)を、仮想ルームに対応付けて管理をする。
【0126】
API管理部60は、主に、CPU501の処理によって実現され、プラットフォーム契約者が広視野画像の画像配信サービスを提供する場合に使用するAPIを管理する。APIを利用する場合、プラットフォーム契約者は、別途、APIを呼び出すソフトウェアを開発すればよい。開発するソフトウェアはサーバ上で動作してもよいし、通信端末等のクライアント上で動作するものであってもよい。画像配信制御部54、関連付け処理部53、通信制御部57等のように情報処理システム50が備える機能であれば、APIとして提供可能である。また、後から情報処理システム50に追加した機能をAPIとして提供することも可能である。APIとして提供するか否かはプラットフォーム提供者が操作する通信端末が情報処理システム50にアクセスし、APIの公開設定を受け付けることによって、API管理部60が公開設定に基づいたAPIの制御ができる。また、API管理部60はAPIの呼び出しを要求する要求元のソフトウェアが正当なプラットフォーム契約者によって開発されたソフトウェアか否かを確認する認証処理を行ってもよい。認証処理は記憶部5000においてプラットフォーム契約者の情報として予め登録して記憶されている情報と、要求元のソフトウェアから送信された情報を対比させることで確認することができる。
【0127】
認証処理の具体的な処理の一例として、プラットフォーム契約者が開発するソフトウェアに対して、API管理部60によって予め発行されたアプリIDを要求元のソフトウェアから情報処理システム50が受信し、API管理部60が、アプリIDが記憶部5000に記憶されていると判断できれば正当なソフトウェアとしてAPIを提供することを許可する制御をAPI管理部60が行う。一方で、正当なソフトウェアとして判断できなかった場合には、APIを提供することを許可しない制御をAPI管理部60が行う。
【0128】
なお、アプリIDは正当性を判断するための認証情報の一例であって、予め情報処理システムのAPI管理部60もしくは外部システムが発行したアクセストークン、チケット、セキュリティキー、パスワード、PINコード等の認証情報によってAPI管理部60が要求元の正当性を確認してもよい。本実施形態では、APIとして情報処理システム50が備える機能を使用する形態は説明しないが、プラットフォーム契約者の開発したアプリケーション等のソフトウェアがAPI管理部60における判断を経由して情報処理システム50が備える機能を利用する以外の処理の流れは同じでよい。
【0129】
パラメータ生成部61は、主に、CPU501の処理によって実現され、通信端末30側のディスプレイ305(表示部の一例)に表示されている所定領域画像の画質が適正であるかを判断することで、適正でない場合に適正化するための撮影パラメータを生成する。この場合、パラメータ生成部61は、通信端末30側のディスプレイ305に表示されている所定領域画像の広視野画像における所定領域を認識するため、通信端末30から、所定領域画像としての所定領域を特定するための視点情報(所定領域情報)を取得する。なお、通信端末30が、パラメータ生成部41を有していれば、情報処理システム50は必ずしもパラメータ生成部61を有していなくてもよい。
【0130】
記憶・読出部59は、主に、CPU501の処理によって実現され、記憶部5000に各種データを記憶させ、又は記憶部5000から各種データを読み出す機能である。
【0131】
「画像管理情報記憶部5001」
記憶部5000には、画像管理情報記憶部5001が構築されている。
図14(a)は、画像管理情報記憶部5001に記憶される画像管理情報を示す概念図である。画像管理情報記憶部5001には、
図14に示されているような画像管理情報が記憶されている。画像管理情報は、撮像要求により撮像された広視野画像を管理する情報であり、ユーザーが通信端末30から撮像要求を送信すると、1レコードの画像管理情報が生成される。画像管理情報が有する各項目について説明する。
【0132】
・広視野画像のデータIDは、広視野画像の画像データを識別するための識別情報である。データIDは、情報処理システム50が採番する。IDはIdentificationの略であり識別子や識別情報という意味である。IDは複数の対象から、ある特定の対象を一意的に区別するために用いられる名称、符号、文字列、数値又はこれらのうち1つ以上の組み合わせをいう。なお、データIDは広視野画像だけでなく、仮想ルームに対応付けられた撮像装置10によって通常の画角で撮像された画像に対しても関連付けてもよい。
【0133】
・データ名称は、通信端末30のユーザーが設定した広視野画像の名称である。データ名称はユーザーが設定できるが、自動で設定されてもよい。
【0134】
・撮像日時情報は、ユーザーが通信端末30に撮像要求を入力した日時、撮像装置10が広視野画像等の撮像画像を撮像した日時等、広視野画像等の撮像画像の撮像日時を特定するための情報である。撮像日時情報は広視野画像等の撮像画像のタイムスタンプ情報で代用してもよい。
【0135】
・撮像者情報は、通信端末30に撮像要求を入力したユーザーの識別情報(ユーザーIDやユーザー名を含む)である。ユーザーは仮想ルームに入室した状態で、通信端末30に撮像要求を入力するので、撮像者情報に登録されるユーザーは情報処理システム50又は仮想ルームへの認証により特定されている。撮像者情報は、撮像要求と共に情報処理システム50に送信される。なお、撮像要求と撮像者情報は必ずしも同時に情報処理システム50に送信される必要はなく、異なるタイミングで情報処理システム50に送信されてもよい。
【0136】
・撮像装置情報は、撮影して広視野画像を生成した撮像装置10の識別情報(撮像装置ID)である。撮像装置IDは、情報処理システム50が採番して撮像装置10と共有するが、MACアドレスやシリアル番号など撮像装置10に固有の情報が使用されてもよい。撮像装置IDは、広視野画像と共に情報処理システム50に送信される。なお、撮像装置IDと広視野画像は必ずしも同時に情報処理システム50に送信される必要はなく、異なるタイミングで情報処理システム50に送信されてもよい。
【0137】
・撮像者の視点情報は、撮像者の通信端末10において指定されている視点情報である。例えば、視点情報は、通信端末30が表示中の広視野画像の中心座標(
図11における中心点)を示しており、通信端末30において表示される広視野画像の所定領域T(
図9、
図10参照)を特定するために利用されるパラメータ情報である。ここではパラメータ情報の一例として、動径(r)、極角(θ)及び方位角(φ)を示しているが、
図10~
図12で説明した他のパラメータ情報であってもよい。視点情報は撮像要求する通信端末30から送信される。なお、視点情報は、所定領域Tの表示範囲の幅と高さを指定する情報を有していてよい。あるいは、視点情報は表示範囲の幅と高さのみでもよい。
【0138】
・撮像時の仮想ルームIDは、撮像装置10が対応付けられている仮想ルームの識別情報である。
【0139】
・広視野画像のデータの保存場所情報(保存先情報)は、広視野画像が保存されている場所を示す情報であって、URLやファイルパス等である。また、保存場所情報によって特定される保存場所は所定のフォルダを示す情報であってもよい。フォルダは撮像時の仮想ルームに対応付けられたフォルダであってもよい。また、撮像日時、撮像装置、撮像者、撮像時の仮想ルーム等の分類の1つ又は2つ以上の組み合わせを示す識別情報(名称等の付加情報)に対応付けられたフォルダであってもよい。また、データの保存場所情報とデータIDやデータ名称等の情報と組み合わせてデータの保存場所を特定してもよい。
【0140】
図14(b)は、
図14(a)の変形例として、画像管理情報を示す概念図である。
図14(b)では、撮像時の仮想ルームIDが同じ広視野画像が保存されている。このように、画像管理情報は仮想ルーム単位で分類されてよい。
【0141】
「仮想ルーム情報記憶部5002」
記憶部5000には、仮想ルーム情報記憶部5002が構築されている。
図15(a)は、仮想ルーム情報記憶部5002に記憶される仮想ルーム情報を示す概念図である。仮想ルーム情報記憶部5002には、
図15(a)に示されているような仮想ルーム情報が記憶されている。仮想ルーム情報は、仮想ルームに関する情報であり、仮想ルームごとに保持される。仮想ルーム情報が有する各項目について説明する。なお、ここでは仮想ルームはテナントに登録されているが、テナントへの登録は必須ではなく、一時的に作成された仮想ルームや共有で利用できる仮想ルームの情報も仮想ルーム情報記憶部5002に記憶される。
【0142】
・仮想ルームIDは、仮想ルームを識別する識別情報である。本実施形態では、仮想ルームはユーザーが任意に作成できるものとする。
【0143】
・仮想ルーム名称は、ユーザーが仮想ルームを判別するための名称であり、ユーザーが任意に設定できるものとする。なお、仮想ルームIDと仮想ルーム名称は同一の情報であってもよい。
【0144】
・デバイス情報は、仮想ルームに対応付けられている撮像装置10を含むデバイスの識別情報(デバイスID)である。
【0145】
・入室中のユーザーは、現在、仮想ルームに入室しているユーザーのユーザーIDである。このユーザーは仮想ルームの入室者に対して配信される広視野画像等の画像を閲覧可能なユーザーである。入室方法については後述する。また、ユーザーIDには該ユーザーが操作する通信端末30のIPアドレスが対応付けられていてもよい。また、ユーザーIDにはユーザー名が対応付けて記憶されていてもよい。
【0146】
「テナント情報記憶部5003」
記憶部5000には、テナント情報記憶部5003が構築されている。
図15(b)は、テナント情報記憶部5003に記憶されるテナント情報を示す概念図である。テナント情報記憶部5003には、
図15(b)に示されているようなテナント情報が記憶されている。テナント情報は、テナント(ユーザーグループ)に関する情報であり、テナントごとに保持される。テナント情報が有する各項目について説明する。なお、テナント情報にはユーザー情報など図示する以外に様々な情報が登録されており、
図15(b)は一部に過ぎない。
・テナントIDは、テナントを識別する識別情報である。
・テナント名は、ユーザーがテナントを判別するための名称である。なお、テナントIDとテナント名は同一の情報であってもよい。
・テナント登録仮想ルームIDは、テナントに登録された仮想ルームの識別情報である。
・テナント登録デバイスは、テナントに登録されたデバイスに関する情報である。
なお、テナント情報記憶部、テナントID、テナント名、テナント登録仮想ルームID、テナント登録デバイスは、それぞれ、ユーザーグループ情報記憶部、ユーザーグループID、ユーザーグループ名、ユーザーグループ登録仮想ルームID、ユーザーグループ登録デバイスと言い換えることができる。
【0147】
<通信端末の仮想ルームへの入室>
続いて、
図16、
図17を参照し、ユーザーbが仮想ルームに入室する処理について説明する。なお、すでに撮像装置10が仮想ルームに対応付けられ、通信端末30Aが広視野画像と通常の画角の画像を情報処理システム50に送信しているものとする(撮像装置10の仮想ルームへの対応付け等については
図18以降で説明する)。また、以下では、ユーザーbが仮想ルームに入室することと、ユーザーbが操作する通信端末30Bが仮想ルームに入室することを特に区別しないで説明する。
【0148】
図16は、ユーザーbが仮想ルームに入室する際に通信端末30Bが表示する画面例を示す。
図16(a)は、入室画面200の一例である。補足すると、入室画面200の表示に先立って、ユーザーbは情報処理システム50にログインしている。ログインすることでユーザーbが所属するテナントが特定される。仮想ルームはテナントと関連付けられている。ユーザーbはテナントに関連付けられている仮想ルームの一覧を通信端末30Bで表示し(
図21参照)、一覧から入室する仮想ルームを選択する。
図16(a)はこのようにユーザーbが選択した仮想ルームに対する入室画面200である。なお、テナントに関連付けられていない一時的に作成した仮想ルームや共有の仮想ルームが
図16(a)の画面に表示されてもよい。
【0149】
あるいは、仮想ルームの作成者が仮想ルームに対応するURLの発行を情報処理システム50に要求し、このURLをメール等でユーザーbに送信してもよい。ユーザーbが通信端末30Bに表示されたURLを押下すると、通信端末30Bが
図16(a)の入室画面200を表示する。
【0150】
入室画面200は、仮想ルーム名称201、参加者名入力欄202、及び入室ボタン203を有している。仮想ルーム名称201は仮想ルーム情報記憶部5002に記憶されているものと同じである。参加者名入力欄202は、仮想ルーム内で表示されるユーザー名を入力する欄であって、ニックネームなどユーザーbの呼称でもよい。ユーザーbがログインすることでユーザーbのユーザーIDに紐づくユーザー名を特定し、この特定したユーザー名が自動で表示されてもよい。入室ボタン203は、ユーザーbが仮想ルームへの入室を要求するボタンである。
【0151】
なお、入室時に仮想ルームの入室のための認証が、テナントへのログインとは別に要求されてもよい。
【0152】
図16(b)は、ユーザーbが仮想ルームに入室したことで、通信端末30Bが表示する画像閲覧画面210である。
図16(b)の画像閲覧画面210は、撮像装置10が情報処理システム50を介して広視野画像の配信をすでに開始しており、通信端末30Aが通常の画角の画像の配信をすでに開始している。このため、画像閲覧画面210は、第一の画像欄211と第二の画像欄212を有している。第一の画像欄211には広視野画像が表示され、第二の画像欄212には通常の画角の画像が表示されている。画像を送信する拠点が3つ以上になれば、送信元の拠点の数に応じて画像閲覧画面210が分割される。
【0153】
第一の画像欄211には、広視野画像マーク213が表示されている。広視野画像マーク213は、情報処理システム50の画面生成部52が、第一の画像欄211に表示する画像が広視野画像であると判断して設定する。通信端末30Bが判断して表示してもよい。ユーザーbは広視野画像マーク213を見ることで、視点を変更できる広視野画像が配信されていることが分かる。また、第一の画像欄211にはデバイスの名称214(広視野画像と共に撮像装置10から送信される)が表示される。デバイスの名称214は後述するようにユーザーa等によって設定された情報である(
図19参照)。
【0154】
第二の画像欄212には、参加者名215が表示される。参加者名215はユーザー名であって、参加者名入力欄202に、すでに入室済みのユーザー(ここではユーザーaが入室済みなので、ユーザーaが参加者名入力欄202に入力した「AAA」)の参加者名が表示される。
【0155】
図17は、ユーザーb(又は通信端末30B)が仮想ルームに入室する処理を説明するシーケンス図である。
【0156】
S1:まず、拠点Bのユーザーbが仮想ルームの一覧画面の表示を行う操作を行う。なお、通信端末30Bは、ユーザーbによる操作に応じて事前に情報処理システム50へアクセスし、仮想ルームの一覧画面を表示させるための仮想ルーム情報記憶部5002に記憶されている仮想ルームの情報を情報処理システム50から受信している。この際に、通信端末30Bはログイン等に必要な認証情報を情報処理システム50へ送信することによって、情報処理システム50の認証部55によって認証されてもよい。認証情報はユーザーbに紐づく認証情報であっても、通信端末30Bに紐づく認証情報であってもよい。このような場合に、一覧画面に表示される仮想ルームはユーザーbに紐づくテナントに登録されている仮想ルームや通信端末30Bに紐づくテナントに登録されている仮想ルームであってもよい。受付部32が一覧画面を表示する操作を受け付けることで、通信端末30Bの表示制御部33は、ディスプレイ306に選択画面を表示させる。
【0157】
S2:ユーザーbがある仮想ルームの選択ボタンを選択した場合、通信端末30Bの受付部32は、仮想ルームの選択を受け付ける。通信端末30Bの表示制御部33は、ディスプレイ306に
図16(a)で示した入室画面200を表示させる。
【0158】
S3:ユーザーbが必要事項を入力し、入室ボタン203を押下する。受付部32が押下を受け付けることで、通信端末30Bの通信部31は、情報処理システム50に対して、仮想ルームへの入室要求を送信する。この入室要求は、ステップS2で選択された仮想ルームを示す仮想ルームID、ログイン等によって認証されたユーザーbのユーザーID、及び要求元端末である通信端末30BのIPアドレス等の情報を含む。これにより、情報処理システム50の通信部51は、入室要求を受信する。
【0159】
S4:通信グループ管理部56は、仮想ルーム情報記憶部5002の仮想ルームIDで特定される仮想ルーム情報に、ログイン等によって認証されたユーザーIDとIPアドレスを登録する。
【0160】
S5:そして、情報処理システム50の通信部51は、通信端末30Bに対して、入室済みを示す応答を送信する。これにより、通信端末30Bの通信部31は、入室済みを示す応答を受信する。通信端末30Bの表示制御部33はS5に続けて、情報処理システム50の画面生成部52が生成した画面の情報と画像配信制御部54が配信した画像の情報を受信し、受信した情報に基づいて、
図16(b)に示した画像閲覧画面210を表示させる。
【0161】
<撮像装置のルームへの対応付け>
続いて、
図18~
図25を参照して、撮像装置10の仮想ルームへの対応付けについて説明する。なお、撮像装置10の仮想ルームへの対応付けは拠点Aのユーザーaが行うとして説明するが、システム管理者やテナント管理者等が行ってもよい。
【0162】
図18は、通信端末30Aが表示するデバイス登録画面220の一例である。ユーザーaは情報処理システム50にログイン等によって認証されている状態である。ログインすることでユーザーaが所属するテナントが特定される。ユーザーaはデバイス登録画面220の表示を情報処理システム50に要求し、通信端末30Aは情報処理システム50から受信したデバイス登録画面220を表示する。デバイス登録画面220によりまず、デバイスがテナントに登録される。
【0163】
デバイス登録画面220は、撮像装置登録ボタン221、VRゴーグル登録ボタン222、スマートグラス登録ボタン223を有している。デバイスの種類ごとにボタンが用意されるのは、カメラの有無、登録に使用される情報等に違いがあるためである。また、デバイスの種類ごとにデバイスが登録されるので、情報処理システム50ではデバイスの種類も把握できる。
【0164】
撮像装置登録ボタン221は、ユーザーaが撮像装置10を登録するためのボタンであり、VRゴーグル登録ボタン222はVRゴーグル89を登録するためのボタンであり、スマートグラス登録ボタン223はスマートグラス88を登録するためのボタンである。
【0165】
図19は、撮像装置登録ボタン221が押下された場合に表示される画面の一例である。
図19(a)は、撮像装置登録ダイアログ230を示す。撮像装置登録ダイアログ230は、撮像装置10の名称欄231と、説明欄232と、次へボタン233を有している。ユーザーaは登録する撮像装置10であることが分かるように撮像装置10の名称欄231に任意の名称を設定し、説明欄232に説明を設定する。
【0166】
ユーザーaが次へボタン233を押下すると、通信端末30Aが二次元コードを情報処理システム50に要求し、通信端末30Aが二次元コードを表示する。
【0167】
図19(b)は、通信端末30Aが表示した二次元コード画面240の一例である。二次元コード画面240は、「××(名称欄に入力した名称)というデバイスを登録するため、以下の二次元コードをスキャンして下さい」という旨のメッセージ241、及び、二次元コード242を有している。ユーザーaは二次元コード242を登録したい撮像装置10で撮像する。二次元コード242には、撮像装置10が自身の登録のために接続するURL、一時的なIDとパスワードといった登録に必要な認証情報が含まれている。
【0168】
ユーザーaが撮像装置10で二次元コード242を撮像すると、撮像装置10がURLに接続し、一時的なIDとパスワードで認証を受ける。認証が成功すると、正式な撮像装置IDが交換され、撮像装置10の名称、説明、及び、撮像装置IDがテナントに登録される。撮像装置10もこの撮像装置ID、名称、及び説明を保持する。テナントに登録された撮像装置10は、後述するユーザーaの操作に応じて仮想ルームに対応付けられる。なお、二次元コード242はコード情報の一例であって、同様の認証情報が埋め込まれていればよく、バーコード等の他の形態のコードであってもよい。
【0169】
続いて、
図20を参照して、VRゴーグル89やスマートグラス88等の通信端末のテナントへの登録方法の一例を説明する。
図20は、VRゴーグル登録ボタン222が押下された場合に表示されるVRゴーグル登録画面250の一例である。VRゴーグル登録画面250は、一時コード入力欄251と、シークレット入力欄252を有している。
【0170】
VRゴーグル89がカメラを有さない場合には二次元コードを撮像できない。このため、ユーザーaはVRゴーグル89に一時コード(一時的なID)と、シークレット(パスワード)を出力させ(表示させ)、一時コード入力欄251と、シークレット入力欄252に入力してもよい。通信端末30Aは一時コードとシークレットを情報処理システム50に送信することで、VRゴーグル89をテナントに登録する。VRゴーグル89が情報処理システム50に接続し、一時コードとシークレットを送信することで、認証を受ける。認証が成功すると、正式なVRゴーグルIDが交換され、VRゴーグルIDがテナントに登録される。VRゴーグル89もこのVRゴーグルIDを保持する。テナントに登録されたVRゴーグル89は、後述するユーザーaの操作に応じて仮想ルームに対応付けられる。スマートグラス88については詳細を説明するが、ユーザーaは撮像装置10又はVRゴーグル89と同様に登録できる。なお、一時コードとシークレットは認証情報の一例であって、他の情報を認証情報に用いてもよい。なお、撮像装置ID、VRゴーグルID、スマートグラスIDはそれぞれデバイスIDの一例であるため、デバイスIDと言い換えることができる。そのため、撮像装置10、VRゴーグル、スマートグラス以外のデバイスを登録する際にも同様の手順によってデバイスIDを仮想ルームやテナントとの関連付けに利用することができる。なお、デバイスIDは、デバイスの所有者に紐づく識別情報であってもよい。
【0171】
図21は、仮想ルームに撮像装置10を対応付けるための仮想ルーム対応付け画面(その1)260の一例を示す。VRゴーグル89、スマートグラス88の場合も画面構成は同じでよい。仮想ルーム対応付け画面(その1)260は、仮想ルームのリスト261を有している。仮想ルームのリスト261は、テナントに作成されている仮想ルームに基づいて仮想ルーム個別欄262~264を表示する。各仮想ルーム個別欄262~264は、リンク発行ボタン265と、入室ボタン266と、設定ボタン267と、仮想ルーム名称268と、を有する。リンク発行ボタン265は、仮想ルームへのリンク(招待するためのURL)とパスコードを発行するためのボタンである。入室ボタン266は仮想ルームにユーザーaが入室するためのボタンである。設定ボタン267は、仮想ルームに撮像装置10を対応付けるためのボタンである。仮想ルーム名称268は仮想ルーム情報記憶部5002に記憶されているものと同じである。したがって、ユーザーaは設定ボタン267を押下する。設定ボタン267の押下により、通信端末30Aは仮想ルーム対応付け画面(その2)270を表示する。
【0172】
また、仮想ルームにすでにデバイスが対応付けられている場合、仮想ルーム個別欄(図では仮想ルーム個別欄264)にデバイスの名称269が表示される。
【0173】
図22は、仮想ルーム対応付け画面(その2)270の一例を示す。なお、仮想ルーム対応付け画面(その2)270は仮想ルーム対応付け画面(その1)260にポップアップ表示されている。仮想ルーム対応付け画面(その1)260から仮想ルーム対応付け画面(その2)270への画面遷移は、情報処理システム50を経由しないが、経由する画面遷移も可能である。
【0174】
仮想ルーム対応付け画面(その2)270は、現在(すでに)、仮想ルームに対応付けられている撮像装置10の名称271(まだ登録されていないので図では未登録)と、接続ボタン272と、ストレージボタン273と、を有する。接続ボタン272は、仮想ルームにデバイスを対応付けるためにテナントに登録されているデバイスの一覧を対応付ける候補として表示させるボタンである。ストレージボタン273は当該仮想ルームに対応付けられている撮像装置10によって撮像された広視野画像や通常の画角の画像を保存するストレージ90の一覧を表示させるボタンである。ストレージ90の一覧には、仮想ルームに対応付けるストレージ90の一覧だけでなく、ストレージ90上のフォルダ等の特定の保存場所の一覧が含まれていてもよい。ユーザーが所定のストレージ90やストレージ90上のフォルダ等の特定の保存場所を選択することで、仮想ルームに対してストレージ90を対応付けることができる。このようにして対応付けたストレージ90の情報(ストレージ90にアクセスするためのアドレス情報やストレージ90上のフォルダ等の保存場所)は、仮想ルーム情報記憶部5002において仮想ルームIDと関連付けて記憶させることができる。接続ボタン272の押下により、通信端末30Aは仮想ルーム対応付け画面(その3)を表示する。
【0175】
通信端末30Aは情報処理システム50に仮想ルームIDを送信し、該仮想ルームが生成されているテナントに登録されているデバイスの名称(デバイスのID等も含む)、及び、仮想ルームに対応付けられているデバイスの名称(デバイスのID等も含む)を取得する。
【0176】
図23は、仮想ルーム対応付け画面(その3)280の一例を示す。仮想ルーム対応付け画面(その3)280は、現在(すでに)、仮想ルームに対応付けられている撮像装置10の名称281と、追加可能デバイス一覧282と、保存ボタン283と、を有している。ユーザーaは追加可能デバイス一覧282から仮想ルームに追加で対応付けたいデバイスを選択し、保存ボタン283を押下する。これにより、仮想ルームにデバイスが対応付けられる(仮想ルーム情報記憶部5002に撮像装置ID等のデバイスIDが登録される)。なお、
図23に示しているように、仮想ルームに対応付けられる撮像装置の数を制限してもよく、例えば上限が2台の場合に、仮想ルーム情報記憶部5002に既に登録されている撮像装置IDの数を参照することによって、追加で登録できるデバイスの残りの数を仮想ルーム対応付け画面(その3)に表示させてもよい。
【0177】
<撮像装置に対する広視野画像の送信開始処理>
以上で、撮像装置10等のデバイスが仮想ルームに対応付けられたが、ユーザーaがデバイスに対し画像の送信開始を操作する必要がある。
【0178】
VRゴーグル89とスマートグラス88については、ユーザーaがデバイス本体を操作して画像の送信をオン、オフする。これは、現在、VRゴーグル89とスマートグラス88については、通信システム1aに専用のアプリケーションが動作していないためである。VRゴーグル89とスマートグラス88においても通信システム1aに専用のアプリケーションが動作する場合、ユーザーaが遠隔から画像の送信をオン、オフできる。
【0179】
撮像装置10の場合、アプリケーションが有効になっていれば、ユーザーaが仮想ルームに入室してメニューから広視野画像の送信をオン、オフできる。
【0180】
図24は、通信端末30Aが表示する広視野画像送信制御ダイアログ290の一例である。広視野画像送信制御ダイアログ290は画像閲覧画面210にポップアップ表示されている。ユーザーaが通信端末30Aを操作して、撮像装置10を対応付けた仮想ルームに入室したものとする。広視野画像送信制御ダイアログ290は、この仮想ルームに対応付けられている撮像装置10の名称292を表示する。名称292の近くにトグルボタン291が表示されており、ユーザーaがトグルボタン291を操作して、撮像装置10による広視野画像の送信をオン(送信開始)又はオフ(送信停止)に設定できる。なお、トグルボタンによるオン又はオフの設定方法は一例であって、ユーザー操作の入力に応じて設定できればよい。例えば、ラジオボタンや所定のアイコンの選択、メニュー操作等によって設定してもよい。また、ユーザー操作を不要として、撮像装置10が入室してから自動で広視野画像の送信を開始してもよい。また、日時や入室したユーザーの人数や特定のユーザーが参加したことなどの所定の条件を予め定めておき、その条件を満たしたことを判断した場合に、広視野画像の送信を開始してもよい。
【0181】
更に、広視野画像送信制御ダイアログ290は、撮像装置10の各種撮影機能を設定するための設定ボタン293を表示する。この設定ボタン293が押下されると、
図27に示されるような撮影機能設定画面400が表示される。
図27は、撮影機能設定画面を示す図である。撮影機能設定画面400には、ユーザーの手動により露光の調整等の設定を行う手動設定モードと、撮像装置10が自動で露光の調整等を行う自動設定モードとの切り替えトグルボタン401が表示されている。
【0182】
自動設定モードは、外部から撮影装置10に対して撮影パラメータを送ることにより、撮影装置10が露出等の調整を行うモードであり、所謂、強制自動設定モードである。また、手動設定モードは、外部から撮影装置10に対して撮影パラメータを送らないため、撮影装置10の近くのユーザーが撮影装置10に直接触れるか又はリモコンで設定することで、自動設定モード(オートモード)と手動設定モード(マニュアルモード)を切り替えることができるモードである。なお、通信端末30において自動設定モードと手動設定モードを切り替えるタイミングで、通信端末30が情報処理システム50を介して撮影装置10に対し、自動設定モードか手動設定モードかを通知する。最初は、手動設定モードに設定されている。
【0183】
また、
図27では、紙面の都合上、露出(露光)の調整に関する例のみが示されているが、ホワイトバランス、ISO感度、シャッタースピード、焦点、ノイズ低減、DR補正、又はHDR合成に関する調整も可能である。また、ユーザーが右下の「保存」ボタン402を押下すると、設定内容が保存される。本実施形態では、自動設定モードに切り替えられた場合について、以下説明を続ける。
【0184】
通信端末30Aはトグルボタン291の操作による送信制御の設定情報を情報処理システム50に送信する。情報処理システム50は送信制御の設定情報に応じた送信開始要求又は送信停止要求を撮像装置10に送信する。
【0185】
図24(a)はトグルボタン291がオフの設定の状態を示す。このため、
図24(a)では広視野画像が表示されていない。一方、
図24(a)では、通信端末30Aが入室した時点で、通信端末30Aのカメラ9が撮像した通常の画角の画像がすでに共有されており、画像閲覧画面210に表示されている。
【0186】
図24(b)はトグルボタン291がオンの設定の状態を示す。トグルボタン291のオンにより、情報処理システム50が送信開始要求を撮像装置10に送信したため、撮像装置10が広視野画像の送信を開始した。このため、1つの仮想ルームで2つの画像が共有されるので、画像閲覧画面210が2つに分割される。また、オンの設定からオフの設定に変更した場合には、オフの設定情報を通信端末30Aが送信し、情報処理システム50がオフの設定情報の受信に応じて送信停止要求を撮像装置10に送信し、撮像装置10が広視野画像の送信を停止する。
【0187】
図25で説明したように、ユーザーが仮に現場にいる状況であっても、撮像装置10によってコード情報を撮像するといった簡易な操作によって、仮想ルームに撮像装置10を関連付けることができる。現場にいるユーザーはPC等を持たないこともあるため、予め発行しておいたコード情報と撮像装置10さえあれば、その場で関連付け処理を行うことができることは現場のユーザーにとって特に有用である。また、関連付け処理を予め実施しておけば、ユーザーは仮想ルームの選択等しなくとも撮像装置10を所定の仮想ルームに接続させることができ、送信の開始又は停止についても遠隔拠点から指示できるため、現場の作業に集中したいユーザーの負担を軽減することができる。したがって、事前準備の工程においても現場と遠隔拠点でのコミュニケーションを効率的に行えるシステムを提供することができる。
【0188】
<<仮想ルームへの撮像装置の登録手順>>
次に、
図25を参照して、
図18~
図24の一連の画面遷移で説明した仮想ルームへの撮像装置10の登録手順を説明する。
図25は、ユーザーaが仮想ルームに撮像装置10を登録する手順を示すシーケンス図の一例である。
【0189】
S11:まず、ユーザーaが通信端末30Aを情報処理システム50に接続させ、認証情報(ユーザーID,パスワード等)を入力して、ログインを要求する。通信端末30Aの受付部32が操作を受け付ける。
【0190】
S12:通信端末30Aの通信部31は認証情報を指定してログイン要求を情報処理システム50に送信する。情報処理システム50の通信部51は、ログイン要求を受信し、認証部55が指定された認証情報に基づいて認証を行う。ここでは認証が成功したものとする。また、この際に情報処理システム50はテナント情報記憶部5003を参照することで、認証されたユーザーIDに関連付けられたテナントIDを特定することができる。
【0191】
S13:ユーザー操作に応じて、情報処理システム50の画面生成部52はデバイス登録画面220を生成し、通信部51がデバイス登録画面220の画面情報を通信端末30Aに送信する。
【0192】
S14:通信端末30Aの通信部31がデバイス登録画面220の画面情報を受信し、表示制御部33が
図18に示したデバイス登録画面220を表示する。ユーザーaはデバイスの種類を選択し(ここでは撮像装置10(例えば全天球カメラ)が選択されたものとする)、次いで、
図19で示したように撮像装置10の名称、説明を入力する。受付部32が入力を受け付ける。
【0193】
S15:通信端末30Aの通信部31は、ユーザーaが入力した名称と説明を指定して、コード情報(例えば二次元コード)の要求を情報処理システム50に送信する。
【0194】
S16:情報処理システム50の通信部51は、コード情報(例えば二次元コード)の要求を受信する。通信グループ管理部56は、名称と説明と関連付けてURL(登録のための接続先)を生成し、URL、一時的なID及びパスワードを含むコード情報(例えば二次元コード)を生成する。情報処理システム50の通信部51はコード情報(例えば二次元コード)を通信端末30Aに送信する。通信端末30Aの通信部31がコード情報(例えば二次元コード)を受信し、
図19で示したように表示制御部33がコード情報(例えば二次元コード)を表示する。
【0195】
S17:次に、ユーザーaは仮想ルームに対応付けたい撮像装置10を操作して、コード情報(例えば二次元コード)を撮像する。撮像装置10の受付部12が操作を受け付ける。
【0196】
S18:撮像装置10の撮像処理部13はコード情報(例えば二次元コード)を含む撮像対象に対して撮像処理を行うことで画像データを生成し、解析部14が画像データを解析してURL、一時的なID及びパスワードを抽出する。これにより、登録要求部15が接続部16を経由してURLに接続し、一時的なID及びパスワードを指定して撮像装置10の登録要求を情報処理システム50に送信する。なお、
図20で説明した登録画面による登録方法を実施する場合は、コード情報を撮像しないため、撮像装置10がVRゴーグル89やスマートグラス88等の通信端末に置き換わり、S15~S17のステップは省略することができる。
【0197】
S19:情報処理システム50の通信部51は、一時的なID及びパスワードを受信し、認証部55が接続されたURLに関連付けられている一時的なID及びパスワードと一致するかどうかを判断する。ここでは一致したものとする。
【0198】
S20:情報処理システム50の通信グループ管理部56は、撮像装置10の登録が要求されているので、デバイスIDの一例として撮像装置IDを生成し、ユーザーaがログインした際に特定したテナントIDに対応するテナントに撮像装置IDを登録する。なお、撮像装置IDには名称や説明が関連付けられている。具体的には、通信グループ管理部56が、テナント情報記憶部5003を参照し、特定したテナントIDに関連付けられるテナント登録デバイスに撮像装置IDを追加して登録する。なお、ここでは通信グループ管理部56が撮像装置IDを生成して登録しているが、撮像装置10から受信した撮像装置IDを登録してもよい。なお、撮像装置10ではなくVRゴーグル89やスマートグラス88等の通信端末をテナントに登録する場合には、同様の手順でそれぞれに対応するデバイスIDをテナント情報記憶部5003に登録することができる。
【0199】
S21:情報処理システム50の通信部51は、撮像装置IDを撮像装置10に送信する。撮像装置10の接続部16が撮像装置IDを受信し、記憶部1000に保存する。
【0200】
S22:通信端末30Aには、情報処理システム50の通信部51から登録完了が通知され、これによりユーザーaが仮想ルームへの撮像装置10の対応付けを開始することができる。ユーザーaは仮想ルーム対応付け画面(その1)260を通信端末30Aに表示させ、テナントに登録した撮像装置10を対応付けたい仮想ルームを選択する。通信端末30Aの受付部32が選択を示す操作入力を受け付ける。具体的には、通信端末30Aの受付部32がユーザーaからの操作入力を受け付けることによって、表示制御部33が仮想ルーム対応付け画面(その1)260を表示させる。この際に、通信部31は画面の更新要求を情報処理システム50の通信部51へ送信してもよい。情報処理システム50は更新要求を受信すると、テナント情報記憶部5003を参照し、認証されたユーザーIDに関連付けられたテナントに登録された仮想ルームIDを特定する。さらに続けて、仮想ルーム情報記憶部5002を参照し、特定した仮想ルームIDに関連付けられた仮想ルーム名称を取得する。このようにして特定した仮想ルームID及び対応する仮想ルーム名称の情報(画面生成部52がこれらの情報に基づいて生成した画面の情報であってもよい)を情報処理システム50の通信部51は通信端末30Aへ送信する。通信端末30Aの通信部31は、仮想ルームID及び仮想ルーム名称の情報を受信し、受信した情報に基づいて表示制御部33が仮想ルーム対応付け画面(その1)260を更新表示することができる。なお、このような情報はユーザーIDに基づいて特定することができるため、認証後のS13で受信しておいてもよい。このようにして表示した仮想ルーム対応付け画面(その1)260に対してユーザーaからの選択を示す操作入力を受付部32が受け付けることによって、通信端末30Aが選択された仮想ルームIDを特定することができる。
【0201】
S23:次に、ユーザーaは仮想ルーム対応付け画面(その2)270を通信端末30Aに表示させ、デバイスを追加で仮想ルームに対応付けるために接続ボタン272を押下する。通信端末30Aの受付部32が押下を示す操作入力を受け付ける。具体的には、通信端末30Aの表示制御部33は、S22で特定した選択された仮想ルームIDに対応する仮想ルーム対応付け画面(その2)270を表示する。さらに、受付部32は、ユーザーaからデバイスを追加で仮想ルームに対応付ける指示を受け付ける(接続ボタン272の押下)。
【0202】
S24:S23における操作入力に応じて、通信端末30Aの通信部31は、仮想ルームに対応付けるデバイスの候補となるテナントに登録済みのデバイスと、ステップS22で選択された仮想ルームIDに既に対応付けられているデバイスの情報を情報処理システム50に要求する。
【0203】
S25:情報処理システム50の通信部51は、テナントに登録済みのデバイスと、選択された仮想ルームIDに対応付けられているデバイスの情報の要求を受信し、画面生成部52がテナントに登録済みのデバイスと、選択された仮想ルームIDに対応付けられているデバイスのデバイスIDを含む仮想ルーム対応付け画面(その3)280を生成する。情報処理システム50の通信部51は仮想ルーム対応付け画面(その3)280の画面情報を通信端末30Aに送信する。
【0204】
S26:通信端末30Aの通信部31が仮想ルーム対応付け画面(その3)280の画面情報を受信し、表示制御部33が仮想ルーム対応付け画面(その3)280を表示する。ユーザーaは仮想ルームに対応付けるデバイス(ここでは撮像装置10を例に説明する)を選択する。通信端末30Aの受付部32が選択を受け付け、選択されたデバイスのデバイスIDとして撮像装置IDが特定される。
【0205】
S27:通信端末30Aの通信部31は、ステップS22で選択された仮想ルームIDとS26で選択されたデバイスID(例えば撮像装置ID)を指定して、対応付け要求を情報処理システム50に送信する。
【0206】
S28:情報処理システム50の通信部51は、対応付け要求を受信し、通信グループ管理部56が仮想ルームにデバイス(例えば撮像装置10)を登録する。すなわち、通信グループ管理部56は、仮想ルーム情報記憶部5002を参照し、S27の要求で指定されている仮想ルームIDにデバイスID(例えば撮像装置ID)を関連付けて登録する。
【0207】
S29:仮想ルームにデバイスID(例えば撮像装置ID)が対応付けられたので、情報処理システム50の通信部51は、仮想ルームID,名称、説明を撮像装置10に送信する。情報処理システム50はプッシュ通知を利用してもよいし、撮像装置10がポーリングすることを利用して送信してもよい。撮像装置10の接続部16が仮想ルームID,名称、説明を受信し、記憶部1000に保存する。これにより、撮像装置10が広視野画像を送信する際は、撮像装置ID、仮想ルームID、名称、説明等を付加できる。撮像装置10以外のデバイスも同様の手順で仮想ルームに対応付けることができる。さらに続けて、情報処理システム50の通信部51は、通信端末30Aに対して対応付け完了を示す通知を送信してもよい。このステップ以降、仮想ルームに対して登録されたデバイス(撮像装置10)は、対応付けられた仮想ルームに接続することができる。ここでは、続けて撮像装置10が情報処理システム50に対して、S29で受信した仮想ルームIDを指定して仮想ルームに接続要求を送信することで、仮想ルームに接続したものとして説明を続けるが、撮像装置10が仮想ルームに接続するタイミングはユーザーの操作によって変更することができる。
【0208】
S30:通信端末30A及び情報処理システム50は、
図17で説明した入室処理を行うことで、通信端末30Aがデバイス(撮像装置10)の対応付けを行った仮想ルームに入室する。
【0209】
S31:入室後、ユーザーaが画像閲覧画面210において仮想ルームに対応付けられた撮像装置10のトグルボタン291をオンする。通信端末30Aの受付部32がオンを受け付ける。
【0210】
S32:通信端末30Aの通信部31は、デバイスID(撮像装置ID)を指定して広視野画像の送信開始要求を情報処理システム50に送信する。なお、ユーザーaが直接、撮像装置10のボタンを操作して、広視野画像の送信を開始してもよい。なお、ユーザーaの操作により、通信端末30Aの通信部31が、送信停止要求を情報処理システム50に送信する場合もある。
【0211】
S33:情報処理システム50の通信部51は、送信開始要求を受信し、デバイスID(撮像装置ID)で特定される撮像装置10に送信開始を要求する。情報処理システム50はプッシュ通知を利用してもよいし、撮像装置10がポーリングすることを利用してもよい。撮像装置10の接続部16が送信開始を受信し、撮像処理部13が撮像を開始する。画像送信制御部18が接続部16を介して決まったFPS又は帯域に応じたFPSで広視野画像の送信を繰り返す。したがって、仮想ルームに入室した通信端末30は拠点Aの状況を画像閲覧画面210にリアルタイムに表示できる。
【0212】
<広視野画像等の配信>
図26を参照して、広視野画像や通常の画角の画像が共有される流れを説明する。
図26は、広視野画像が共有される流れを説明するシーケンス図の一例である。
図26では、通信端末30A、30Bが
図17で説明した入室処理を実行し、仮想ルームに入室ずみである。また、通信端末30Aは通常の画角のカメラ9を有し、通信端末30Bと共有されている。通信端末30Aのカメラ9でなく、仮想ルームに対応付けられたスマートグラス88が撮像した画像等が共有されてもよい。また、
図26では、
図25で説明した登録手順によって、撮像装置10が同じ仮想ルームに接続済みである。
【0213】
S41:通信端末30Aの撮像部34は周囲の撮像を行い、通信部31は入室している仮想ルームIDを指定して撮像で得た画像を含む映像及び音声を情報処理システム50に送信する。
【0214】
S42,S43:情報処理システム50の通信部51が画像を含む映像及び音声を受信すると、画像配信制御部54が同じ仮想ルームに入室している通信端末30A,30BのIPアドレスを仮想ルーム情報記憶部5002から取得し、通信部51を介して画像を含む映像及び音声を送信する。なお、
図26では、通信端末30Aの通信部31が通常の画角の画像を情報処理システム50から受信して表示しているが、撮像部34が撮像した通常の画角の画像を受信することなく表示してもよい。
【0215】
S44:次に、撮像装置10が送信開始の設定に基づく送信開始要求に応じて、撮像処理部13は広視野画像の撮像を行い、画像送信制御部18が接続部16を介して自機が登録されている仮想ルームID、撮像装置ID、名称、説明を指定して広視野画像を含む映像及び音声を、情報処理システム50に送信する。
【0216】
S45,S46:情報処理システム50の通信部51が広視野画像を含む映像及び音声を受信すると、画像配信制御部54が同じ仮想ルームに入室している通信端末30A,30BのIPアドレスを仮想ルーム情報記憶部5002から取得し、通信部51を介して広視野画像を含む映像及び音声を送信する。
【0217】
S47:次に、カメラ9を備えた通信端末30Cが
図17で説明した入室処理を実行することで新しく仮想ルームに入室した。
【0218】
S48:通信端末30Cの通信部31は通常の画角の画像を含む映像及び音声を情報処理システム50に送信する。
【0219】
S49~S51:情報処理システム50の通信部51は通信端末30Cから通常の画角の画像を含む映像及び音声を受信し、同じ仮想ルームに入室している通信端末30A~30CのIPアドレスを仮想ルーム情報記憶部5002から取得し、画像配信制御部54が通常の画角の画像を含む映像及び音声を送信する。
【0220】
S52:また、情報処理システム50の通信部51は同じ仮想ルームに入室した通信端末30Cに対しても、広視野画像を含む映像及び音声を送信する。
【0221】
このように、同じ仮想ルームに入室したユーザーa,bは、仮想ルームに対応付けられた撮像装置10が撮像する広視野画像を含む映像をリアルタイムに共有できる。なお、
図26で示した、各画像の送信順は一例であり、広視野画像が先に共有されてもよいし、通常の画角の画像が先に共有されてもよい。
【0222】
ここで、スマートグラス88とVRゴーグル89について補足する。スマートグラス88は通常の画角のカメラと表示機能を有している。スマートグラス88が保持するカメラが撮像により得た通常の画角の画像は、カメラ8,9と同様に配信される。スマートグラス88が保持する表示機能は、通常のディスプレイと同様に平面なので、ユーザーが指示する視点で広視野画像の一部が表示される。VRゴーグル89は表示機能を有している(通常の画角のカメラをさらに有していてもよい)。スマートグラス88が保持する表示機能は、ユーザーの頭部の向きによって決まる視点の広視野画像を投影するので、ユーザーの頭部の向きに応じた視点で広視野画像における所定領域Tの所定領域画像Qが表示される。ユーザーは、スマートグラス88やVRゴーグル89で広視野画像を閲覧中に、閲覧中の視点情報を指定した撮像要求を情報処理システム50に送信できる。
【0223】
<撮影機能を自動調整する処理>
続いて、
図28乃至
図30を参照して、撮影機能を自動調整する処理について説明する。なお、
図28乃至
図30の処理は、
図27において、自動設定モードが設定されている場合の処理である。
図28は、撮影機能を調整する処理(その1)を示すシーケンス図である。
図29において、(a)は広視野画像(全天球画像)を示す図、(b)は所定領域T1の所定領域画像を示す図、(c)撮影設定調整後の所定領域画像を示す図である。
【0224】
<<撮影機能を調整する処理(その1)>>
S201:ユーザーが、自己の通信端末30のディスプレイ306上に、撮像装置10から情報処理システム50を経由して配信された広視野画像の所定領域である所定領域画像を表示中に、画面操作により仮想的な視点を移動させる。これにより、受付部32は、視点の移動を受け付け、表示制御部33がディスプレイ306上に、例えば、
図29(b)に示すような所定領域画像を表示させる。この所定領域画像は、
図29(a)に示すような広視野画像の所定領域T1の画像である。このように、
図29(b)の所定領域画像は、ぼやけていて画質が適正ではない。
S202:通信端末30のパラメータ生成部41は、ディスプレイ306に表示されている所定領域画像の画質が適正であるかを判断することで、適正でない場合に、上述の適正化するための撮影パラメータを生成する。ここでは、適正でない場合について説明を続ける。
S203:通信端末30の通信部31は、情報処理システム50に対して、撮像装置10の撮影機能の調整要求を送信する。この要求には、ステップS202で生成された撮影パラメータが含まれている。これにより、情報処理システム50の通信部51は、撮影機能の調整要求を受信する。
S204:情報処理システム50の通信部51は、画像管理情報記憶部5001に記憶されている画像管理情報を参考に、要求元の通信端末30と同じ仮想ルームに入っている撮像装置10に対して、撮影機能の調整要求を転送する。これにより、撮像装置10は、撮影機能の調整要求と共に撮影パラメータを受信する。
S205:撮像装置10の調整部21は、ステップS205によって受信された撮影パラメータを用いて、現在、撮影して情報処理システム50に送信中の広視野画像の画質を調整する。この場合、調整部21は、撮像制御ユニット105に対して、調整内容を指示する。なお、調整部21は、所定領域画像の画質が適正化するように調整するが、調整の対象は送信する広視野画像の所定領域ではなく、広視野画像全体である。このように、調整部21は、所定領域の画質が適正化するように広視野画像を調整するため、広視野画像の所定領域以外の領域の画質が却って悪くなる場合がある。
【0225】
以上により、撮像装置10によって画質の調整後に送信される広視野画像が、情報処理システム50を介して通信端末30に配信されると、通信端末30では、表示制御部33がディスプレイ306上に、
図29(c)に示すように、画質が適正化された所定領域画像を表示することができる。
【0226】
<<撮影機能を調整する処理(その2)>>
続いて、
図30を用い、
図28の処理の変形例として、撮影機能を調整する処理(その2)について説明する。
S301:上記ステップS201と同様に、ユーザーが、自己の通信端末30のディスプレイ306上に、撮像装置10から情報処理システム50を経由して配信された広視野画像の所定領域である所定領域画像を表示中に、画面操作により仮想的な視点を移動させる。これにより、受付部32は、視点の移動を受け付け、表示制御部33がディスプレイ306上に、例えば、
図29(b)に示すような所定領域画像を表示させる。この所定領域画像は、
図29(a)に示すような広視野画像の所定領域T1の画像である。このように、
図29(b)の所定領域画像は、ぼやけていて画質が適切ではない。
S302:通信端末30の通信部31は、情報処理システム50に対して、現在表示中の所定領域画像である所定領域を特定するための視点情報を送信する。この場合、表示中の所定領域画像の画質が適正であるか否かは関係なく、視点情報が表示される。これにより、情報処理システム50の通信部51は、視点情報を受信する。
S303:情報処理システム50では、パラメータ生成部61が、現在配信中の広視野画像において、ステップS302で受信された視点情報で特定される所定領域の画質が適正であるかを判断することで、適正でない場合には適正化するための撮影パラメータを生成する。
S304,S305:上述のS204,S205と同様の処理であるため、説明を省略する。
【0227】
以上により、撮像装置10によって画質の調整後に送信される広視野画像が、情報処理システム50を介して通信端末30に配信されると、通信端末30では、表示制御部33がディスプレイ306上に、
図29(c)に示すように、画質が適正化された所定領域画像を表示することができる。
【0228】
<遠隔医療における通信システムの適用例>
図31は、通信システムが遠隔医療に適用された遠隔コミュニケーションの一例を説明する図である。
図32は、遠隔医療の場合において仮想ルームに撮像装置を対応付けるための仮想ルーム対応付け画面の一例を示す図である。
【0229】
なお、この場合の通信システム1bの説明において、
図31と
図1との相違を説明する。
図31の拠点Aは手術室であるが、(1)~(6)の処理の流れについては
図1と同様でよい。
図31において、患者は手術台355に乗せられ、医師等の医療従事者による手術を受ける。医療従事者(ユーザーに相当する)は鉗子やメスなど各種の術具354を使用して、患者を手術する。また、医療従事者はスマートグラス88を装着でき、医療従事者の術野の画像を通信ネットワークNに送信できる。また、手術室には、術場カメラ351、術野カメラ352、内視鏡353など、各種のカメラが配置される。手術室の全てのカメラ及びスマートグラス88は仮想ルームと対応付けられる。
【0230】
手術室には、患者のバイタルや医療機器の動作状態等をモニターするメインユニット356が配置される。メインユニット356が本実施形態の通信端末30に相当する。手術室にある通信端末30(メインユニット356)は
図1の機能に加えて、内視鏡353や術野カメラ352の映像を受信する機能も備えていてもよい。通信端末30は受信した映像をディスプレイ306に表示できるし、情報処理システム50に通信端末30の拠点の映像として送信することができる。操作パネル357は各種操作を受け付ける入力インターフェースであって、医療従事者が手術室にある機器を、操作パネル357を介して操作できるようにしてもよい。また、内視鏡353、術場カメラ351及び術野カメラ352は通信端末30を介さずに直接、情報処理システム50と通信してもよい。
【0231】
また、通信端末30は電子カルテシステムの機能を備えていてもよいし、電子カルテシステムと通信する機能を備えていてもよい。通信端末30はディスプレイ306に電子カルテの情報を表示してもよい。
【0232】
図32は、遠隔医療の場合において仮想ルームに撮像装置を対応付けるための仮想ルーム対応付け画面860の一例を示す図である。
図32の説明では主に
図21との相違を説明する。
【0233】
遠隔医療の場合、仮想ルーム対応付け画面860には、例えば遠隔で行われる手術や診察に関連付けられた仮想ルーム861の一覧が表示される。拠点Aには全天球カメラである撮像装置10を含む医療用カメラが対応付けられる。医療用カメラは、内視鏡(T111)、手術室内で術野撮像に用いる術場カメラ、顕微鏡画像を撮像するカメラ等を含む。
【0234】
<主な効果>
以上説明したように、本実施形態の通信システムは、広視野画像における所定領域である所定領域画像を表示する場合に、視点情報を用いて所定領域を特定することで、できるだけ所定領域画像の画質を適正化することができるという効果を奏する。
【0235】
<その他の適用例>
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【0236】
例えば、
図13などの構成例は、情報処理システム50、撮像装置10、及び、通信端末30による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本発明が制限されることはない。情報処理システム50、撮像装置10、通信端末30の処理は、処理内容に応じてさらに多くの処理単位に分割することもできる。また、1つの処理単位がさらに多くの処理を含むように分割することもできる。
【0237】
上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)や従来の回路モジュール等のデバイスを含むものとする。
【0238】
また、上述の装置群は、本明細書に開示された実施形態を実施するための複数のコンピューティング環境のうちの1つを示すものにすぎない。ある実施形態では、情報処理システム50は、サーバクラスタといった複数のコンピューティングデバイスを含む。複数のコンピューティングデバイスは、ネットワークや共有メモリなどを含む任意のタイプの通信リンクを介して互いに通信するように構成されており、本明細書に開示された処理を実施する。
【0239】
さらに、情報処理システム50は、開示された処理ステップ、例えば
図25、
図26等を様々な組み合わせで共有するように構成できる。例えば、所定のユニットによって実行されるプロセスは、情報処理システム50が有する複数の情報処理装置によって実行され得る。また、情報処理システム50は、1つのサーバ装置にまとめられていても良いし、複数の装置に分けられていても良い。
【符号の説明】
【0240】
1a、1b 通信システム
10 撮像装置
11 通信部(画像送信部の一例、パラメータ受信部の一例)
21 調整部
30 通信端末(録画後に再生表示する場合は「表示端末」ともいう)
31 通信部((第1の/第2の)画像受信部の一例、(第1の)パラメータ送信部の一例、情報送信部の一例)
32 受付部
33 表示制御部
50 情報処理システム
51 通信部((第2の/第1の)画像受信部の一例、パラメータ受信部の一例、情報受信部の一例、(第2の)パラメータ送信部の一例、画像配信制御部の一例)
306 ディスプレイ(表示部の一例)
【先行技術文献】
【特許文献】
【0241】