特許 7352762 情報処理システム、情報処理方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2023-09-20

(45)【発行日】2023-09-29

(54)【発明の名称】情報処理システム、情報処理方法、プログラム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20230921BHJP

【ＦＩ】

H04N7/18 U

【請求項の数】 15

(21)【出願番号】P 2023084570

(22)【出願日】2023-05-23

【審査請求日】2023-05-26

【早期審査対象出願】

(73)【特許権者】

【識別番号】515029558

【氏名又は名称】セーフィー株式会社

(74)【代理人】

【識別番号】110001416

【氏名又は名称】弁理士法人信栄事務所

(72)【発明者】

【氏名】大場 悠介

(72)【発明者】

【氏名】江守 巧

(72)【発明者】

【氏名】土山 裕介

(72)【発明者】

【氏名】坂元 宏範

【審査官】長谷川 素直

(56)【参考文献】

【文献】登録実用新案第３２３４０６１（ＪＰ，Ｕ）

【文献】特開２０２２－４２３０３（ＪＰ，Ａ）

【文献】特開２０２２－４０９８１（ＪＰ，Ａ）

【文献】特開２０１５－７０４８３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ ２３／００

Ｈ０４Ｎ ７／１４－１７／１５

Ｈ０４Ｎ ２１／００－２１／８５８

Ｇ０８Ｂ ２５／００

Ｇ０６Ｑ ５０／００

(57)【特許請求の範囲】

【請求項1】

撮像装置で撮影された映像を情報処理装置においてビューアに表示する情報処理システムであって、
建設現場の遠隔臨場を行うための遠隔臨場モードのＯＮ／ＯＦＦが切り替え可能であり、
前記遠隔臨場モードがＯＮの場合、前記情報処理装置のユーザの撮影を許可するためのオブジェクトを前記ビューアに表示し、
前記オブジェクトを介して前記ユーザの撮影が許可された場合、前記ビューアに前記ユーザの映像を表示する、
情報処理システム。

【請求項2】

前記情報処理システムは、
前記遠隔臨場モードがＯＦＦの場合、前記オブジェクトを表示しない、
請求項１に記載の情報処理システム。

【請求項3】

前記情報処理システムは、
初期設定における前記遠隔臨場モードはＯＦＦである、
請求項１に記載の情報処理システム。

【請求項4】

前記情報処理システムは、
前記撮像装置ごとに、前記遠隔臨場モードのＯＮ／ＯＦＦを切り替え可能である、
請求項１に記載の情報処理システム。

【請求項5】

前記情報処理システムは、
前記遠隔臨場モードのＯＮ／ＯＦＦの切り替えボタンの表示の有無を設定可能である、
請求項１に記載の情報処理システム。

【請求項6】

前記情報処理システムは、
前記遠隔臨場モードがＯＮの場合、前記撮像装置で撮影された前記映像の時間情報、及び前記撮像装置の位置情報の少なくとも一方を前記ビューアに表示する、
請求項１に記載の情報処理システム。

【請求項7】

前記情報処理システムは、
前記撮像装置により撮影された前記映像を、サーバを介して前記情報処理装置に送信し、
前記ユーザの映像を、前記サーバ、または、前記情報処理装置に送信しない、
請求項１に記載の情報処理システム。

【請求項8】

前記情報処理システムは、
情報処理装置の内蔵カメラが使用不可の場合、前記遠隔臨場モードをＯＮに切り替え不可とする、
請求項１に記載の情報処理システム。

【請求項9】

前記情報処理システムは、
前記建設現場の作業員により前記撮像装置が操作される、
請求項１に記載の情報処理システム。

【請求項10】

前記情報処理システムは、
前記ユーザが前記建設現場の監督員である、
請求項１に記載の情報処理システム。

【請求項11】

前記情報処理システムは、
前記撮像装置と前記情報処理装置を含むグループ通話が可能であり、
前記グループ通話中でない場合、前記遠隔臨場モードのＯＮ／ＯＦＦに関わらず、前記オブジェクトを前記ビューアに表示しない、
請求項１に記載の情報処理システム。

【請求項12】

前記情報処理システムは、
ユーザごとに権限を設定することが可能であり、
前記ユーザが現場監督員の権限を有さない場合、前記遠隔臨場モードのＯＮ／ＯＦＦに関わらず、前記オブジェクトを前記ビューアに表示しない、
請求項１に記載の情報処理システム。

【請求項13】

前記情報処理システムは、
ライブ映像と過去の映像を表示することが可能であり、
前記過去の映像を表示している場合、前記ビューアに前記ユーザの映像を表示しない、
請求項１に記載の情報処理システム。

【請求項14】

情報処理装置によって実行される情報処理方法であって、
前記情報処理装置は、通信ネットワークを介してサーバに通信可能に接続され、建設現場の遠隔臨場を行うための遠隔臨場モードのＯＮ／ＯＦＦが切り替え可能であり、
前記サーバは、通信ネットワークを介して撮像装置に通信可能に接続され、
前記情報処理方法は、
前記遠隔臨場モードがＯＮの場合、前記情報処理装置のユーザの撮影を許可するためのオブジェクトをビューアに表示するステップと、
前記オブジェクトを介して前記ユーザの撮影が許可された場合、前記ビューアに前記ユーザの映像を表示するステップと、
を含む、
情報処理方法。

【請求項15】

請求項１４に記載の情報処理方法を、前記情報処理装置に実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理システム及び情報処理方法に関する。さらに、本開示は、当該情報処理方法をコンピュータに実行させるためのプログラムに関する。

【背景技術】

【0002】

近年、国土交通省等が関与していることもあり、建設現場の「遠隔臨場」が広まりつつある。
「遠隔臨場」とは、建設現場に固定カメラや作業員用のウェアラブルカメラ等を導入し、それらを介して取得された建設現場の映像を監督員が情報端末等で確認することで、遠隔地から臨場を行うものである。国土交通省の定義によれば、「遠隔臨場」とは、「材料確認」、「段階確認」、「立会」を遠隔で行うこととされている。

【0003】

遠隔臨場の実施要領については、国土交通省が基本的な事項を定めているところ、詳細は建設工事の発注者である公共機関や地方自治体等に委ねられている。その中で、例えば、建設工事の発注者の実施要領にて「現場と立合者の双方が映った画面を、確認、検査及び立ち合いを行った記録として保存する。」と要求しているところもあり、カメラシステムの対応が急務となっている。

【0004】

例えば、特許文献１では、遠隔臨場に対応した情報処理システムが開示されている。

【先行技術文献】

【特許文献】

【0005】

【文献】実登３２３４０６１号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、特許文献１に開示された情報処理システムは、遠隔臨場用の専用端末等から構成される専用システムであるため、当該システムを構築するのに多大なコストや時間がかかってしまう恐れがある。

【0007】

そこで、例えば、作業員が携帯するウェアラブルカメラで撮影した映像を監督員用端末においてビューアで表示するような既存システムがある場合、当該既存システムを用いて、上述した遠隔臨場の要求に対応することが考えられる。

【0008】

具体的には、監督員用端末においてビューアとＷｅｂ会議システムを立ち上げ、作業員が携帯するウェアラブルカメラで撮影した映像をビューアで表示した状態で、その画面をＷｅｂ会議システムの画面共有にて表示するとともに、監督員用端末のカメラで監督員の顔を撮影して、Ｗｅｂ会議システムの会議参加者として表示する、という方法が考えられる。この状態でスクリーンショットすることにより、建設現場の映像と監督員の顔を同時に含む画像データを取得できる。

【0009】

しかしながら、当該方法では、ビューアとＷｅｂ会議システムを同時に立ち上げる必要があり、監督員用端末の処理負荷が大きくなってしまう。また、煩雑な画面操作が要求されるため、監督員のＩＴリテラシーレベル等によっては、所望の画像データを取得できない可能性もある。

【0010】

本開示は、撮像装置で撮影した映像を情報処理装置においてビューアで表示する、遠隔臨場の要求に適切に対応可能な情報処理システム、情報処理方法、プログラムを提供することを目的とする。

【課題を解決するための手段】

【0011】

本開示の一態様に係る情報処理システムは、撮像装置で撮影された映像を情報処理装置においてビューアに表示する。当該情報処理システムは、建設現場の遠隔臨場を行うための遠隔臨場モードのＯＮ／ＯＦＦが切り替え可能であり、前記遠隔臨場モードがＯＮの場合、前記情報処理装置のユーザの撮影を許可するためのオブジェクトを前記ビューアに表示し、前記オブジェクトを介して前記ユーザの撮影が許可された場合、前記ビューアに前記ユーザの映像を表示する。

【0012】

上記構成によれば、情報処理装置におけるビューア内で、撮像装置で撮影された映像を表示し、かつ、遠隔臨場モードのＯＮ／ＯＦＦを容易に切り替えられる。これにより、情報処理装置の処理負荷を抑制し、簡易な画面操作で遠隔臨場の要求に適切に対応できる。

【0013】

また、前記情報処理システムは、前記遠隔臨場モードがＯＦＦの場合、前記オブジェクトを表示しなくてもよい。

【0014】

上記構成によれば、遠隔臨場モードがＯＦＦの場合、オブジェクト及びユーザの映像を表示しないことで、ビューア内における撮像装置で撮影された映像の視認性の低減を抑制できる。

【0015】

また、前記情報処理システムは、初期設定における前記遠隔臨場モードはＯＦＦであってもよい。

【0016】

上記構成によれば、初期設定では、遠隔臨場モードをＯＦＦにしてオブジェクト及びユーザの映像を表示しないことで、ビューア内における撮像装置で撮影された映像の視認性の低減を抑制できる。

【0017】

また、前記情報処理システムは、前記撮像装置ごとに、前記遠隔臨場モードのＯＮ／ＯＦＦを切り替え可能であってもよい。

【0018】

上記構成によれば、遠隔臨場モードにする必要がある撮像装置のみ遠隔臨場モードをＯＮにすることが可能となり、遠隔臨場モードにする必要がない撮像装置については、遠隔臨場モードをＯＦＦにしてオブジェクト及びユーザの映像を表示しないことで、ビューア内における撮像装置で撮影された映像の視認性の低減を抑制できる。

【0019】

また、前記情報処理システムは、前記遠隔臨場モードのＯＮ／ＯＦＦの切り替えボタンの表示の有無を設定可能であってもよい。

【0020】

上記構成によれば、遠隔臨場モードにする必要がない撮像装置については、遠隔臨場モードのＯＮ／ＯＦＦの切り替えボタンの表示を行わないことで、ビューア内における撮像装置で撮影された映像の視認性の低減を抑制できる。

【0021】

また、前記情報処理システムは、前記遠隔臨場モードがＯＮの場合、前記撮像装置で撮影された前記映像の時間情報、及び前記撮像装置の位置情報の少なくとも一方を前記ビューアに表示してもよい。

【0022】

上記構成によれば、遠隔臨場モードにおいて、撮像装置で撮影された映像の時間や場所をビューア上で特定することができる。

【0023】

また、前記情報処理システムは、前記撮像装置により撮影された前記映像を、サーバを介して前記情報処理装置に送信し、前記ユーザの映像を、前記サーバ、または、前記情報処理装置に送信しなくてもよい。

【0024】

上記構成によれば、撮像装置により撮影された映像を、サーバを介して情報処理装置に送信することで、遠隔臨場の要求に対応することが可能となる。また、遠隔臨場の要求に対応するためにはユーザの映像は情報処理装置に表示すれば十分であるため、ユーザの映像を、サーバ、または、情報処理装置に送信しないことで、個人情報の流出、サーバの負荷の増大を抑制できる。

【0025】

また、前記情報処理システムは、情報処理装置の内蔵カメラが使用不可の場合、前記遠隔臨場モードをＯＮに切り替え不可としてもよい。

【0026】

上記構成によれば、情報処理装置の内蔵カメラが使用不可の場合、オブジェクトを表示しないことで、ビューア内における撮像装置で撮影された映像視認性の低減を抑制できる。

【0027】

また、前記情報処理システムは、前記建設現場の作業員により前記撮像装置が操作されてもよい。

【0028】

また、前記情報処理システムは、前記ユーザが前記建設現場の監督員であってもよい。

【0029】

情報処理装置によって実行される情報処理方法であって、前記情報処理装置は、通信ネットワークを介してサーバに通信可能に接続され、建設現場の遠隔臨場を行うための遠隔臨場モードのＯＮ／ＯＦＦが切り替え可能である。前記サーバは、通信ネットワークを介して撮像装置に通信可能に接続される。前記情報処理方法は、前記遠隔臨場モードがＯＮの場合、前記情報処理装置のユーザの撮影を許可するためのオブジェクトを前記ビューアに表示するステップと、前記オブジェクトを介して前記ユーザの撮影が許可された場合、前記ビューアに前記ユーザの映像を表示するステップと、を含む。

【0030】

上記構成によれば、情報処理装置におけるビューア内で、撮像装置で撮影された映像を表示し、かつ、遠隔臨場モードのＯＮ／ＯＦＦを切り替えられる。これにより、情報処理装置の処理負荷を抑制し、簡易な画面操作で遠隔臨場の要求に適切に対応できる。

【0031】

また、前記情報処理方法を前記情報処理装置に実行させるためのプログラムが提供されてもよい。

【発明の効果】

【0032】

本開示によれば、撮像装置で撮影した映像を情報処理装置においてビューアで表示する、遠隔臨場の要求に適切に対応可能な情報処理システム、情報処理方法、プログラムを提供することができる。

【図面の簡単な説明】

【0033】

【図1】本開示の実施形態に係る情報処理システムの構成の一例を示す図である。

【図2】カメラのハードウェア構成の一例を示す図である。

【図3】サーバのハードウェア構成の一例を示す図である。

【図4】ユーザ端末のハードウェア構成の一例を示す図である。

【図5】本実施形態に係る情報処理システムによって実行される一連の処理を説明するためのシーケンス図である。

【図6】遠隔臨場モードがＯＦＦに設定されている場合のユーザ端末に表示される映像表示画面の一例を示す図である。

【図7】遠隔臨場モードがＯＮに設定されていて、ユーザの映像を表示しない場合のユーザ端末に表示される映像表示画面の一例を示す図である。

【図8】遠隔臨場モードがＯＮに設定されていて、ユーザの映像を表示する場合のユーザ端末に表示される映像表示画面の一例を示す図である。

【図9】ユーザ端末の設定画面の一例を示す図である。

【発明を実施するための形態】

【0034】

以下、本実施形態について図面を参照しながら説明する。なお、実施形態の説明において既に説明された部材と同一の参照番号を有する部材については、説明の便宜上、その説明は省略する。また、本図面に示された各部材の寸法は、説明の便宜上、実際の各部材の寸法とは異なる場合がある。

【0035】

図１は、本開示の実施形態に係る情報処理システムの構成の一例を示す図である。図１に示すように、情報処理システム１は、撮像装置であるカメラ２と、サーバ３と、ユーザ端末４とを備える。これらは通信ネットワーク５に接続されている。例えば、カメラ２は、通信ネットワーク５を介してサーバ３に通信可能に接続されているライブカメラである。また、カメラ２は、建設現場の作業員Ｏの身体の一部に装着されているウェアラブルカメラである。なお、カメラ２は、車両、無人航空機（ドローン）等の移動体に搭載されているモバイルカメラであってもよいし、建設現場に設置されている固定カメラであってもよい。また、複数台のカメラ２が通信ネットワーク５を介してサーバ３に通信可能に接続されてもよい。ユーザ端末４は、通信ネットワーク５を介してサーバ３に通信可能に接続されている。

【0036】

通信ネットワーク５は、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネット、無線コアネットワークのうちの少なくとも一つによって構成されている。

【0037】

次に、図２を参照してカメラ２のハードウェア構成について以下に説明する。カメラ２は、建設現場を示す映像を撮影すると共に、当該撮影された映像を、図１に示す通信ネットワーク５を介してサーバ３に送信するように構成されている。図２に示すように、カメラ２は、制御部２０と、記憶装置２１と、位置情報取得部２２と、ＲＴＣ（Ｒｅａｌ Ｔｉｍｅ Ｃｌｏｃｋ）２３と、通信部２４と、入力操作部２５と、撮像部２６と、音声入出力部２７とを備える。これらの要素は通信バス２８に接続されている。また、カメラ２にはバッテリ（図示せず）が内蔵されてもよい。

【0038】

制御部２０は、メモリとプロセッサを備えている。メモリは、コンピュータ可読命令（プログラム）を記憶するように構成されている。例えば、メモリは、各種プログラム等が格納されたＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やプロセッサにより実行される各種プログラム等が格納されるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成される。プロセッサは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）及びＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）のうちの少なくとも一つにより構成される。プロセッサは、記憶装置２１又はＲＯＭに組み込まれた各種プログラムから指定されたプログラムをＲＡＭ上に展開し、ＲＡＭとの協働で各種処理を実行するように構成されてもよい。

【0039】

記憶装置２１は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、フラッシュメモリ等の記憶装置（ストレージ）であって、プログラムや各種データ（映像データや位置情報等）を格納するように構成されている。位置情報取得部２２は、カメラ２の現在位置（経度θ、緯度φ）に関する情報を取得するように構成されており、例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信機である。例えば、位置情報取得部２２は、所定の時間間隔（例えば、１０秒）毎にカメラ２の現在位置に関する情報を取得してもよい。

【0040】

ＲＴＣ２３は、現在時刻を示す情報を取得するように構成されている。制御部２０は、ＲＴＣ２３により取得された現在時刻ｔを示す時間情報と、位置情報取得部２２により取得されたカメラ２の現在位置Ｘ（経度θ、緯度φ）を示す位置情報とを互いに関連付けする。

【0041】

通信部２４は、カメラ２を通信ネットワーク５に接続するように構成されている。通信部２４は、例えば、基地局や無線ＬＡＮルータ等の外部機器と無線通信するための無線通信モジュールを含んでいる。無線通信モジュールは、送受信アンテナと、信号処理回路とを備える。無線通信モジュールは、Ｗｉ－Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信規格に対応した無線通信モジュールであってもよいし、ＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ）を用いた第Ｘ世代移動体通信システム（例えば、ＬＴＥ等の第４世代移動通信システム）に対応する無線通信モジュールであってもよい。

【0042】

入力操作部２５は、操作者（作業員Ｏ）の入力操作を受け付けると共に、操作者の入力操作に応じた操作信号を生成するように構成されている。撮像部２６は、カメラ２の周辺環境（例えば、建設現場）を示す映像を撮像するように構成されている。特に、撮像部２６は、カメラ２の周辺環境を示す映像信号を生成するように構成されており、光学系と、イメージセンサと、アナログ処理回路とを備える。光学系は、例えば、光学レンズと、カラーフィルタとを含む。イメージセンサは、ＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）又はＣＭＯＳ（相補型ＭＯＳ）等によって構成される。アナログ処理回路は、イメージセンサによって光電変換された映像信号（アナログ信号）を処理するように構成され、例えば、増幅器及びＡＤ変換器を含む。制御部２０は、撮像部２６から受信した映像信号（デジタル信号）に基づいて映像データ（画像データの一例）を生成する。映像データのフレームレートは、例えば、３０ｆｐｓである。

【0043】

音声入出力部２７は、カメラ２の周囲の音声が入力されて音声信号を生成し、ユーザ端末４等の通信先から受信する音声信号をアナログ音声データに変換して出力するように構成されている。音声入出力部２７は、例えば、マイクロフォンとスピーカーを含む。

【0044】

カメラ２は、通信ネットワーク５を介してカメラ２の周辺環境を示す映像（映像データストリーム）をサーバ３にリアルタイムに送信することができる。また、カメラ２は、通信ネットワーク５を介してカメラ２の時間情報及び位置情報をサーバ３に送信してもよい。

【0045】

次に、図３を参照してサーバ３のハードウェア構成について以下に説明する。サーバ３は、カメラ２に関連するカメラ情報テーブルと、映像データと、ユーザに関連するユーザ情報テーブルとを管理する管理サーバとして機能する。カメラ情報テーブルは、１台または複数台のカメラ２のネットワークアドレス（例えば、ＩＰアドレス）、識別情報、設定情報、及び位置情報を含んでもよい。ユーザ情報テーブルは、ユーザの属性情報及び契約情報と、ユーザに関連付けられたカメラの識別情報とを含んでもよい。

【0046】

さらに、サーバ３は、ユーザ端末４からのリクエストに応じて映像表示画面（ビューア）を表示するためのデータ（後述する）を送信するＷＥＢサーバとしても機能する。このように、サーバ３は、ＳａａＳ（Ｓｙｓｔｅｍ ａｓ ａ Ｓｅｒｖｉｃｅ）を提供するためのサーバとして機能しており、複数のサーバによって構成されていてもよい。また、サーバ３は、オンプレミスで構築されてもよいし、クラウドサーバであってもよい。

【0047】

サーバ３は、通信ネットワーク５を介してカメラ２及びユーザ端末４に通信可能に接続されており、ユーザ端末４からのリクエストに応じてカメラ２の映像データを送信するように構成されている。サーバ３は、制御部３０と、記憶装置３１と、通信部３２と、入力操作部３３と、表示部３４とを備える。これらの要素は通信バス３５に接続されている。

【0048】

制御部３０は、メモリとプロセッサを備えている。メモリは、コンピュータ可読命令（プログラム）を記憶するように構成されている。例えば、メモリは、ＲＯＭ及びＲＡＭにより構成されている。プロセッサは、例えば、ＣＰＵ、ＭＰＵ及びＧＰＵのうちの少なくとも一つにより構成される。

【0049】

記憶装置３１は、例えば、ＨＤＤ、ＳＳＤ、フラッシュメモリ等の記憶装置（ストレージ）であって、プログラムや各種データを格納するように構成されている。記憶装置３１には、各種データベースが構築されている。特に、記憶装置３１には、各カメラに関連するカメラ情報テーブル、カメラによって撮像された映像データ、ユーザに関連するユーザ情報テーブルが保存されてもよい。

【0050】

通信部３２は、サーバ３を通信ネットワーク５に接続するように構成されている。具体的には、通信部３２は、通信ネットワーク５上の外部端末と通信するための各種有線接続端子を含んでもよい。入力操作部３３は、例えば、表示部３４上に重ねて配置されたタッチパネル、マウス、及び／又はキーボード等であって、操作者の入力操作を受け付けると共に、操作者の入力操作に応じた操作信号を生成するように構成されている。表示部３４は、例えば、液晶パネル又は有機ＥＬパネルによって構成されている。

【0051】

次に、図４を参照してユーザ端末４のハードウェア構成について以下に説明する。ユーザ端末４は、例えば、パーソナルコンピュータ、スマートフォン、タブレット又はユーザ端末４のユーザＵに装着されたウェアラブルデバイス（例えば、ＡＲグラスやヘッドマウントディスプレイ）であってもよい。ユーザ端末４は、ＷＥＢサーバから受信したデータを表示するためのＷＥＢブラウザを有してもよい。ユーザ端末４は、制御部４０と、記憶装置４１と、撮像部４２と、通信部４３と、入力操作部４４と、表示部４５と、音声入出力部４６とを備える。これらの要素は通信バス４７に接続されている。

【0052】

制御部４０は、メモリとプロセッサを備えている。メモリは、コンピュータ可読命令（プログラム）を記憶するように構成されている。例えば、メモリは、ＲＯＭ及びＲＡＭにより構成されている。プロセッサは、例えば、ＣＰＵ、ＭＰＵ及びＧＰＵのうちの少なくとも一つにより構成される。

【0053】

記憶装置４１は、例えば、ＨＤＤ、ＳＳＤ、フラッシュメモリ等の記憶装置（ストレージ）であって、プログラムや各種データを格納するように構成されている。撮像部４２は、ユーザ端末４に内蔵されていて、ユーザ端末４のユーザＵを示す映像を撮像するように構成されている。特に、撮像部４２は、ユーザ端末４のユーザＵを示す映像信号を生成するように構成されており、光学系と、イメージセンサと、アナログ処理回路とを備える。光学系は、例えば、光学レンズと、カラーフィルタとを含む。イメージセンサは、ＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）又はＣＭＯＳ（相補型ＭＯＳ）等によって構成される。アナログ処理回路は、イメージセンサによって光電変換された映像信号（アナログ信号）を処理するように構成され、例えば、増幅器及びＡＤ変換器を含む。制御部４０は、撮像部４２から受信した映像信号（デジタル信号）に基づいて映像データ（画像データの一例）を生成する。映像データのフレームレートは、例えば、３０ｆｐｓである。通信部４３は、ユーザ端末４を通信ネットワーク５に接続するように構成されている。通信部４３は、基地局または無線ＬＡＮルータと無線通信するための無線通信モジュール及び／又は有線接続端子を備える。入力操作部４４は、例えば、表示部４５上に重ねて配置されたタッチパネル、マウス、及び／又はキーボード等であって、ユーザＵの入力操作を受け付けると共に、ユーザＵの入力操作に応じた操作信号を生成するように構成されている。表示部４５は、例えば、液晶パネル又は有機ＥＬパネルによって構成されている。本実施形態では、カメラ２の映像を含む映像表示画面５０（図６参照）が表示部４５に表示される。音声入出力部４６は、ユーザ端末４の周囲の音声が入力されて音声信号を生成し、カメラ２等の通信先から受信する音声信号をアナログ音声データに変換して出力するように構成されている。音声入出力部４６は、例えば、マイクロフォンとスピーカーを含む。

【0054】

（情報処理システム１によって実行される一連の処理）
次に、図５を参照して本実施形態に係る情報処理システム１によって実行される一連の処理について以下に説明する。本例では、カメラ２がユーザＵに関連付けられている。換言すれば、ユーザＵは、通信ネットワーク５を介したカメラ２の映像提供サービスに係る契約を締結している。なお、サーバ３の各処理はサーバ３の制御部３０により実行される。同様に、ユーザ端末４の各処理はユーザ端末４の制御部４０により実行される。

【0055】

図５に示すように、ステップＳ１において、サーバ３は、通信ネットワーク５を通じてカメラ２から映像（映像データ）を受信する。なお、サーバ３は、通信ネットワーク５を通じてカメラ２から時間情報、及び位置情報を受信してもよい。また、サーバ３は、受信した映像、時間情報、及び位置情報を記憶装置３１に保存する。ここで、カメラ２は、リアルタイムで映像データストリームをサーバ３に送信し続ける一方で、所定の時間間隔で時間情報、及び位置情報をサーバ３に送信してもよい。

【0056】

次に、ステップＳ２において、ユーザ端末４は、ユーザＵがユーザ端末４にログインする際に入力するログイン情報（例えば、ログインＩＤとログインパスワード）をサーバ３に送信する。ステップＳ３において、サーバ３は、ユーザ端末４から受信したログイン情報に基づいてユーザＵを認証する。なお、ユーザＵの認証はログイン認証に限定されるものではなく、顔認証や指紋認証等の生体認証方法が適用されてもよい。サーバ３は、ユーザＵの認証を実行した後に、ユーザ情報テーブルを参照することで、ユーザＵに関連付けられたカメラ２を特定する。

【0057】

ステップＳ４において、サーバ３は、通信ネットワーク５を介して、図６～８に示す映像表示画面５０を表示するためのデータ（以下、映像表示用データという。）と、カメラ２の映像データをユーザ端末４に送信する。このとき、カメラ２の時間情報、及び位置情報をユーザ端末４に送信してもよい。

【0058】

映像表示用データは、映像表示画面５０をユーザ端末４のＷＥＢブラウザ上に表示するためのファイル（例えば、ＨＴＭＬファイル、ＣＳＳファイル、プログラムファイル等）であってもよい。ここで、プログラムファイルは、ＪａｖａＳｃｒｉｐｔファイルであってもよい。なお、映像表示用データ（ＨＴＭＬファイル等）は一回だけ送信されてもよい。その一方で、カメラ２の映像データストリームは、リアルタイムで送信され続ける。

【0059】

ステップＳ５において、ユーザ端末４は、遠隔臨場モードのＯＮ／ＯＦＦを判断する。なお、この直前に、後述する通話オブジェクト５１Ｃを介してグループ通話が開始され、それを以てステップＳ５に移行するものとしてもよい。遠隔臨場モードがＯＦＦの場合（ステップＳ５のＮｏ）、ステップＳ１０において、ユーザ端末４は、サーバ３から受信した映像表示用データに基づいて映像表示画面５０を表示し、映像表示画面５０内にカメラ２の映像５１を表示する。なお、ユーザ端末４は、サーバ３から受信した時間情報５１Ａと位置情報５１Ｂの少なくとも一方を映像表示画面５０内に表示してもよい。

【0060】

ここで、図６を用いて遠隔臨場モードがＯＦＦに設定されている場合のユーザ端末４に表示される映像表示画面５０の一例を説明する。図６に示すように、映像表示画面５０内には、カメラ２の映像５１、カメラ２の名称やデバイスＩＤ（不図示）、時間情報５１Ａ、及び位置情報５１Ｂ、通信相手先（例えば、カメラ２を装着する作業員Ｏ）とのグループ通話を開始するための通話オブジェクト５１Ｃ（不図示）、映像５１のスナップショットを撮影するための撮影オブジェクト５１Ｄ（不図示）が表示される。このとき、遠隔臨場モードに関連するオブジェクト及びユーザの映像は不要であるため表示されない。このように、映像表示画面５０内に遠隔臨場モードに関連するオブジェクト及びユーザの映像が表示されないことで、映像表示画面５０内における映像５１の視認性の低減を抑制できる。遠隔臨場モードに関連するオブジェクトの詳細については後述する。

【0061】

図５の説明に戻る。ステップＳ５において、遠隔臨場モードがＯＮに設定されている場合（ステップＳ５のＹｅｓ）、ステップＳ６において、ユーザ端末４は、サーバ３から受信した映像表示用データに基づいて映像表示画面５０を表示し、映像表示画面５０内にカメラ２の映像５１を表示する。また、ユーザ端末４は、映像表示画面５０内に遠隔臨場モードに関連するオブジェクトを表示する。なお、ユーザ端末４は、サーバ３から受信したカメラ２の映像５１と時間情報５１Ａ、及び位置情報５１Ｂとを映像表示画面５０内に表示してもよい。

【0062】

次に、ステップＳ７において、ユーザ端末４は、撮影オブジェクト５３ＢのＯＮ／ＯＦＦを判断する。撮影オブジェクト５３ＢがＯＮに設定されている場合（ステップＳ７のＹｅｓ）、ステップＳ８において、ユーザ端末４は、映像表示画面５０内にユーザＵの映像５２を表示する。この状態で、例えば撮影オブジェクト５１Ｄをクリックして映像５１のスナップショットを撮影することにより、建設工事の発注者の実施要領にて要求される「現場と立合者の双方が映った画面」を得ることができる。撮影オブジェクト５３ＢがＯＦＦに設定されている場合（ステップＳ７のＮｏ）、ステップＳ９において、ユーザ端末４は、映像表示画面５０内にユーザＵの映像５２を表示せず、撮影オブジェクト５３ＢがＯＦＦに設定されていることを示すために、撮影オブジェクト５３Ｂをグレーアウトで表示する。

【0063】

ここで、図７、８を用いて、遠隔臨場モードがＯＮに設定されている場合のユーザ端末４に表示される映像表示画面５０の一例を説明する。図７は、遠隔臨場モードがＯＮに設定されていて、ユーザの映像を表示しない場合のユーザ端末に表示される映像表示画面の一例を示す図である。図８は、遠隔臨場モードがＯＮに設定されていて、ユーザの映像を表示する場合のユーザ端末に表示される映像表示画面の一例を示す図である。

【0064】

図７、８に示すように、映像表示画面５０内には、カメラ２の映像５１、カメラ２の名称やデバイスＩＤ（不図示）、時間情報５１Ａ、及び位置情報５１Ｂ、通信相手先（例えば、カメラ２を装着する作業員Ｏ）とのグループ通話を開始するための通話オブジェクト５１Ｃ（不図示）、映像５１（図８では映像５２を含む）のスナップショットを撮影するための撮影オブジェクト５１Ｄ（不図示）が表示される。また、カメラ２の映像５１に重畳するように、遠隔臨場モードに関連するオブジェクト群５３が表示される。オブジェクト群５３は、ユーザ端末４におけるユーザの音声入力をＯＮ／ＯＦＦするための音声出力オブジェクト５３Ａ、ユーザ端末４におけるユーザの撮影の許可をＯＮ／ＯＦＦするための撮影オブジェクト５３Ｂ、通信相手先（例えば、カメラ２を装着する作業員Ｏ）とのグループ通話を終了するための通話オブジェクト５３Ｃとを含む。

【0065】

音声出力オブジェクト５３Ａを介して、音声入出力部４６の音声出力ミュート機能がＯＮに設定されると、ユーザ端末４の周囲の音声がグループ通話先に出力されないようになり、ＯＦＦに設定されると、ユーザ端末４の周囲の音声がグループ通話先に出力されるようになる。図７、８の例示では、音声入出力部４６の音声出力ミュート機能はＯＮに設定されている。なお、初期設定では音声出力ミュート機能はＯＦＦに設定されてもよい。

【0066】

撮影オブジェクト５３Ｂを介して、ユーザＵの撮影が許可されると、撮像部４２でユーザＵが撮影されて、カメラ２の映像５１に重畳するように、撮像部４２で撮影されたユーザＵの映像５２が表示される。また、ユーザの撮影が許可されないと、ユーザＵの映像５２が表示されない。図７の例示では、撮影オブジェクト５３ＢがＯＦＦに設定されていてユーザＵの撮影が許可されていないため、撮像部４２でユーザＵが撮影されず、ユーザＵの映像５２が表示されていない。このとき、撮影オブジェクト５３Ｂは、図７に示すようにＯＦＦに設定されていることを表すためにグレーアウトで表示されてもよい。図８の例示では、撮影オブジェクト５３ＢがＯＮに設定されていてユーザＵの撮影が許可されているため、撮像部４２でユーザＵが撮影されて、カメラ２の映像５１に重畳するようにユーザＵの映像５２が表示される。この場合、ユーザＵは建設現場の監督員であることを示すために、図８に示すように映像５２の下段にユーザＵの氏名が表示されてもよい。ユーザＵの氏名は、図４の記憶装置４１に記憶された、ユーザＵがユーザ端末４にログインする際にユーザ認証に用いられるユーザＩＤであってもよい。なお、初期設定では遠隔臨場モードはＯＦＦに設定される。

【0067】

通話オブジェクト５１Ｃを介して、グループ通話機能がＯＮに設定されると、例えば、通信相手先であるカメラ２を装着する作業員Ｏとのグループ通話が可能になる。また、通話オブジェクト５３Ｃを介して、通話機能がＯＦＦに設定されると、例えば、通信相手先であるカメラ２を装着する作業員Ｏとのグループ通話が不可になる。なお、ユーザ端末４以外の他の端末でもカメラ２とのグループ通話を開始すると、これを加えた３つのデバイス間でのグループ通話が開始されることとなる。また、この状態であるデバイスがグループ通話を終了すると、そのデバイスがグループ通話から抜けることとなる。図７、８の例示では、通話機能はＯＮに設定されている。なお、初期設定では通話機能はＯＦＦに設定されてもよい。

【0068】

このように、遠隔臨場モードがＯＮに設定されていて、ユーザＵの撮影が許可されている場合に、ユーザ端末４に表示される映像表示画面５０内に、監督者であるユーザＵの映像５２を表示できる。これにより、複数の表示画面（ビューアとＷｅｂ会議システム）を同時に起動する必要がなく、ユーザ端末４の処理負荷を抑制し、簡易な画面操作で遠隔臨場の要求に適切に対応できる。また、遠隔臨場モードがＯＦＦに設定されている場合に、撮影オブジェクト５３Ｂ及びユーザＵの映像５１を表示せず、遠隔臨場モードがＯＦＦに設定されていて、ユーザＵの撮影が許可されていない場合に、ユーザＵの映像を表示しない。これにより、映像表示画面５０内における映像５１の視認性の低減を抑制できる。また、ユーザＵの映像５２は、サーバ３、または、カメラ２に送信しなくてもよい。遠隔臨場の要求に対応するためにはユーザＵの映像５２はユーザ端末４に表示すれば十分であり、ユーザＵの映像５２を、サーバ３、または、カメラ２に送信しないことで、個人情報の流出、サーバの負荷の増大を抑制できる。

【0069】

次に、図９を用いて、ユーザ端末４の設定画面６０の一例を説明する。設定画面６０は、映像表示画面５０に関連する各種設定を行うためのユーザインターフェースである。図９に示すように、設定画面６０にはデバイス設定領域７０及び遠隔モード設定領域８０が含まれる。

【0070】

デバイス設定領域７０は、ユーザＵがユーザ端末４の各種デバイスやシステムに関する設定を行うための領域であり、具体的には、ストリーミング設定タブ７１、マイク設定タブ７２、マイク音量設定スライダ７３、映像画質設定タブ７４、ＬＩＶＥ配信モード設定タブ７５、イメージ回転設定タブ７６、スピーカー音量設定スライダ７７、時刻表示設定タブ７８を含む。遠隔モード設定領域８０は、ユーザＵが遠隔臨場モードのＯＮ／ＯＦＦの設定を行うための領域であり、遠隔臨場設定タブ８１を含む。

【0071】

例えば、ユーザＵが、ストリーミング設定タブ７１をＮＯに設定すると、映像表示画面５０内にカメラ２の映像５１がデータストリーム形式で表示され、ＯＦＦに設定すると映像表示画面５０内にカメラ２の映像５１がダウンロード形式で表示される。また、例えば、ユーザＵが、マイク設定タブ７２をＯＮに設定すると、ユーザ端末４の音声入出力部４６のマイクロフォンがＯＮに設定されて、音声入出力部４６から入力されたユーザ端末４の周囲の音声が、カメラ２等の通信先から出力される。また、例えば、ユーザＵが、マイク音量設定スライダ７３でマイクの所望の音量を指定すると、ユーザ端末４の周囲の音声が、指定された音量でカメラ２等の通信先から出力される。また、例えば、ユーザＵが、映像画質設定タブ７４で所望の映像画質を指定すると、映像表示画面５０内にカメラ２の映像５１が指定された画質で表示される。また、例えば、ユーザＵが、ＬＩＶＥ配信モード設定タブ７５でＬＩＶＥ配信の通常モード又は低遅延モードを指定すると、映像表示画面５０内にカメラ２の映像５１が指定したモードで表示される。また、例えば、ユーザＵが、イメージ回転設定タブ７６で所望の映像の回転角度を指定すると、映像表示画面５０内にカメラ２の映像５１が指定された回転角度で表示される。また、例えば、ユーザＵが、スピーカー音量設定スライダ７７でスピーカーの所望の音量を指定すると、指定された音量で音声入出力部４６のスピーカーから音声が出力される。また、例えば、ユーザＵが、時刻表示設定タブ７８をＮＯに設定すると、映像表示画面５０内に現在の時刻が表示される。

【0072】

例えば、ユーザＵが、遠隔臨場設定タブ８１をＯＮに設定すると、遠隔臨場モードがＯＮに設定され、映像表示画面５０内にカメラ２の映像５１に重畳するようにオブジェクト群５３が表示される。また、ユーザＵが、遠隔臨場設定タブ８１をＯＦＦに設定すると、遠隔臨場モードがＯＦＦに設定され、映像表示画面５０内にオブジェクト群５３が表示されない。

【0073】

なお、初期設定における遠隔臨場モードはＯＦＦとする。これにより、初期設定では遠隔臨場モードをＯＦＦにしてオブジェクト及びユーザの映像を表示しないことで、映像表示画面５０内における映像５１の視認性の低減を抑制できる。

【0074】

なお、ユーザ端末４と通信可能なカメラ２が複数ある場合は、カメラごとに、遠隔臨場モードのＯＮ／ＯＦＦを切り替え可能であってもよい。これにより、遠隔臨場モードにする必要があるカメラ２のみ遠隔臨場モードをＯＮにすることが可能となり、遠隔臨場モードにする必要がないカメラ２については、遠隔臨場モードをＯＦＦにしてオブジェクト群５３及びユーザＵの映像５２を表示しないことで、映像表示画面５０内におけるカメラ２の映像５１の視認性の低減を抑制できる。

【0075】

また、カメラごとに、遠隔臨場モードのＯＮ／ＯＦＦの切り替えボタンである遠隔臨場設定タブ８１の表示の有無を設定可能であってもよい。これにより、カメラが遠隔臨場に用いる予定がないものである場合、遠隔臨場設定タブ８１を表示しないことで、設定画面６０内におけるデバイス設定領域７０の視認性、及び映像表示画面５０内における映像５１の視認性の低減を抑制できるだけでなく、誤って遠隔臨場モードをＯＮにしてしまうのを防止することもできる（特にカメラを複数ユーザで共有する場合に有効）。

【0076】

また、ユーザ端末４の撮像部４２が使用不可の場合、遠隔臨場モードをＯＮに切り替え不可としてもよい。これにより、ユーザ端末４の撮像部４２が使用不可の場合、オブジェクト群５３を表示しないことで、映像表示画面５０内におけるカメラ２の映像５１の視認性の低減を抑制できる。

【0077】

なお、以上の説明では、単に遠隔臨場モードのＯＮ／ＯＦＦに応じて、オブジェクト群５３の表示のＯＮ／ＯＦＦを制御した。これに対して、更にグループ通話中であるか否かも考慮して、オブジェクト群５３の表示を制御してもよい。具体的には、グループ通話中でないときは、遠隔臨場モードがＯＮ／ＯＦＦ何れの場合でも、オブジェクト群５３を表示しない（例えば図６と同様の画面を表示）。一方、グループ通話中であるときは、遠隔臨場モードがＯＮの場合は、オブジェクト群５３を表示し（例えば図７と同様の画面を表示）、遠隔臨場モードがＯＦＦの場合は、オブジェクト群５３を表示するが撮影オブジェクト５３Ｂは除いて表示する（例えば図７の画面で撮影オブジェクト５３Ｂのみ削除したものを表示する）。これにより、オブジェクト群５３や撮影オブジェクト５３Ｂを更に必要な場合に限って表示することで、映像表示画面５０内におけるカメラ２の映像５１の視認性の低減を抑制できる。

【0078】

また、以上の説明では、単に遠隔臨場モードのＯＮ／ＯＦＦに応じて、オブジェクト群５３の表示のＯＮ／ＯＦＦを制御した。これに対して、更にユーザＵの権限も考慮して、オブジェクト群５３の表示を制御してもよい。具体的には、ユーザＵが現場監督員の権限を有する場合には、前述と同様に制御する。一方、ユーザＵが現場監督員の権限を有さない場合には、遠隔臨場モードがＯＮ／ＯＦＦ何れの場合でも、撮影オブジェクト５３ＢやユーザＵの映像５２を表示しない。これにより、撮影オブジェクト５３Ｂを更に必要な場合に限って表示することで、映像表示画面５０内におけるカメラ２の映像５１の視認性の低減を抑制できる。

【0079】

また、以上の説明では、単に撮影オブジェクト５３ＢのＯＮ／ＯＦＦに応じて、ユーザＵの映像５２の表示のＯＮ／ＯＦＦを制御した。これに対して、更に映像５１がライブ映像であるか否かも考慮して、ユーザＵの映像５２の表示のＯＮ／ＯＦＦを制御してもよい。具体的には、映像５１がライブ映像である場合には、前述と同様に制御する。一方、映像５１がライブ映像でない（例えばクラウドに録画された過去の映像である）場合には、ユーザＵの映像５２は表示しない。この場合、撮影オブジェクト５３Ｂをグレーアウトし、その理由を映像５２に代えて表示する等してもよい。これにより、過去の映像に対して事後的にユーザＵの映像５２を重畳して表示することができなくなるため、建設工事の発注者の実施要領にて要求される「現場と立合者の双方が映った画面」が不正に得られてしまうのを防止することができる。

【0080】

また、以上の説明では、映像５１をクラウド等に記憶させる際にユーザＵの映像５２を含めるか否かについては、特に言及しなかった。この点に関しては、常にユーザＵの映像５２は含まない状態で記憶してもよいし、常に映像５１に表示された通り（ユーザＵの映像５２が表示されるときはそれを含めて）記憶してもよいし、それらを設定により切替可能としてもよい。

【0081】

本実施形態によれば、ユーザ端末４に表示される映像表示画面５０内に、カメラ２で撮影された監督者であるユーザＵの映像を表示する。そのため、複数の表示画面（ビューアとＷｅｂ会議システム）を同時に起動する必要がなく、ユーザ端末４の処理負荷を抑制し、簡易な画面操作で遠隔臨場の要求に適切に対応できる。また、遠隔臨場モードのＯＮ／ＯＦＦを切り替えられる構成であるため、ユーザＵの撮影が許可されていない場合には、ユーザＵの映像や撮影オブジェクト５３Ｂを表示しないことで、映像表示画面５０内におけるカメラ２の映像５１の視認性の低減を抑制できる。

【0082】

以上、本実施形態について説明をしたが、本実施形態に係る技術的範囲が本実施形態の説明によって限定的に解釈されるべきではないのは言うまでもない。本実施形態は単なる一例であって、特許請求の範囲に記載された発明の範囲内において、様々な実施形態の変更が可能であることが当業者によって理解されるところである。本実施形態に係る技術的範囲は特許請求の範囲に記載された発明の範囲及びその均等の範囲に基づいて定められるべきである。

【符号の説明】

【0083】

１：情報処理システム
２：カメラ
３：サーバ
４：ユーザ端末
５：通信ネットワーク
２０：制御部
２１：記憶装置
２２：位置情報取得部
２３：ＲＴＣ
２４：通信部
２５：入力操作部
２６：撮像部
２７：音声入出力部
２８：通信バス
３０：制御部
３１：記憶装置
３２：通信部
３３：入力操作部
３４：表示部
３５：通信バス
４０：制御部
４１：記憶装置
４３：通信部
４４：入力操作部
４５：表示部
４６：音声入出力部
４７：通信バス
５０：映像表示画面６０：設定画面
７０：デバイス設定領域
８０：遠隔モード設定領域

【要約】

【課題】撮像装置で撮影した映像を情報処理装置においてビューアで表示する、遠隔臨場の要求に適切に対応可能な情報処理システム、情報処理方法、プログラムを提供する。
【解決手段】情報処理システムは、撮像装置で撮影された映像を情報処理装置においてビューアに表示する。当該情報処理システムは、建設現場の遠隔臨場を行うための遠隔臨場モードのＯＮ／ＯＦＦが切り替え可能であり、遠隔臨場モードがＯＮの場合、情報処理装置のユーザの撮影を許可するためのオブジェクトをビューアに表示し、オブジェクトを介してユーザの撮影が許可された場合、ビューアにユーザの映像を表示する。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】