(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024108724
(43)【公開日】2024-08-13
(54)【発明の名称】情報処理方法、情報処理プログラム、及び情報処理装置
(51)【国際特許分類】
G06F 3/0481 20220101AFI20240805BHJP
【FI】
G06F3/0481
【審査請求】未請求
【請求項の数】15
【出願形態】OL
(21)【出願番号】P 2023013245
(22)【出願日】2023-01-31
(71)【出願人】
【識別番号】516285984
【氏名又は名称】株式会社アンドパッド
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】230118913
【弁護士】
【氏名又は名称】杉村 光嗣
(74)【代理人】
【識別番号】100195534
【弁理士】
【氏名又は名称】内海 一成
(72)【発明者】
【氏名】山下 大輔
【テーマコード(参考)】
5E555
【Fターム(参考)】
5E555AA11
5E555AA16
5E555BA04
5E555BB04
5E555BD05
5E555BD06
5E555CA12
5E555CA42
5E555CB12
5E555DB51
5E555DB53
5E555DB56
5E555DB57
5E555DC09
5E555DC31
5E555FA00
(57)【要約】
【課題】遠隔指示による現場の撮影作業を効率化できる情報処理方法、情報処理プログラム、及び情報処理装置を提供する。
【解決手段】第1情報処理装置10と第2情報処理装置20とを備える情報処理システム1が実行する情報処理方法は、第1情報処理装置10が撮影した画像を共有画像として第2情報処理装置20に送信するステップと、第2情報処理装置20が第1情報処理装置10で共有画像を撮影するときの撮影方向又は撮影倍率の少なくとも一方を変更するように第2ユーザ82から第1ユーザ81に対して指示する指示情報を生成するステップと、第2情報処理装置20が指示情報を第1情報処理装置10に送信するステップと、第1情報処理装置10が共有画像を表示するとともに、第2情報処理装置20から受信した指示情報を出力するステップとを含む。
【選択図】
図1
【特許請求の範囲】
【請求項1】
第1ユーザが設定する撮影方向及び撮影倍率によって定まる撮影範囲で画像を撮影する第1情報処理装置と、第2ユーザの操作を受け付ける第2情報処理装置とを備える情報処理システムが実行する情報処理方法であって、
前記第1情報処理装置が、撮影した画像を共有画像として前記第2情報処理装置に送信するステップと、
前記第2情報処理装置が、前記第1情報処理装置で前記共有画像を撮影するときの撮影方向又は撮影倍率の少なくとも一方を変更するように前記第2ユーザから前記第1ユーザに対して指示する指示情報を生成するステップと、
前記第2情報処理装置が、前記指示情報を第1情報処理装置に送信するステップと、
前記第1情報処理装置が、前記共有画像を表示するとともに、前記第2情報処理装置から受信した前記指示情報を出力するステップと
を含む、情報処理方法。
【請求項2】
前記第2情報処理装置が、前記共有画像をタッチパネルに表示するステップと、
前記第2情報処理装置が、前記第2ユーザが前記タッチパネルに入力したタッチ操作の内容を検出するステップと
を更に含み、
前記第2情報処理装置が、前記指示情報を生成するステップにおいて、前記第2ユーザのタッチ操作の内容に基づいて、前記指示情報を生成する、請求項1に記載の情報処理方法。
【請求項3】
前記第2情報処理装置が、前記指示情報を生成するステップにおいて、前記第2ユーザのタッチ操作が方向を特定する内容である場合、前記指示情報として、前記第1情報処理装置で前記共有画像を撮影するときの撮影方向を、前記第2ユーザのタッチ操作で特定される方向に変更させる方向指示を生成し、
前記第1情報処理装置が、前記指示情報を出力するステップにおいて、前記第1情報処理装置で前記共有画像を撮影するときの撮影方向を、前記方向指示によって指示された方向へ誘導する情報を出力する、請求項2に記載の情報処理方法。
【請求項4】
前記第1情報処理装置が、前記指示情報を出力するステップにおいて、前記第1情報処理装置で前記共有画像を撮影するときの撮影方向を誘導する情報として、誘導する方向を前記第1ユーザに認識させる表示を前記共有画像に重畳する、請求項3に記載の情報処理方法。
【請求項5】
前記第1情報処理装置が、前記指示情報を出力するステップにおいて、前記共有画像に写っている物体のうち、前記共有画像の外に向けて前記方向指示によって指示された方向に続いている物体を強調する、請求項3に記載の情報処理方法。
【請求項6】
前記第2情報処理装置が、前記指示情報を生成するステップにおいて、前記第2ユーザのタッチ操作が前記共有画像の所定位置を特定する内容である場合、前記指示情報として、前記第1情報処理装置で前記共有画像を撮影するときの撮影範囲を、前記所定位置が拡大されるように変更させる範囲指示を生成し、
前記第1情報処理装置が、前記指示情報を出力するステップにおいて、前記範囲指示によって指示された撮影範囲を、前記共有画像に重畳して表示する、請求項2に記載の情報処理方法。
【請求項7】
前記第1情報処理装置が、前記指示情報を出力するステップにおいて、前記所定位置において前記共有画像に写っている物体を強調する、請求項6に記載の情報処理方法。
【請求項8】
前記第2情報処理装置が、前記共有画像に重畳して表示するポインタの座標を前記第2ユーザが指定する操作を受け付けて、前記第1情報処理装置に前記ポインタの座標を送信するステップと、
前記第1情報処理装置が、前記指示情報と別の表示として前記ポインタを表示するステップと
を更に含む、請求項1から7までのいずれか一項に記載の情報処理方法。
【請求項9】
前記第2情報処理装置が、前記共有画像に重畳して表示するポインタの座標を前記第2ユーザが指定する操作を受け付けて、前記第1情報処理装置に前記ポインタの座標を送信するステップと、
前記第1情報処理装置が、前記ポインタを表示するステップと
を更に含み、
前記第1情報処理装置が、前記ポインタを表示するステップにおいて、前記ポインタの座標にかかわらず、前記指示情報に基づいて前記ポインタの表示を変化させる、
請求項1から7までのいずれか一項に記載の情報処理方法。
【請求項10】
前記第1情報処理装置が、前記第1情報処理装置で前記共有画像を撮影するときの撮影範囲の変化を算出するステップと、
算出した撮影範囲の変化が前記第2情報処理装置から受信した前記指示情報に従っていない場合にアラートを出力するステップと
を更に含む、請求項1から7までのいずれか一項に記載の情報処理方法。
【請求項11】
第1ユーザが設定する撮影方向及び撮影倍率によって定まる撮影範囲で画像を撮影する第1情報処理装置と、第2ユーザの操作を受け付ける第2情報処理装置とを備える情報処理システムに実行させる情報処理プログラムであって、
前記第1情報処理装置が、撮影した画像を共有画像として前記第2情報処理装置に送信するステップと、
前記第2情報処理装置が、前記第1情報処理装置で前記共有画像を撮影するときの撮影方向又は撮影倍率の少なくとも一方を変更するように前記第2ユーザから前記第1ユーザに対して指示する指示情報を生成するステップと、
前記第2情報処理装置が、前記指示情報を第1情報処理装置に送信するステップと、
前記第1情報処理装置が、前記共有画像を表示するとともに、前記第2情報処理装置から受信した前記指示情報を出力するステップと
を含む、情報処理プログラム。
【請求項12】
ユーザの操作を受け付ける情報処理装置が実行する情報処理方法であって、
他の情報処理装置で撮影された共有画像を受信するステップと、
前記共有画像の撮影方向又は撮影倍率の少なくとも一方を変更するように前記ユーザから前記他の情報処理装置のユーザに対して指示する指示情報を生成するステップと、
前記指示情報を前記他の情報処理装置に送信するステップと
を含む、情報処理方法。
【請求項13】
前記情報処理装置のタッチパネルに前記共有画像を表示するステップと、
前記タッチパネルに前記ユーザが入力したタッチ操作を検出するステップと
を更に含み、
前記指示情報を生成するステップにおいて、前記情報処理装置が、前記ユーザのタッチ操作の内容に基づいて、前記指示情報を生成する、請求項12に記載の情報処理方法。
【請求項14】
ユーザの操作を受け付ける情報処理装置に実行させる情報処理プログラムであって、
他の情報処理装置で撮影された共有画像を受信するステップと、
前記共有画像の撮影方向又は撮影倍率の少なくとも一方を変更するように前記ユーザから前記他の情報処理装置のユーザに対して指示する指示情報を生成するステップと、
前記指示情報を前記他の情報処理装置に送信するステップと
を含む、情報処理プログラム。
【請求項15】
タッチパネルと、通信部と、制御部とを備える情報処理装置であって、
前記通信部は、他の情報処理装置で撮影された共有画像を受信し、
前記タッチパネルは、前記共有画像を表示し、
前記制御部は、
前記タッチパネルにユーザが入力したタッチ操作を検出し、
前記ユーザのタッチ操作の内容に基づいて、前記他の情報処理装置において前記共有画像の撮影方向又は撮影倍率の少なくとも一方を変更するように前記他の情報処理装置のユーザに対して指示する指示情報を生成し、
前記通信部は、前記指示情報を前記他の情報処理装置に送信する、
情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理方法、情報処理プログラム、及び情報処理装置に関する。
【背景技術】
【0002】
従来、現場作業者と現場と異なる場所に存在する管理者とをリアルタイムで結んで現場の画像を表示するシステムが知られている(例えば特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1に記載のシステムにおいて、管理者と現場作業者とが双方向に音声で連絡することによって、管理者が現場作業者に対して撮影箇所を遠隔で指示する。しかし、現場作業者が管理者の指示どおりに画像を撮影するために、何度も再撮影が必要になることがある。遠隔指示による現場の撮影作業の効率化が求められる。
【0005】
本開示の目的は、遠隔指示による現場の撮影作業を効率化できる情報処理方法、情報処理プログラム、及び情報処理装置を提供することにある。
【課題を解決するための手段】
【0006】
(1)本開示の一実施形態に係る情報処理方法は、
第1ユーザが設定する撮影方向及び撮影倍率によって定まる撮影範囲で画像を撮影する第1情報処理装置と、第2ユーザの操作を受け付ける第2情報処理装置とを備える情報処理システムが実行する情報処理方法であって、
前記第1情報処理装置が、撮影した画像を共有画像として前記第2情報処理装置に送信するステップと、
前記第2情報処理装置が、前記第1情報処理装置で前記共有画像を撮影するときの撮影方向又は撮影倍率の少なくとも一方を変更するように前記第2ユーザから前記第1ユーザに対して指示する指示情報を生成するステップと、
前記第2情報処理装置が、前記指示情報を第1情報処理装置に送信するステップと、
前記第1情報処理装置が、前記共有画像を表示するとともに、前記第2情報処理装置から受信した前記指示情報を出力するステップと
を含む。
【0007】
(2)上記(1)に記載の情報処理方法は、前記第2情報処理装置が、前記共有画像をタッチパネルに表示するステップと、
前記第2情報処理装置が、前記第2ユーザが前記タッチパネルに入力したタッチ操作の内容を検出するステップと
を更に含んでよい。
また、前記第2情報処理装置が、前記指示情報を生成するステップにおいて、前記第2ユーザのタッチ操作の内容に基づいて、前記指示情報を生成してよい。
【0008】
(3)上記(2)に記載の情報処理方法の前記指示情報を生成するステップにおいて、前記第2情報処理装置が、前記第2ユーザのタッチ操作が方向を特定する内容である場合、前記指示情報として、前記第1情報処理装置で前記共有画像を撮影するときの撮影方向を、前記第2ユーザのタッチ操作で特定される方向に変更させる方向指示を生成してよい。前記第1情報処理装置が、前記指示情報を出力するステップにおいて、前記第1情報処理装置で前記共有画像を撮影するときの撮影方向を、前記方向指示によって指示された方向へ誘導する情報を出力してよい。
【0009】
(4)上記(3)に記載の情報処理方法の前記指示情報を出力するステップにおいて、前記第1情報処理装置が、前記第1情報処理装置で前記共有画像を撮影するときの撮影方向を誘導する情報として、誘導する方向を前記第1ユーザに認識させる表示を前記共有画像に重畳してよい。
【0010】
(5)上記(3)又は(4)に記載の情報処理方法の前記指示情報を出力するステップにおいて、前記第1情報処理装置が、前記共有画像に写っている物体のうち、前記共有画像の外に向けて前記方向指示によって指示された方向に続いている物体を強調してよい。
【0011】
(6)上記(2)から(5)までのいずれか1つに記載の情報処理方法の前記指示情報を生成するステップにおいて、前記第2情報処理装置が、前記第2ユーザのタッチ操作が前記共有画像の所定位置を特定する内容である場合、前記指示情報として、前記第1情報処理装置で前記共有画像を撮影するときの撮影範囲を、前記所定位置が拡大されるように変更させる範囲指示を生成してよい。
また、前記第1情報処理装置が、前記指示情報を出力するステップにおいて、前記範囲指示によって指示された撮影範囲を、前記共有画像に重畳して表示してよい。
【0012】
(7)上記(6)に記載の情報処理方法の前記指示情報を出力するステップにおいて、前記第1情報処理装置が、前記所定位置において前記共有画像に写っている物体を強調してよい。
【0013】
(8)上記(1)から(7)までのいずれか1つに記載の情報処理方法は、
前記第2情報処理装置が、前記共有画像に重畳して表示するポインタの座標を前記第2ユーザが指定する操作を受け付けて、前記第1情報処理装置に前記ポインタの座標を送信するステップと、
前記第1情報処理装置が、前記指示情報と別の表示として前記ポインタを表示するステップと
を更に含んでよい。
【0014】
(9)上記(1)から(7)までのいずれか1つに記載の情報処理方法は、
前記第2情報処理装置が、前記共有画像に重畳して表示するポインタの座標を前記第2ユーザが指定する操作を受け付けて、前記第1情報処理装置に前記ポインタの座標を送信するステップと、
前記第1情報処理装置が、前記ポインタを表示するステップと
を更に含んでよい。
また、前記第1情報処理装置が、前記ポインタを表示するステップにおいて、前記ポインタの座標にかかわらず、前記指示情報に基づいて前記ポインタの表示を変化させてよい。
【0015】
(10)上記(1)から(9)までのいずれか1つに記載の情報処理方法は、
前記第1情報処理装置が、前記第1情報処理装置で前記共有画像を撮影するときの撮影範囲の変化を算出するステップと、
算出した撮影範囲の変化が前記第2情報処理装置から受信した前記指示情報に従っていない場合にアラートを出力するステップと
を更に含んでよい。
【0016】
(11)本開示の一実施形態に係る情報処理プログラムは、
第1ユーザが設定する撮影方向及び撮影倍率によって定まる撮影範囲で画像を撮影する第1情報処理装置と、第2ユーザの操作を受け付ける第2情報処理装置とを備える情報処理システムに実行させる情報処理プログラムであって、
前記第1情報処理装置が、撮影した画像を共有画像として前記第2情報処理装置に送信するステップと、
前記第2情報処理装置が、前記第1情報処理装置で前記共有画像を撮影するときの撮影方向又は撮影倍率の少なくとも一方を変更するように前記第2ユーザから前記第1ユーザに対して指示する指示情報を生成するステップと、
前記第2情報処理装置が、前記指示情報を第1情報処理装置に送信するステップと、
前記第1情報処理装置が、前記共有画像を表示するとともに、前記第2情報処理装置から受信した前記指示情報を出力するステップと
を含む。
【0017】
(12)本開示の一実施形態に係る情報処理方法は、
ユーザの操作を受け付ける情報処理装置が実行する情報処理方法であって、
他の情報処理装置で撮影された共有画像を受信するステップと、
前記共有画像の撮影方向又は撮影倍率の少なくとも一方を変更するように前記ユーザから前記他の情報処理装置のユーザに対して指示する指示情報を生成するステップと、
前記指示情報を前記他の情報処理装置に送信するステップと
を含む。
【0018】
(13)上記(12)に記載の情報処理方法は、
前記情報処理装置のタッチパネルに前記共有画像を表示するステップと、
前記タッチパネルに前記ユーザが入力したタッチ操作を検出するステップと
を更に含んでよい。
また、前記指示情報を生成するステップにおいて、前記情報処理装置が、前記ユーザのタッチ操作の内容に基づいて、前記指示情報を生成してよい。
【0019】
(14)本開示の一実施形態に係る情報処理プログラムは、
ユーザの操作を受け付ける情報処理装置に実行させる情報処理プログラムであって、
他の情報処理装置で撮影された共有画像を受信するステップと、
前記共有画像の撮影方向又は撮影倍率の少なくとも一方を変更するように前記ユーザから前記他の情報処理装置のユーザに対して指示する指示情報を生成するステップと、
前記指示情報を前記他の情報処理装置に送信するステップと
を含む。
【0020】
(15)本開示の一実施形態に係る情報処理装置は、
タッチパネルと、通信部と、制御部とを備え、
前記通信部は、他の情報処理装置で撮影された共有画像を受信し、
前記タッチパネルは、前記共有画像を表示し、
前記制御部は、
前記タッチパネルにユーザが入力したタッチ操作を検出し、
前記ユーザのタッチ操作の内容に基づいて、前記他の情報処理装置において前記共有画像の撮影方向又は撮影倍率の少なくとも一方を変更するように前記他の情報処理装置のユーザに対して指示する指示情報を生成し、
前記通信部は、前記指示情報を前記他の情報処理装置に送信する。
【発明の効果】
【0021】
本開示の一実施形態に係る情報処理方法、情報処理プログラム、及び情報処理装置によれば、遠隔指示による現場の撮影作業が効率化される。
【図面の簡単な説明】
【0022】
【
図1】一実施形態に係る情報処理システムの構成例を示す模式図である。
【
図2】一実施形態に係る情報処理システムの構成例を示すブロック図である。
【
図4A】共有画像を表示した第2情報処理装置のタッチパネルにおいて、撮影範囲を上側に移動させる指示を第2ユーザが入力する動作例を示す図である。
【
図4B】第1情報処理装置において、撮影範囲を上側に移動させる指示情報を共有画像に重畳して表示した画面の一例を示す図である。
【
図5A】共有画像を表示した第2情報処理装置のタッチパネルにおいて、撮影範囲を下側に移動させる指示を第2ユーザが入力する動作例を示す図である。
【
図5B】第1情報処理装置において、撮影範囲を下側に移動させる指示情報を共有画像に重畳して表示した画面の一例を示す図である。
【
図6A】共有画像を表示した第2情報処理装置のタッチパネルにおいて、撮影範囲を左側に移動させる指示を第2ユーザが入力する動作例を示す図である。
【
図6B】第1情報処理装置において、撮影範囲を左側に移動させる指示情報を共有画像に重畳して表示した画面の一例を示す図である。
【
図7A】共有画像を表示した第2情報処理装置のタッチパネルにおいて、撮影範囲を右側に移動させる指示を第2ユーザが入力する動作例を示す図である。
【
図7B】第1情報処理装置において、撮影範囲を右側に移動させる指示情報を共有画像に重畳して表示した画面の一例を示す図である。
【
図8A】共有画像を表示した第2情報処理装置のタッチパネルにおいて、所定範囲を拡大して撮影する指示を第2ユーザが入力する動作例を示す図である。
【
図8B】第1情報処理装置において、拡大して撮影する指示情報を共有画像に重畳して表示した画面の一例を示す図である。
【
図9A】指示情報で指定された所定範囲を拡大して撮影するまでのカウントダウン中の第1情報処理装置の画面表示例を示す図である。
【
図9B】
図9Aのカウントダウン終了時の第1情報処理装置の画面表示例を示す図である。
【
図10】一実施形態に係る第1情報処理装置及び第2情報処理装置が実行する情報処理装置の手順例を示すフローチャートである。
【
図11】指示情報に従って共有画像を撮影する撮影範囲が変化しているかを第1情報処理装置が判定する手順例を示すフローチャートである。
【発明を実施するための形態】
【0023】
工事現場又は建築現場等の作業現場において遠隔臨場が実施されている。遠隔臨場は、現場の立会検査又は確認等の臨場をリモートで実施することである。具体的に、遠隔臨場において、現場にいる作業員が端末を用いて現場を撮影する。現場を撮影した画像は、現場から離れた場所に存在する少なくとも1つの端末に送信され、端末に表示される。現場から離れた場所にいる立会者、監督者又は受発注者等は、現場を撮影した画像を視認することによって、現場の立会検査又は確認等を実施できる。
【0024】
遠隔臨場において、リモートで現場を確認する立会者、監督者又は受発注者等は、現場の検査対象又は確認対象等が画像に写るように、撮影範囲を現場の作業員に指示する。以下、現場の作業員が撮影範囲を理解しやすくすることによって、遠隔指示による現場の撮影作業を効率化できる情報処理システム1(
図1参照)、並びに、情報処理方法及び情報処理プログラムが説明される。
【0025】
(情報処理システム1の概要)
図1に示されるように、一実施形態に係る情報処理システム1は、第1情報処理装置10と、第2情報処理装置20とを備える。第1情報処理装置10又は第2情報処理装置20は、単に情報処理装置とも称される。第1情報処理装置10と第2情報処理装置20とは、ネットワーク80を介して通信可能に接続される。第1情報処理装置10と第2情報処理装置20とは、ネットワーク80を介さずに専用の通信回線で互いに通信可能に接続されてもよい。
【0026】
第1情報処理装置10は、第1ユーザ81の操作によって遠隔臨場の対象となる現場を撮影し、撮影した現場の画像を第2情報処理装置20に送信する。第2情報処理装置20は、第1情報処理装置10で撮影された現場の画像を受信し、第2ユーザ82が現場の画像を視認できるように表示する。このようにすることで、第2情報処理装置20は、第1情報処理装置10で撮影された現場の画像を、第1情報処理装置10とリアルタイムで共有できる。共有された現場の画像は、共有画像とも称される。
【0027】
第2情報処理装置20は、第2ユーザ82の操作を受け付け、第2ユーザ82から第1ユーザ81に対して、第1情報処理装置10で現場を撮影するときの撮影範囲を指示する情報を送信する。第1情報処理装置10は、第2情報処理装置20から受信した撮影範囲の指示を、第1ユーザ81が認識できるように出力する。第1ユーザ81は、第1情報処理装置10を移動させたり操作したりすることによって、第2ユーザ82からの指示に応じて、第1情報処理装置10で現場を撮影するときの撮影範囲を設定できる。
【0028】
(情報処理システム1の構成例)
図2に示されるように、第1情報処理装置10は、制御部11と、通信部12と、表示部13と、撮影部14と、出力部15とを備える。第2情報処理装置20は、制御部21と、通信部22と、表示部23と、入力部24とを備える。
【0029】
第1情報処理装置10の制御部11は、第1情報処理装置10の各構成部を制御する。第2情報処理装置20の制御部21は、第2情報処理装置20の各構成部を制御する。制御部11又は21は、1つ以上のプロセッサを含んで構成されてよい。本実施形態において「プロセッサ」は、汎用のプロセッサ又は特定の処理に特化した専用のプロセッサ等を含んでよいがこれらに限られない。制御部11又は21は、1つ以上の専用回路を含んで構成されてもよい。専用回路は、例えばFPGA(Field-Programmable Gate Array)又はASIC(Application Specific Integrated Circuit)等を含んでよい。制御部11又は21は、プロセッサの代わりに専用回路を含んで構成されてもよいし、プロセッサとともに専用回路を含んで構成されてもよい。
【0030】
制御部11は、第1情報処理装置10の各構成部を動作させるための各種情報又はプログラム等を格納する記憶部を備えてよい。制御部21は、第2情報処理装置20の各構成部を動作させるための各種情報又はプログラム等を格納する記憶部を備えてよい。記憶部は、システムプログラム、又はアプリケーションプログラム等を格納してよい。記憶部は、例えば半導体メモリ、磁気メモリ、又は光メモリ等を含んで構成されてよい。記憶部は、磁気ディスク等の電磁記憶媒体を含んで構成されてもよい。記憶部は、非一時的なコンピュータ読み取り可能な媒体を含んで構成されてもよい。記憶部は、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。記憶部は、制御部11又は21のワークメモリとして機能してよい。記憶部は、制御部11又は21と一体に構成されてもよいし、制御部11又は21と別体で構成されてもよい。
【0031】
第1情報処理装置10の通信部12は、第2情報処理装置20等の他の装置とネットワーク80を介して通信可能に構成される通信モジュールを含んで構成されてよい。第2情報処理装置20の通信部22は、第1情報処理装置10等の他の装置とネットワーク80を介して通信可能に構成される通信モジュールを含んで構成されてよい。通信モジュールは、例えば4G(4th Generation)又は5G(5th Generation)等の移動体通信規格に対応してよい。通信モジュールは、LAN(Local Area Network)等の通信規格に対応してもよい。通信モジュールは、有線又は無線の通信規格に対応してもよい。通信モジュールは、これらに限られず、種々の通信規格に対応してよい。ネットワーク80は、有線であっても無線であってもよい。ネットワーク80は、インターネット又はイントラネット等の種々の態様で構成されてよい。通信部12は、第2情報処理装置20等の他の装置とネットワーク80を介さずに直接通信するように構成されてもよい。通信部22は、第1情報処理装置10等の他の装置とネットワーク80を介さずに直接通信するように構成されてもよい。
【0032】
第1情報処理装置10の表示部13又は第2情報処理装置20の表示部23は、テキストデータ又は画像データを表示できるように、例えば液晶ディスプレイ、有機EL(Electro-Luminescence)若しくは無機ELディスプレイ、又はLED(Light Emitting Diode)ディスプレイ等の種々のディスプレイを含む。
【0033】
第1情報処理装置10の撮影部14は、例えばカメラ又は撮像素子等を含んで構成される。撮影部14は、第1情報処理装置10の筐体に取り付けられてよい。撮影部14が第1情報処理装置10の筐体に取り付けられている場合、第1ユーザ81は、第1情報処理装置10の筐体の姿勢を変化させることによって、撮影部14による撮影方向を設定できる。また、第1ユーザ81は、撮影部14が撮影する対象に第1情報処理装置10を近づけることによって、撮影部14で対象を撮影するときの撮影倍率を大きくできる。つまり、第1ユーザ81は、撮影部14と撮影対象との距離を変更することによって、撮影倍率を設定できる。第1ユーザ81は、撮影部14による撮影方向又は撮影部14が撮影する対象までの距離を変更することによって撮影範囲を設定できる。
【0034】
撮影部14は、撮影倍率を変更可能な光学系を備えてもよい。撮影部14が撮影倍率を変更できる場合、制御部11は、第1ユーザ81の操作入力によって撮影部14の撮影倍率を変更してよい。
【0035】
撮影部14は、撮影方向を変更可能に設置されてよい。撮影方向は、カメラ又は撮像素子等からその撮影範囲の中心に向かう方向であるとする。撮影方向は、カメラ又は撮像素子等の光軸の方向であってもよい。撮影部14は、その撮影方向が第1情報処理装置10の筐体に対して少なくとも1つの軸の周りに変更されるように構成されてよい。撮影部14は、その撮影方向を変更できるように、例えば自動又は手動で姿勢を制御できる雲台に設置されてよい。雲台は、制御部11によって制御されてよい。雲台が制御部11によって制御される場合、制御部11は、第1ユーザ81の操作入力によって撮影部14の撮影方向を変更してよい。雲台は、第1ユーザ81が直接触れて操作できる操作レバー等を備えてもよい。
【0036】
第1情報処理装置10の出力部15は、第1ユーザ81に対して聴覚情報を与えるように音声を出力する音声出力デバイスを含んでよい。音声出力デバイスは、例えば、スピーカ、ヘッドホン又はイヤホン等を含んでよい。出力部15は、第1ユーザ81に対して触覚情報を与えるように所定パターンで振動する振動デバイスを含んで構成されてよい。第1情報処理装置10は、出力部15を備えなくてもよい。
【0037】
第2情報処理装置20の入力部24は、第2ユーザ82から情報又はデータ等の入力を受け付ける入力デバイスを含んでよい。入力デバイスは、例えば、タッチセンサ又はマウス等のポインティングデバイスを含んでよい。入力デバイスは、表示部23と一体化したタッチディスプレイとして構成されてもよい。入力デバイスは、物理キーを含んでもよい。入力デバイスは、マイク等の音声入力デバイスを含んでもよい。
【0038】
第1情報処理装置10は、入力部を更に備えてもよい。入力部は、入力デバイスを含んでよい。入力デバイスは、表示部13と一体化したタッチディスプレイとして構成されてもよい。
【0039】
第1情報処理装置10は、加速度センサ又は角速度センサ等のセンサを更に備えてもよい。第1情報処理装置10は、センサの検出結果に基づいて第1情報処理装置10自身の姿勢を検出してよい。
【0040】
図2に例示される情報処理システム1において、1台の第1情報処理装置10が撮影した現場の画像を2台の第2情報処理装置20のそれぞれに送信する。各第2情報処理装置20は、第1情報処理装置10から受信した現場の画像を表示する。情報処理システム1は、同一又は類似に構成される複数の端末装置を備えてよい。情報処理システム1の複数の端末装置のうち、1台の端末装置が第1情報処理装置10として機能してよい。他の端末装置が第2情報処理装置20として機能してよい。つまり、情報処理システム1は、第1情報処理装置10として機能する1台の端末装置と、第2情報処理装置20として機能する1台又は2台以上の端末装置を備えてよい。情報処理システム1の複数の端末装置のそれぞれは、第1情報処理装置10又は第2情報処理装置20のどちらとしても機能できるように構成されてよい。
【0041】
第1情報処理装置10又は第2情報処理装置20は、例えば、ノートPC(Personal Computer)若しくはタブレットPC等のコンピュータ、又は、スマートフォン等の端末装置として実現されてもよい。第1情報処理装置10又は第2情報処理装置20は、これらの例に限られず、種々の機器を含んでよい。
【0042】
(情報処理システム1の動作例)
以下、情報処理システム1において、第1ユーザ81と1又は複数の第2ユーザ82とが現場の画像を共有できるように、第1情報処理装置10及び1又は複数の第2情報処理装置20のそれぞれが現場を撮影した画像を表示する動作が説明される。
【0043】
<第1情報処理装置10で撮影した画像の共有>
第1情報処理装置10は、第1ユーザ81によって操作される。第1ユーザ81は、撮影部14によって遠隔臨場の対象となる現場の画像を撮影する。第1情報処理装置10の制御部11は、撮影部14で現場を撮影した画像を表示部13に表示するとともに、撮影部14で現場を撮影した画像を共有画像として通信部12で1又は複数の第2情報処理装置20に送信する。
【0044】
1又は複数の第2情報処理装置20は、第1情報処理装置10から送信された現場の画像を共有画像として通信部22で受信し、表示部23に表示する。第1情報処理装置10及び1又は複数の第2情報処理装置20のそれぞれが現場の画像を表示することによって、現場の画像が共有画像として第1ユーザ81と1又は複数の第2ユーザ82とで共有される。
【0045】
第1情報処理装置10の表示部13又は第2情報処理装置20の表示部23は、例えば
図3に示されるように、共有画像を画像表示領域30に表示してよい。
【0046】
表示部13又は23は、アイコン表示領域40又は48に各種のアイコンを表示してよい。画面上部のアイコン表示領域40に表示されているユーザアイコン41又は42は、共有画像を共有している第1ユーザ81又は第2ユーザ82を表す。
図3の例において、ユーザアイコン41は、「P山」と称される第2ユーザ82を表す。ユーザアイコン42は、「Q川」と称される第2ユーザ82を表す。終了アイコン43は、第1ユーザ81又は第2ユーザ82等の通話者本人の画面共有を終了すること、通話者本人が通話から離脱すること、又は、画面共有に参加している第1ユーザ81及び第2ユーザ82等の通話者全員の通話を強制的に終了すること等のいずれかを実行する機能に対応してよい。終了アイコン43は、通話又は画面共有等の動作の終了を選択して実行する機能に対応してもよい。第1ユーザ81又は第2ユーザ82が終了アイコン43をタップしたりクリックしたりすることによって共有画像の共有が終了される。
【0047】
画面下部のアイコン表示領域48に表示されているメッセージアイコン44は、共有画像を共有している第1ユーザ81又は第2ユーザ82がメッセージを送信する機能に対応する。第1ユーザ81又は第2ユーザ82がメッセージアイコン44をタップしたりクリックしたりすることによって画像表示領域30においてメッセージ枠33が表示される。第1ユーザ81又は第2ユーザ82は、メッセージ枠33にメッセージを入力して他のユーザにメッセージを送信できる。
【0048】
画面下部のアイコン表示領域48に表示されているマイクアイコン45は、第1ユーザ81又は第2ユーザ82が通話中にミュートにするかミュートを解除するかを選択する機能に対応する。第1ユーザ81又は第2ユーザ82がマイクアイコン45をタップしたりクリックしたりすることによって音声による会話が開始される。
【0049】
画面下部のアイコン表示領域48に表示されているカメラアイコン46は、画面共有を開始する機能に対応する。具体的に、ユーザは、カメラアイコン46を操作することによって、その情報処理装置で画面共有を開始できる。また、ポインタアイコン47は、共有画像に重畳するポインタの表示と非表示とを切り替える機能に対応する。
【0050】
<共有画像に重畳したポインタの表示>
第2情報処理装置20は、第2ユーザ82が共有画像の特定の座標を第1ユーザ81又は他の第2ユーザ82に指し示すことができるように、共有画像に重畳して表示するポインタの座標を送信してよい。
【0051】
具体的に、第2情報処理装置20の制御部21は、第2情報処理装置20の入力部24によって第2ユーザ82が共有画像に重畳してポインタを表示したい座標を指定する操作を受け付けてよい。例えばユーザがポインタの座標を指定する機能に対応するアイコン等をタップしたりクリックしたりすることによって、制御部21は、入力部24でポインタの座標を指定する入力を受け付けるモードに遷移してよい。制御部21は、ポインタを表示するモードに切り替えたときに、入力部24でポインタの座標を指定する入力を受け付けるモードに遷移してもよい。制御部21は、入力部24への操作入力によって第2ユーザ82が指定したポインタの座標を、通信部22によって第1情報処理装置10に送信する。第1情報処理装置10は、通信部12によって第2情報処理装置20からポインタの座標を受信し、共有画像にポインタを表示する。制御部21は、他の第2情報処理装置20にポインタを表示させるように、ポインタの座標を他の第2情報処理装置20に送信してもよい。
【0052】
第1情報処理装置10の表示部13は、例えば
図3に示されるように、画像表示領域30に表示されている共有画像にポインタ31又は32を重畳して表示してよい。ポインタ31は、「P山」と称される第2ユーザ82が指定した座標に表示されている。ポインタ32は、「Q川」と称される第2ユーザ82が指定した座標に表示されている。
図3の例において、2つのポインタが2人の第2ユーザ82のそれぞれが指定した座標に表示されている。ポインタの座標を指定するユーザの数は、2人に限られず、0人又は1人であってもよいし、3人以上であってもよい。つまり、表示されるポインタの数は、2個に限られず、0個又は1個であってもよいし3個以上であってもよい。
【0053】
ポインタは、第1ユーザ81が共有画像の特定の座標を第2ユーザ82に指し示すために表示されてもよい。具体的に、第1情報処理装置10の制御部11は、第1情報処理装置10の入力部によって第1ユーザ81が共有画像に重畳してポインタを表示したい座標を指定する操作を受け付けてよい。制御部11は、第1情報処理装置10の入力部への操作入力によって第1ユーザ81が指定したポインタの座標を、通信部12によって第2情報処理装置20に送信する。第2情報処理装置20は、通信部22によって第1情報処理装置10からポインタの座標を受信し、共有画像に重畳して第1情報処理装置10に対応するポインタを表示する。
【0054】
<共有画像の撮影範囲の指示>
第2ユーザ82は、検査対象又は確認対象が写っている共有画像を見ることによって、遠隔臨場を実施できる。第2ユーザ82は、検査対象又は確認対象が共有画像に写るように、共有画像の撮影範囲を第1ユーザ81に指示する。第2ユーザ82は、共有画像の撮影範囲の指示として、第1情報処理装置10の撮影部14による共有画像の撮影方向又は撮影倍率の少なくとも一方を第1ユーザ81に指示してよい。
【0055】
具体的に、第2情報処理装置20の制御部21は、入力部24によって第2ユーザ82から共有画像の撮影範囲を変更する指示の入力を受け付けてよい。例えば第2ユーザ82が共有画像の撮影範囲の変更を指示する機能に対応するアイコン等をタップしたりクリックしたりすることによって、制御部21は、入力部24で共有画像の撮影範囲を変更する指示の入力を受け付けるモードに遷移してよい。制御部21は、画面共有を開始したときに共有画像の撮影範囲を変更する指示の入力を受け付けるモードに遷移してもよい。している状態で制御部21は、第2ユーザ82が入力部24で入力した、共有画像の撮影範囲を変更する指示に基づく指示情報を第1情報処理装置10に送信する。指示情報は、第1情報処理装置10の撮影部14で共有画像を撮影するときの撮影範囲を変更するように第2ユーザ82から第1ユーザ81に対して指示する情報である。
【0056】
第1ユーザ81は、撮影部14で現場を撮影するときの撮影範囲を設定できる。撮影部14で現場を撮影するときの撮影範囲は、撮影部14の撮影方向及び撮影倍率によって定まる。したがって、第1ユーザ81は、撮影部14で現場を撮影するときの撮影方向又は撮影倍率の少なくとも一方を変更することによって撮影範囲を設定できる。指示情報は、第1情報処理装置10の撮影部14で共有画像を撮影するときの撮影方向又は撮影倍率の少なくとも一方を変更するように第2ユーザ82から第1ユーザ81に対して指示する情報を含んでよい。
【0057】
第1情報処理装置10の制御部11は、第2情報処理装置20から指示情報を受信し、表示部13によって指示情報を表示したり出力部15によって指示情報を出力したりすることによって、共有画像の撮影範囲の変更の指示を第1ユーザ81に認識させる。
【0058】
撮影部14が第1情報処理装置10の筐体に取り付けられている場合、第1ユーザ81は、第1情報処理装置10を移動させたり第1情報処理装置10の姿勢を変化させたりすることによって、指示情報に基づいて撮影部14の撮影方向又は撮影倍率の少なくとも一方を設定してよい。撮影部14がその撮影倍率を変更可能に構成されている場合、第1ユーザ81は、撮影部14の撮影倍率を変更する操作を第1情報処理装置10の入力部に入力し、第1情報処理装置10の制御部11に撮影倍率を制御させることによって、指示情報に基づいて撮影部14の撮影倍率を設定してよい。撮影部14がその撮影方向を変更可能に構成されている場合、第1ユーザ81は、撮影部14の撮影方向を変更する操作を第1情報処理装置10の入力部に入力し、制御部11に撮影方向を制御させることによって、指示情報に基づいて撮影部14の撮影方向を設定してよい。
【0059】
第2情報処理装置20の制御部21は、入力部24によって種々の態様で第2ユーザ82からの指示情報の入力を受け付けてよい。第2情報処理装置20が表示部23と入力部24とが一体化したタッチパネルを備える場合、制御部21は、共有画像をタッチパネルに表示するとともに、第2ユーザ82がタッチパネルに入力したタッチ操作の内容を検出してよい。制御部21は、第2ユーザ82がタッチパネルに入力したタッチ操作の内容に基づいて、指示情報を生成してよい。
【0060】
制御部21は、第2ユーザ82のタッチ操作が方向を特定する内容である場合、指示情報として、第1情報処理装置10で共有画像を撮影するときの撮影方向を、第2ユーザ82のタッチ操作で特定される方向に変更させる方向指示を指示情報として生成し、第1情報処理装置10に送信してよい。第1情報処理装置10の制御部11は、第1情報処理装置10の撮影部14で共有画像を撮影するときの撮影方向を、第2情報処理装置20から受信した方向指示によって指示された方向へ誘導する情報を出力してよい。制御部11は、撮影方向を誘導する情報として、誘導する方向を第1ユーザ81に認識させる表示を共有画像に重畳してよい。
【0061】
撮影方向を変更する指示の一例として、制御部21は、共有画像の撮影範囲を変更する指示の入力を受け付けるモードにおいて、
図4Aに示されるように、画像表示領域30の上方の一部に方向指示領域331を設定する。制御部21は、方向指示領域331を共有画像に重畳して表示してもよいし表示しなくてもよい。制御部21は、第2ユーザ82が指821等によって方向指示領域331をタッチした場合、第2ユーザ82が共有画像の撮影方向を上の方に移動させる指示を入力したと認識する。制御部21は、指示情報として、共有画像の撮影方向を上の方に移動させるように第1ユーザ81に通知する情報を第1情報処理装置10に送信する。
【0062】
第1情報処理装置10の制御部11は、第2情報処理装置20から受信した指示情報を種々の態様で出力してよい。制御部11は、例えば表示部13において共有画像に重畳する態様で指示情報を出力してよい。制御部11は、指示情報として、共有画像の撮影方向を上の方に移動させる指示を受信した場合、
図4Bに例示されるように、画像表示領域30の上方において共有画像に重畳して方向指示341を表示してよい。第1ユーザ81は、方向指示341を視認することによって共有画像の撮影方向を上方に移動させる指示を認識できる。
【0063】
撮影方向を変更する指示の他の例として、第2情報処理装置20の制御部21は、共有画像の撮影範囲を変更する指示の入力を受け付けるモードにおいて、
図5Aに示されるように、画像表示領域30の下方の一部に方向指示領域332を設定する。制御部21は、方向指示領域332を共有画像に重畳して表示してもよいし表示しなくてもよい。制御部21は、第2ユーザ82が指821等によって方向指示領域332をタッチした場合、第2ユーザ82が共有画像の撮影方向を下の方に移動させる指示を入力したと認識する。制御部21は、指示情報として、共有画像の撮影方向を下の方に移動させるように第1ユーザ81に通知する情報を第1情報処理装置10に送信する。第1情報処理装置10の制御部11は、指示情報として、共有画像の撮影方向を下の方に移動させる指示を受信した場合、
図5Bに例示されるように、画像表示領域30の下方において共有画像に重畳して方向指示342を表示してよい。第1ユーザ81は、方向指示342を視認することによって共有画像の撮影方向を下方に移動させる指示を認識できる。
【0064】
撮影方向を変更する指示の他の例として、第2情報処理装置20の制御部21は、共有画像の撮影範囲を変更する指示の入力を受け付けるモードにおいて、
図6Aに示されるように、画像表示領域30の左方の一部に方向指示領域333を設定する。制御部21は、方向指示領域333を共有画像に重畳して表示してもよいし表示しなくてもよい。制御部21は、第2ユーザ82が指821等によって方向指示領域333をタッチした場合、第2ユーザ82が共有画像の撮影方向を左の方に移動させる指示を入力したと認識する。制御部21は、指示情報として、共有画像の撮影方向を左の方に移動させるように第1ユーザ81に通知する情報を第1情報処理装置10に送信する。第1情報処理装置10の制御部11は、指示情報として、共有画像の撮影方向を左の方に移動させる指示を受信した場合、
図6Bに例示されるように、画像表示領域30の左方において共有画像に重畳して方向指示343を表示してよい。第1ユーザ81は、方向指示343を視認することによって共有画像の撮影方向を左方に移動させる指示を認識できる。
【0065】
撮影方向を変更する指示の他の例として、第2情報処理装置20の制御部21は、共有画像の撮影範囲を変更する指示の入力を受け付けるモードにおいて、
図7Aに示されるように、画像表示領域30の右方の一部に方向指示領域334を設定する。制御部21は、方向指示領域334を共有画像に重畳して表示してもよいし表示しなくてもよい。制御部21は、第2ユーザ82が指821等によって方向指示領域334をタッチした場合、第2ユーザ82が共有画像の撮影方向を右の方に移動させる指示を入力したと認識する。制御部21は、指示情報として、共有画像の撮影方向を右の方に移動させるように第1ユーザ81に通知する情報を第1情報処理装置10に送信する。第1情報処理装置10の制御部11は、指示情報として、共有画像の撮影方向を右の方に移動させる指示を受信した場合、
図7Bに例示されるように、画像表示領域30の右方において共有画像に重畳して方向指示344を表示してよい。第1ユーザ81は、方向指示344を視認することによって共有画像の撮影方向を右方に移動させる指示を認識できる。
【0066】
遠隔臨場の現場において特定の箇所を検査又は確認するためのその箇所を拡大した撮影が求められることがある。第2情報処理装置20の制御部21は、第2ユーザ82のタッチ操作が共有画像の所定位置を特定する内容である場合、第1情報処理装置10で共有画像を撮影するときの撮影範囲を、所定位置が拡大されるように変更させる範囲指示を指示情報として生成し、第1情報処理装置10に送信してよい。第1情報処理装置10の制御部11は、第2情報処理装置20から受信した範囲指示によって指示された撮影範囲を共有画像に重畳して表示してよい。
【0067】
特定の箇所を拡大した撮影のために撮影倍率及び撮影方向を変更する指示の一例として、制御部21は、共有画像の撮影範囲を変更する指示の入力を受け付けるモードにおいて、
図8Aに示されるように、拡大する対象の領域の境界335の入力を受け付けてよい。境界335は、第2ユーザ82の指821のスライドによって入力されてよい。制御部21は、第2ユーザ82が指821等によって境界335を入力した場合、第2ユーザ82が境界335で囲まれる領域を拡大するように撮影範囲を変更する指示を入力したと認識してよい。制御部21は、指示情報として、境界335の上方を第1情報処理装置10に送信してよい。
【0068】
第1情報処理装置10の制御部11は、指示情報として、境界335の情報を受信した場合、
図8Bに例示されるように、画像表示領域30において共有画像に重畳して拡大領域345を表示してよい。第1ユーザ81は、拡大領域345を視認することによって、拡大領域345を拡大するように共有画像の撮影範囲を変更する指示を認識できる。拡大領域345による指示は、拡大領域345に含まれる座標に向けて撮影方向を変更する指示と、撮影倍率を高くする指示とを含む。つまり、拡大領域345による指示は、撮影方向及び撮影倍率の両方を変更する指示を含む。
【0069】
制御部11は、指定箇所を拡大して撮影する指示とともに、第1ユーザ81に対して指定箇所を拡大した撮影範囲を速やかに設定するように促すために、
図9A及び
図9Bに例示されるようにカウント35を表示してもよい。
図9Aにおいて、カウント35として数字の「2」が表示されている。
図9Bにおいて、カウント35として数字の「0」が表示されている。制御部11は、カウント35として表示する数字を小さくすることによってカウントダウンを実施し、カウント35と「0」を表示したときに自動的に静止画像を撮影してもよい。第1ユーザ81は、カウントダウンが始まった場合、カウント35が「0」になるまでに、指定箇所を拡大した撮影範囲で撮影できるように指定箇所に第1情報処理装置10の撮影部14を近づけてよい。
【0070】
以上述べてきたように、第2情報処理装置20の制御部21は、第2ユーザ82が共有画像の撮影方向を変更する指示を入力部24に入力した場合、第1情報処理装置10の撮影部14が現場を撮影する撮影方向を第2ユーザ82が指示する方向に変更するように第1ユーザ81に指示する情報を生成し、通信部22で第1情報処理装置10に送信する。制御部21は、第2ユーザ82が共有画像の撮影倍率を変更する指示を入力部24に入力した場合、第1情報処理装置10の撮影部14が現場を撮影する撮影倍率を第2ユーザ82が指示する倍率に変更するように第1ユーザ81に指示する情報を生成し、通信部22で第1情報処理装置10に送信する。制御部21は、入力部24によって、第2ユーザ82が共有画像の撮影方向及び撮影倍率の両方を変更する指示の入力を受け付けてもよいし、第2ユーザ82が共有画像の撮影方向又は撮影倍率の一方だけを変更する指示の入力を受け付けてもよい。
【0071】
<情報処理方法のフローチャートの例>
情報処理システム1は、
図10に例示されるフローチャートの手順を含む情報処理方法を実行してもよい。情報処理方法は、第1情報処理装置10の制御部11又は第2情報処理装置20の制御部21を構成するプロセッサに実行させる情報処理プログラムとして実現されてもよい。情報処理プログラムは、非一時的なコンピュータ読み取り可能な媒体に格納されてよい。
【0072】
第1情報処理装置10の制御部11は、撮影部14によって共有画像を撮影する(ステップS1)。制御部11は、共有画像を表示部13に表示するとともに、通信部12によって共有画像を第2情報処理装置20に送信する(ステップS2)。
【0073】
第2情報処理装置20の制御部21は、通信部22で第1情報処理装置10から共有画像を受信し、表示部23に共有画像を表示する(ステップS11)。制御部21は、入力部24で第2ユーザ82からのポインタの入力を受け付ける(ステップS12)。制御部21は、第2ユーザ82からの入力に基づいて、通信部22でポインタ座標を第1情報処理装置10に送信する(ステップS13)。制御部21は、ポインタを共有画像に重畳して表示部23に表示する(ステップS14)。
【0074】
第1情報処理装置10の制御部11は、通信部12で第2情報処理装置20からポインタ座標を受信する(ステップS3)。制御部11は、ポインタを共有画像に重畳して表示部13に表示する(ステップS4)。
【0075】
第2情報処理装置20の制御部21は、入力部24で撮影に関する指示情報の入力を受け付ける(ステップS15)。制御部21は、撮影に関する指示情報を通信部22で第1情報処理装置10に送信する(ステップS16)。
【0076】
第1情報処理装置10の制御部11は、通信部12で第2情報処理装置20から撮影に関する指示情報を受信し、表示部13又は出力部15で指示情報を出力する(ステップS5)。
【0077】
第1情報処理装置10の制御部11は、ステップS5の手順の実行後、
図10のフローチャートの手順の実行を終了する。第2情報処理装置20の制御部21は、ステップS16の手順の実行後、
図10のフローチャートの手順の実行を終了する。制御部11及び21は、
図10のフローチャートの手順をステップS1及びS11から繰り返してもよい。
【0078】
<小括>
以上述べてきたように、本実施形態に係る情報処理システム1において、遠隔臨場の現場を撮影する第1情報処理装置10と現場から離れて配置されている第2情報処理装置20とが遠隔臨場の現場を撮影した画像を共有できる。第2情報処理装置20が遠隔臨場の現場を撮影した画像を共有できることによって、第2情報処理装置20を用いる立会者、監督者又は受発注者等の第2ユーザ82は現場から離れた場所で現場を検査したり確認したりできる。また、第2情報処理装置20は、第2ユーザ82の操作入力に基づいて第1情報処理装置10に対して撮影範囲を指示する指示情報を送信する。第1情報処理装置10は、共有画像を表示部13に表示するとともに指示情報を表示部13に表示したり出力部15で出力したりできる。
【0079】
ここで、比較例に係るシステムとして、遠隔臨場を実施する立会者又は監督者等が現場を撮影する作業者と双方向に音声で連絡することによって現場を撮影するときの撮影範囲を指示することが考えられる。この場合、音声のみの連絡で正確に撮影範囲が特定されにくい。撮影範囲が正確に特定されない場合、現場作業者が管理者の指示どおりに画像を撮影するために、何度も再撮影が必要になる。
【0080】
一方で、本実施形態に係る情報処理システム1によれば、現場を撮影する第1ユーザ81に対する指示情報として撮影方向又は撮影倍率の少なくとも一方を変更する情報が送信される。このようにすることで、第1ユーザ81が撮影範囲の指示を正確に理解しやすくなる。その結果、遠隔指示による現場の撮影作業の効率が高められる。
【0081】
(他の実施形態)
以下、他の実施形態に係る情報処理システム1の構成例が説明される。
【0082】
<指示情報への対応の判定>
第1情報処理装置10の制御部11は、第2情報処理装置20から受信した指示情報を出力して第1ユーザ81に通知した後、第1ユーザ81が指示情報に従って共有画像の撮影範囲を変更しているか判定してよい。制御部11は、第1ユーザ81が指示情報に従って共有画像の撮影範囲を変更していないと判定した場合、第1ユーザ81に対して共有画像の撮影範囲の変更を促すアラートを出力してよい。制御部11は、表示部13にアラートを表示したり出力部15からアラートを出力したりしてよい。制御部11は、画面への文字又は画像等を表示部13に表示することによってアラートを出力してよい。制御部11は、音声情報又は振動情報等の第1ユーザ81に対して刺激を与える情報をアラートとして、出力部15から出力してもよい。
【0083】
具体的に、制御部11は、指示情報を表示部13に表示したり出力部15で出力したりした後で、撮影部14で撮影している画像の撮影範囲の変化を算出してよい。制御部11は、撮影部14で撮影している画像の撮影範囲の変化が指示情報で特定される撮影範囲の変更の指示に従っているかを判定してよい。
【0084】
例えば、指示情報は、撮影方向の変更を角度の大きさとして表してよい。この場合、制御部11は、画像の撮影方向の変化を角度の大きさとして算出してよい。制御部11は、画像の撮影方向の変化を表す角度の大きさが、指示情報において撮影方向の変更を表す角度の大きさに近づいている場合に、画像の撮影範囲の変化が指示情報で特定される撮影範囲の変更の指示に従っていると判定してよい。逆に、制御部11は、画像の撮影方向の変化を表す角度の大きさと指示情報において撮影方向の変更を表す角度の大きさとの差が撮影方向の角度変化の判定閾値より大きい場合に、画像の撮影範囲の変化が指示情報で特定される撮影範囲の変更の指示に従っていないと判定してもよい。
【0085】
例えば、指示情報は、撮影方向の変更を、共有画像の中央に写すように求められる物体を特定する情報であってよい。この場合、制御部11は、画像の撮影方向の変化を、共有画像の中央に写すように求められている物体の座標の変化として算出してよい。制御部11は、共有画像の中央に写すように求められている物体の座標の変化が画像の中央に近づく変化である場合に、画像の撮影範囲の変化が指示情報で特定される撮影範囲の変更の指示に従っていると判定してよい。逆に、制御部11は、共有画像の中央に写すように求められている物体から共有画像の中央までの距離が距離の判定閾値より大きい場合に、画像の撮影範囲の変化が指示情報で特定される撮影範囲の変更の指示に従っていないと判定してもよい。
【0086】
例えば、指示情報は、撮影倍率の変更を、撮影倍率の変化率として特定する情報であってよい。この場合、制御部11は、画像の撮影倍率の変化を、画像に写っている物体の大きさの変化として算出してよい。制御部11は、画像の撮影倍率の変化を表す値が、指示情報において特定されている撮影倍率の変化率に近づいている場合に、画像の撮影範囲の変化が指示情報で特定される撮影範囲の変更の指示に従っていると判定してよい。逆に、制御部11は、画像の撮影倍率の変化を表す値と指示情報において特定されている撮影倍率の変化率との差が撮影倍率の変化の判定閾値より大きい場合に、画像の撮影範囲の変化が指示情報で特定される撮影範囲の変更の指示に従っていないと判定してもよい。
【0087】
<<フローチャート例>>
第1情報処理装置10の制御部11は、
図11に例示されるフローチャートの手順を含む情報処理方法を実行してもよい。情報処理方法は、制御部11を構成するプロセッサに実行させる情報処理プログラムとして実現されてもよい。情報処理プログラムは、非一時的なコンピュータ読み取り可能な媒体に格納されてよい。
【0088】
制御部11は、共有画像を撮影する(ステップS21)。制御部11は、第2情報処理装置20から通信部12で撮影に関する指示情報を受信し、表示部13又は出力部15で指示情報を出力する(ステップS22)。
【0089】
制御部11は、指示情報を出力した後に共有画像を撮影する(ステップS23)。制御部11は、ステップS21で撮影した共有画像の撮影範囲からステップS23で撮影した共有画像の撮影範囲への変化を算出する(ステップS24)。
【0090】
制御部11は、撮影範囲の変化が指示情報に従っているか判定する(ステップS25)。制御部11は、撮影範囲の変化が指示情報に従っていない場合(ステップS25:NO)、表示部13又は出力部15で第1ユーザ81に対してアラートを出力する(ステップS26)。制御部11は、ステップS26の手順の実行後、
図11のフローチャートの手順の実行を終了する。制御部11は、撮影範囲の変化が指示情報に従っている場合(ステップS25:YES)、
図11のフローチャートの手順の実行を終了する。
【0091】
<指示情報の入力態様の例>
上述してきた実施形態において、第2ユーザ82が撮影方向を指示する情報の入力態様として、
図4A及び
図4B等に基づいて、共有画像の中に設定した方向指示領域に第2ユーザ82がタッチすることが説明された。撮影方向を指示する情報の他の入力態様として、方向指示領域へのタッチだけでなく、方向指示領域におけるスライド入力又はフリック入力が採用されてもよい。単なるタッチだけでなく動きを加えることによって方向指示が誤って入力されることが避けられる。また、撮影方向を指示する情報の他の入力態様として、方向指示領域にかかわらず、タッチパネルの任意の位置におけるスライド入力又はフリック入力が採用されてもよい。方向指示領域にかかわらず入力できることによって、方向指示の操作が簡略化される。
【0092】
上述してきた実施形態において、第2ユーザ82が撮影倍率を指示する情報の入力態様として、
図8A及び
図8Bに基づいて、共有画像の中で拡大したい領域の境界335を第2ユーザ82がスライド入力することが説明された。撮影倍率を指示する情報の他の入力態様として、共有画像の中で拡大したい部分にピンチアウトの操作を入力する方法が採用されてもよい。また、共有画像に写っていない周囲も含めて写すように全体を縮小したい場合にピンチインの操作を入力する方法が採用されてもよい。また、共有画像の中で拡大したい部分をダブルタップ又はダブルクリックする操作を入力する方法が採用されてもよい。
【0093】
以上述べてきたように、第2情報処理装置20の制御部21は、入力部24における第2ユーザ82の、タップ若しくはクリック、ダブルタップ若しくはダブルクリック、スライド若しくはフリック、ピンチアウト、又は、ピンチイン等の種々のタッチ操作の内容に基づいて指示情報を生成してよい。
【0094】
<指示情報の出力態様の例>
上述してきた実施形態において、第1情報処理装置10の制御部11が撮影方向を誘導するために第1ユーザ81に対して撮影方向を指示する情報を出力する態様として、共有画像に重畳して方向指示341~344を表示することが説明された。撮影方向を指示する情報の他の出力態様として、制御部11は、方向指示を静止画像に限られずアニメーション画像として表示してもよい。方向指示のアニメーション画像は、例えば撮影方向を右方向に誘導する場合に、右方向に流れるように矢印等のマークが表示される画像を含んでよい。撮影方向を指示する情報の他の出力態様として、制御部11は、共有画像全体を、撮影方向を誘導する方向に動かすように表示してもよい。
【0095】
撮影方向を指示する情報の他の出力態様として、制御部11は、撮影方向の変更を指示する情報を第1ユーザ81に対する触覚情報として与えるために、出力部15の振動デバイスを所定のパターンで振動させてもよい。所定のパターンは、第1ユーザ81が所定方向へ引っ張られる感覚を得られるように設定されてよい。所定方向は、撮影方向を変更するために第1情報処理装置10を動かす方向に対応する。
【0096】
上述してきた実施形態において、第1情報処理装置10の制御部11が撮影範囲を指示する情報を出力する態様として、共有画像に重畳して拡大領域345を表示することが説明された。撮影範囲を指示する情報の他の出力態様として、制御部11は、拡大領域345を静止画像に限られずアニメーション画像として表示してもよい。対象箇所の拡大を指示するアニメーション画像は、例えば対象箇所を中心として外側に広がるように外向きの矢印等のマークが表示される画像を含んでよい。逆に、撮影倍率を小さくして撮影範囲を周囲に広げることを指示するアニメーション画像は、例えば共有画像の4つの隅において内側に流れるように内向きの矢印等のマークが表示される画像を含んでよい。
【0097】
制御部11は、指示情報で拡大するように指示されている所定位置において共有画像に写っている物体を強調する表示を重畳してよい。例えば、制御部11は、拡大対象が配線、配管、ジョイント、又はタイル等の部材、又は、柱、壁、天井若しくは床等の構造物である場合に、拡大対象の部材又は構造物を強調して表示してもよい。このようにすることで、どの物体を検査又は確認するために撮影範囲の変更を指示しているかを第1ユーザ81が理解しやすい。
【0098】
撮影範囲を広げたり撮影方向を動かしたりするように撮影範囲を指示する情報を出力する態様として、制御部11は、共有画像に写っている配管又は配線等の共有画像の外に続いている物体のうち、共有画像に写っていない部分が方向指示によって指示された方向に続いている物体を強調して表示してもよい。このようにすることで、どの物体を検査又は確認するために撮影範囲の変更を指示しているかを第1ユーザ81が理解しやすい。
【0099】
制御部11は、ポインタと指示情報とをそれぞれ別の表示として表示してよい。つまり、制御部11は、共有画像にポインタと指示情報とをそれぞれ重畳して表示してよい。制御部11は、ポインタによって指示情報を表示してもよい。具体的に、制御部11は、ポインタの座標にかかわらず、指示情報に基づいてポインタの表示を変化させてよい。
【0100】
制御部11は、例えば撮影方向を右方向に誘導する指示情報を表示するために、ポインタを画面の右側に一時的に移動させてよい。制御部11は、撮影方向を右方向に誘導する指示情報を表示するために、ポインタの表示態様を、ポインタがその場で右方向に流れるようなアニメーション表示に変更してもよい。
【0101】
制御部11は、例えば共有画像の中の所定位置を拡大するように撮影範囲を変更する指示情報を表示するために、ポインタを所定位置に移動させ、ポインタの表示態様を、ポインタが外側に広がるように見えるアニメーション表示に変更してもよい。制御部11は、逆に共有画像の撮影倍率を小さくして撮影範囲を周囲に広げることを指示する指示情報を表示するために、ポインタの表示態様を、ポインタがその場で内側に縮小するように見えるアニメーション表示に変更してもよい。
【0102】
撮影方向又は撮影倍率を指示する情報の他の出力態様として、制御部11は、撮影方向又は撮影倍率の変更を指示する情報を、第1ユーザ81に対して聴覚情報として与えるために、出力部15の音声出力デバイスから音声を出力してもよい。
【0103】
本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は改変を行うことが可能であることに注意されたい。従って、これらの変形又は改変は本開示の範囲に含まれることに留意されたい。例えば、各構成部又は各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部又はステップなどを1つに組み合わせたり、或いは分割したりすることが可能である。本開示に係る実施形態について装置を中心に説明してきたが、本開示に係る実施形態は装置の各構成部が実行するステップを含む方法としても実現し得るものである。本開示に係る実施形態は装置が備えるプロセッサにより実行される方法、プログラム、又はプログラムを記録した記憶媒体としても実現し得るものである。本開示の範囲にはこれらも包含されるものと理解されたい。
【符号の説明】
【0104】
1 情報処理システム
10 第1情報処理装置(11:制御部、12:通信部、13:表示部、14:撮影部、15:出力部)
20 第2情報処理装置(21:制御部、22:通信部、23:表示部、24:入力部)
30 画像表示領域
31、32 ポインタ
33 チャット枠
331~334 方向指示領域
335 境界
341~344 方向指示
345 拡大領域
35 カウント
40、48 アイコン表示領域
41、42 ユーザアイコン
43 終了アイコン
44 チャットアイコン
45 マイクアイコン
46 カメラアイコン
47 ポインタアイコン
80 ネットワーク
81 第1ユーザ
82 第2ユーザ(821:指)