特許 7115790 情報処理システム、情報処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2022-08-01

(45)【発行日】2022-08-09

(54)【発明の名称】情報処理システム、情報処理方法及びプログラム

(51)【国際特許分類】

   G06F 3/04812 20220101AFI20220802BHJP

   H04L 67/00 20220101ALI20220802BHJP

   H04N 7/15 20060101ALI20220802BHJP

【ＦＩ】

G06F3/04812

H04L67/00

H04N7/15

【請求項の数】 6

(21)【出願番号】P 2021146338

(22)【出願日】2021-09-08

(62)【分割の表示】P 2021075173の分割

【原出願日】2021-04-27

【審査請求日】2021-12-20

【新規性喪失の例外の表示】特許法第３０条第２項適用 ２０２０年、２０２１年にＨＰで発表

【新規性喪失の例外の表示】特許法第３０条第２項適用 ２０２０年に刊行物で発表

【新規性喪失の例外の表示】特許法第３０条第２項適用 ２０２０年に放送番組で発表

【新規性喪失の例外の表示】特許法第３０条第２項適用 ２０２０年に記者会見で発表

【新規性喪失の例外の表示】特許法第３０条第２項適用 ２０２０年に集会で発表

【早期審査対象出願】

【前置審査】

(73)【特許権者】

【識別番号】520040603

【氏名又は名称】株式会社クアンド

(74)【代理人】

【識別番号】110002790

【氏名又は名称】Ｏｎｅ ｉｐ特許業務法人

(72)【発明者】

【氏名】下岡 純一郎

【審査官】岩田 玲彦

(56)【参考文献】

【文献】特開平０９－２３８２７１（ＪＰ，Ａ）

【文献】特開平１１－２５９４２７（ＪＰ，Ａ）

【文献】特開２０１６－１１６０４３（ＪＰ，Ａ）

【文献】絵面聡・長谷川まどか・加藤茂夫，講義中のマウスポインタ位置検出及び再現システムについての検討，映像情報メディア学会技術報告 AIT2005-91，日本，（社）映像情報メディア学会，2005年07月14日，Ｖｏｌ．２９ Ｎｏ．４２，P.5-8

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０４８１２

Ｈ０４Ｌ ６７／００

Ｈ０４Ｎ ７／１５

(57)【特許請求の範囲】

【請求項1】

複数のユーザ端末装置間で各種情報を送受信する情報処理システムであって、
第１のユーザ端末装置の撮影部においてリアルタイムで撮影している映像情報による映像上に、前記第１のユーザ端末装置及び一以上の第２のユーザ端末装置の各表示領域上で操作される各ポインタに関する座標情報によるポインタを重畳することで、前記第１及び第２のユーザ端末装置の表示領域に表示される前記映像情報上に少なくとも二以上のポインタを同時に表示する表示生成部と、を備え、
前記表示生成部は、各ポインタに関連する各ユーザに応じて当該ポインタの色を少なくとも異ならせて表示する、
ことを特徴とする情報処理システム。

【請求項2】

複数のユーザ端末装置間で各種情報を送受信する情報処理システムであって、
第１のユーザ端末装置の撮影部において撮影されている映像情報と、前記第１のユーザ端末装置及び一以上の第２のユーザ端末装置の各表示領域上で操作される各ポインタに関する座標情報に基づき、前記第１及び第２のユーザ端末装置の表示領域に表示される前記映像情報上に少なくとも二以上のポインタを同時に表示する表示生成部と、
前記映像情報と前記ポインタの座標情報及び当該ポインタが表示される時間情報、前記ポインタに対応するユーザ情報とを互いに関連付けられてそれぞれ記憶する記憶部と、を備える、
ことを特徴とする情報処理システム。

【請求項3】

複数のユーザ端末装置間で各種情報を送受信する情報処理方法であって、
第１のユーザ端末装置の撮影部においてリアルタイムで撮影している映像情報による映像上に、前記第１のユーザ端末装置及び一以上の第２のユーザ端末装置の各表示領域上で操作される各ポインタに関する座標情報によるポインタを重畳することで、前記第１及び第２のユーザ端末装置の表示領域に表示される前記映像情報上に少なくとも二以上のポインタを同時に表示するステップと、を含み、
前記表示するステップは、各ポインタに関連する各ユーザに応じて当該ポインタの色を少なくとも異ならせて表示する、
ことを特徴とする情報処理方法。

【請求項4】

複数のユーザ端末装置間で各種情報を送受信する情報処理方法であって、
第１のユーザ端末装置の撮影部において撮影されている映像情報と、前記第１のユーザ端末装置及び一以上の第２のユーザ端末装置の各表示領域上で操作される各ポインタに関する座標情報に基づき、前記第１及び第２のユーザ端末装置の表示領域に表示される前記映像情報上に少なくとも二以上のポインタを同時に表示するステップと、
前記映像情報と前記ポインタの座標情報及び当該ポインタが表示される時間情報、前記ポインタに対応するユーザ情報とを互いに関連付けられてそれぞれ記憶するステップと、を含む、
ことを特徴とする情報処理方法。

【請求項5】

複数のユーザ端末装置間で各種情報を送受信する情報処理方法をコンピュータに実行させるプログラムであって、
前記情報処理方法は、
第１のユーザ端末装置の撮影部においてリアルタイムで撮影している映像情報による映像上に、前記第１のユーザ端末装置及び一以上の第２のユーザ端末装置の各表示領域上で操作される各ポインタに関する座標情報によるポインタを重畳することで、前記第１及び第２のユーザ端末装置の表示領域に表示される前記映像情報上に少なくとも二以上のポインタを同時に表示するステップと、を含み、
前記表示するステップは、各ポインタに関連する各ユーザに応じて当該ポインタの色を少なくとも異ならせて表示する、
ことを特徴とするプログラム。

【請求項6】

複数のユーザ端末装置間で各種情報を送受信する情報処理方法をコンピュータに実行させるプログラムであって、
前記情報処理方法は、
第１のユーザ端末装置の撮影部において撮影されている映像情報と、前記第１のユーザ端末装置及び一以上の第２のユーザ端末装置の各表示領域上で操作される各ポインタに関する座標情報に基づき、前記第１及び第２のユーザ端末装置の表示領域に表示される前記映像情報上に少なくとも二以上のポインタを同時に表示するステップと、
前記映像情報と前記ポインタの座標情報及び当該ポインタが表示される時間情報、前記ポインタに対応するユーザ情報とを互いに関連付けられてそれぞれ記憶するステップと、を含む、
ことを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理システム、情報処理方法及びプログラムに関する。

【背景技術】

【0002】

従来から、例えば建設現場の作業者が現場で取得した情報（例えば撮影画像など）を他のユーザ（例えば当日現場にいなかった他の作業者や本社の管理者など）に共有する技術が知られている。

【0003】

このような技術としては、例えば、特許文献１に示されるように、ＡＲ空間にマーク画像と共に情報を関連付けて記憶し、それを事後的に他のユーザが確認可能な技術が知られている（例えば、特許文献１参照。）。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０２０－９８５６８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上記特許文献１に示される技術ではリアルタイム性が損なわれており、現場の作業者が確認したい内容や遠隔地にいる他のユーザが確認した内容を即座に伝えることが難しい。

【0006】

また、近年ビデオチャットが普及しており、これによってリアルタイムに現場の状況を共有することも可能であるが、例えば作業者から遠い場所であったり、物が大量にある場所であったりする場合に、互いにビデオチャット越しに特定の位置を指し示すことが難しく、ユーザ間の指示や説明が不明確となり、円滑にコミュニケーションが取れない場合がある。

【0007】

そこで、本開示では、複数のユーザ端末装置のうち所定のユーザ端末装置からの同一の映像情報を表示しつつ、各ユーザ端末装置２００からの座標情報に基づくポインタを重畳して表示することで、ユーザ間で円滑なコミュニケーションが可能となる情報処理システム、情報処理方法及びプログラムについて説明する。

【課題を解決するための手段】

【0008】

本開示の一態様における情報処理システムは、複数のユーザ端末装置間で各種情報を送受信する情報処理システムであって、
第１のユーザ端末装置の撮影部において撮影されている映像情報を受信し、前記第１のユーザ端末装置及び第２のユーザ端末装置に共有する映像情報共有部と、
前記第１及び第２のユーザ端末装置の表示領域上で操作されるポインタに関する座標情報を受信し、前記第１及び第２のユーザ端末装置に共有する座標情報共有部と、を備える。

【発明の効果】

【0009】

本開示によれば、複数のユーザ端末装置のうち所定のユーザ端末装置からの同一の映像情報を表示しつつ、各ユーザ端末装置２００からの座標情報に基づくポインタを重畳して表示することで、ユーザ間で円滑なコミュニケーションが可能となる。

【図面の簡単な説明】

【0010】

【図1】本開示の一実施形態に係る情報処理システムを示すブロック構成図である。

【図2】図１の管理サーバ１００のハードウェア構成を示す図である。

【図3】図２の記憶部１２０および制御部１３０の機能を例示したブロック図である。

【図4】図１のユーザ端末装置２００のハードウェア構成を示す図である。

【図5】図４の制御部２３０の機能を例示したブロック図である。

【図6】本実施の形態における座標取得の一例を示す図である。

【図7】本実施の形態におけるユーザ端末装置２００の表示の一例を示す図である。

【図8】本実施の形態におけるユーザ端末装置２００の他の表示例を示す図である。

【図9】図１の情報処理システム１の処理の例を示すフローチャートである。

【発明を実施するための形態】

【0011】

本発明の実施形態の内容を列記して説明する。本発明の実施の形態による情報処理システム等は、以下のような構成を備える。

【0012】

［項目１］
複数のユーザ端末装置間で各種情報を送受信する情報処理システムであって、
第１のユーザ端末装置の撮影部において撮影されている映像情報を受信し、前記第１のユーザ端末装置及び第２のユーザ端末装置に共有する映像情報共有部と、
前記第１及び第２のユーザ端末装置の表示領域上で操作されるポインタに関する座標情報を受信し、前記第１及び第２のユーザ端末装置に共有する座標情報共有部と、を備える、
ことを特徴とする情報処理システム。
［項目２］
縦横表示切替情報をさらに共有し、前記映像情報の縦横表示の切り替えに対応可能である、
ことを特徴とする項目１に記載の情報処理システム。
［項目３］
前記複数のユーザ端末装置のいずれかにおいて、他の画像情報共有要求が送信された場合には、当該他の画像情報を何れのユーザ端末装置においても強制的に切り替えるように制御する、
ことを特徴とする項目１また２のいずれかに記載の情報処理システム。
［項目４］
前記映像情報は、映像共有権限を設定された前記第１のユーザ端末装置からの前記映像情報である、
ことを特徴とする項目１ないし３のいずれかに記載の情報処理システム。
［項目５］
前記映像情報は、前記座標情報と共に記憶部に記憶される、
ことを特徴とする項目１ないし４のいずれかに記載の情報処理システム。
［項目６］
前記映像情報または当該映像情報に関連する画像情報は、同一グループ内のユーザのみが外部出力可能に記憶部に記憶されている、
ことを特徴とする項目１ないし５のいずれかに記載の情報処理システム。
［項目７］
前記映像情報または前記画像情報は、ユーザの選択により外部出力を制限するように設定可能である、
ことを特徴とする項目６に記載の情報処理システム。
［項目８］
所定のフォーマットを用いたレポートを作成するレポート作成機能をさらに備え、
前記映像情報または前記画像情報は、前記レポートに利用可能である、
ことを特徴とする項目６または７のいずれかに記載の情報処理システム。
［項目９］
前記映像情報または前記画像情報の外部出力は、前記レポート作成機能を介してのみ実行される、
ことを特徴とする項目８のいずれかに記載の情報処理システム。
［項目１０］
前記映像情報は、前記ユーザ端末装置において画像認識される、
ことを特徴とする項目１ないし９のいずれかに記載の情報処理システム。
［項目１１］
前記画像認識は、二次元コードに関する画像認識である、
ことを特徴とする項目１０に記載の情報処理システム。
［項目１２］
前記画像認識は、二次元バーコードに関する画像認識である、
ことを特徴とする項目１１に記載の情報処理システム。
［項目１３］
前記画像認識は、ＡＲマーカに関する画像認識である、
ことを特徴とする項目１１に記載の情報処理システム。
［項目１４］
前記第１及び第２のユーザ端末装置において生成されたテキスト情報を前記第１及び第２のユーザ端末装置に共有するテキスト情報共有部をさらに備える、
ことを特徴とする項目１ないし１３のいずれかに記載の情報処理システム。
［項目１５］
前記テキスト情報は、前記第１及び第２のユーザ端末装置により取得された音声情報に基づき生成されたテキスト情報である、
ことを特徴とする項目１４に記載の情報処理システム。
［項目１６］
複数のユーザ端末装置間で各種情報を送受信する情報処理方法であって、
第１のユーザ端末装置の撮影部において撮影されている映像情報を受信し、前記第１のユーザ端末装置及び第２のユーザ端末装置に共有するステップと、
前記第１及び第２のユーザ端末装置の表示領域上で操作されるポインタに関する座標情報を受信し、前記第１及び第２のユーザ端末装置に共有するステップと、を含む、
ことを特徴とする情報処理方法。
［項目１７］
複数のユーザ端末装置間で各種情報を送受信する情報処理方法をコンピュータに実行させるプログラムであって、
前記情報処理方法は、
第１のユーザ端末装置の撮影部において撮影されている映像情報を受信し、前記第１のユーザ端末装置及び第２のユーザ端末装置に共有するステップと、
前記第１及び第２のユーザ端末装置の表示領域上で操作されるポインタに関する座標情報を受信し、前記第１及び第２のユーザ端末装置に共有するステップと、を含む、
ことを特徴とするプログラム。

【0013】

以下、本開示の実施形態について図面を参照して説明する。なお、以下に説明する実施形態は、特許請求の範囲に記載された本開示の内容を不当に限定するものではない。また、実施形態に示される構成要素のすべてが、本開示の必須の構成要素であるとは限らない。また、各実施形態で示される特徴は、互いに矛盾しない限り他の実施形態にも適用可能である。

【0014】

＜実施形態１＞
＜構成＞
図１は、本開示の実施形態１に係る情報処理システム１を示すブロック構成図である。この情報処理システム１は、例えば、ネットワークＮＷを介して、複数のユーザ端末装置２００間で双方向に情報を送受信する情報システムであって、第１のユーザ端末装置２００Ａの撮影部において撮影された映像情報を第１－３のユーザ端末装置２００Ａ－Ｃで共有し、第１－３のユーザ端末装置Ａ－Ｃの表示領域上で移動操作されたポインタに関する表示領域上の座標情報を第１－３のユーザ端末装置Ａ－Ｃに共有する情報処理システムである。なお、例示として３つのユーザ端末装置を示しているが、これに限らず、２つのユーザ端末装置間の情報システムでもよいし、４つ以上のユーザ端末装置間の情報システムでもよい。また、例示として３つのユーザ端末装置のアイコンを異ならせているが、これに限らず、第１－３のユーザ端末装置２００Ａ－Ｃの少なくともいずれかが同じ種別のデバイスであってもよい。

【0015】

情報処理システム１は、管理サーバ１００と、複数のユーザ端末装置２００Ａ－Ｃ（以下、ユーザ端末装置２００と称する場合もある）と、ネットワークＮＷと、を有している。管理サーバ１００と、ユーザ端末装置２００とは、ネットワークＮＷを介して接続される。ネットワークＮＷは、インターネット、イントラネット、ブロックチェーンネットワーク、無線ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）、ＢＬＥ（Bluetooth Low Energy）等により構成される。

【0016】

管理サーバ１００は、例えば、ネットワークを介してユーザ端末装置２００にネットワークサービスを提供するサーバ装置である。詳細については後述する。

【0017】

ユーザ端末装置２００は、各ユーザが所持する、例えばパーソナルコンピュータやタブレット端末、スマートフォン、携帯電話、ＰＨＳ、ＰＤＡ等の情報処理装置である。

【0018】

＜管理サーバ１００＞
図２は、管理サーバ１００のハードウェア構成を示す図である。図３は、記憶部１２０および制御部１３０の機能を例示したブロック図である。管理サーバ１００は、例えばパーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはクラウド・コンピューティングによって論理的に実現されてもよい。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。

【0019】

管理サーバ１００は、通信部１１０と、記憶部１２０と、制御部１３０と、入出力部１４０とを備える。これらの機能部は、管理サーバ１００用の所定のプログラムを実行することにより実現される。

【0020】

通信部１１０は、ユーザ端末装置２００と通信を行うための通信インタフェースであり、例えばＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）等の通信規約により通信が行われる。

【0021】

記憶部１２０は、各種制御処理や制御部１３０内の各機能を実行するためのプログラム、入力データ等を記憶するものであり、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等から構成される。また、図３に示されるように、記憶部１２０は、ネットワークサービスを利用するにあたり事前に登録されたユーザ情報をユーザ識別情報に関連付けて記憶するユーザ情報ＤＢ１２１と、ユーザが作成したグループに関するグループ情報をグループ識別情報に関連付けて記憶するグループ情報ＤＢ１２２を含む。さらに、記憶部１２０は、ユーザ端末装置２００と通信を行ったデータを一時的に記憶する。

【0022】

ユーザ情報は、例えば、ユーザ名情報、メールアドレス、所属情報、参加グループ情報（例えばグループ識別情報等）などが含まれるが、これに限定されない。

【0023】

グループ情報は、例えば、グループ名情報、グループ画像情報、参加ユーザ情報（例えばユーザ識別情報等）、グループ内共有情報（例えば、映像情報や画像情報等）などが含まれるが、これに限定されない。

【0024】

制御部１３０は、管理サーバ１００の全体の動作を制御するものであり、ＣＰＵ（Central Processing Unit）等から構成される。また、図３に示されるように、制御部１３０は、情報受付部１３１、映像情報共有部１３２、座標情報共有部１３３、といった機能部を含む。

【0025】

情報送受信部１３１は、各ユーザ端末装置２００から各種情報や要求を受け付け、各ユーザ端末装置２００へ各種情報や要求を送信する。各種情報とは、特にユーザ端末装置２００の撮影部により撮影される映像情報や、ユーザ端末装置２００の表示領域上で移動操作されているポインタに関する当該表示領域上の座標情報（詳細については後述する）を含むが、これらに限定されるものではなく、例えば映像情報や座標情報と併せて、ユーザ端末装置２００のユーザを特定するためのユーザ識別情報（例えば、利用登録により発行されるユーザアカウント等）や、各情報に関連付けられた時間情報（例えば各種情報を生成または記憶した際の時間情報（適宜日付情報も含む）等）などを受け付けてもよい。

【0026】

映像情報共有部１３２は、各ユーザ端末装置２００のうちの映像共有権限が設定されているユーザのユーザ端末装置２００（例えばユーザ端末装置２００Ａ）から情報受付部１３１により受け付けた映像情報を他のユーザ端末装置２００（例えば、ユーザ端末装置２００Ｂ、Ｃなど）に共有するように送信する。映像共有権限は、例えばユーザ端末装置２００Ａの表示領域に表示された共有ボタンを押下するなどの共有開始操作を実行することにより共有要求をサーバに送信することで、管理サーバ１００にて映像共有権限をユーザ端末装置２００Ａのユーザに設定してもよいし、予め映像共有権限が所定のユーザに設定されていてもよい。

【0027】

座標情報共有部１３３は、各ユーザ端末装置２００から情報受付部１３１により受け付けた座標情報を他のユーザ端末装置２００に共有するように送信する。ここで、映像情報共有部１３２とは異なり、共有権限を伴わずに互いに座標情報が受け付けられて共有される。映像情報はデータもサイズが大きいことから単方向での共有であるのに対し、座標情報というデータサイズが小さい情報を用いることでリアルタイムに双方向での共有が可能となり、複数のユーザ端末装置２００によるポインタ表示（詳細は後述する）を同時に表示することが可能となる。

【0028】

入出力部１４０は、キーボード・マウス類等の情報入力機器、及びディスプレイ等の出力機器である。なお、クラウドサーバーにより構築されている場合にはこの限りではない。

【0029】

＜ユーザ端末装置２００＞
図４は、ユーザ端末装置２００のハードウェア構成を示す図である。図５は、制御部２３０の機能を例示したブロック図である。ユーザ端末装置２００の主なハードウェア構成については、例えば通信部２１０と、記憶部２２０と、制御部２３０と、入出力部２４０とを備え、管理サーバ１００と同様の部分については説明を省略する。これらの機能部は、ユーザ端末装置２００用の所定のプログラムやアプリケーションを実行することにより実現される。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。

【0030】

ユーザ端末装置２００は、例えばパーソナルコンピュータやタブレット端末、スマートフォン、携帯電話、ＰＨＳ、ＰＤＡ等の情報処理装置であってもよく、入出力部２４０は、例えばユーザ端末装置２００がパーソナルコンピュータで構成されている場合は情報出力機器（例えばディスプレイ）と情報入力機器（例えばキーボードやマウス）により構成され、スマートフォンまたはタブレット端末で構成されている場合はタッチパネル等の情報入出力機器により構成されている。また、入出力部２４０は、撮影部や音声取得部（例えばマイク）を含み、画像情報や映像情報（音声情報を含む）、音声情報を撮影部や音声取得部により取得する。

【0031】

制御部２３０は、ユーザ端末装置２００の全体の動作を制御するものであり、ＣＰＵ（Central Processing Unit）等から構成される。また、図５に示されるように、制御部２３０は、情報送受信部２３１、リクエスト生成部２３２、表示生成部２３３といった機能部を含む。表示生成部２３３は、座標情報取得部２３４と、ポインタ表示部２３５とを含む。

【0032】

情報送受信部２３１は、管理サーバ１００から各種情報や要求を受け付け、管理サーバへ各種情報や要求を送信する。各種情報とは、特に映像情報や座標情報を含むが、これらに限定されるものではない。

【0033】

リクエスト生成部２３２は、ユーザ端末装置２００から種々のリクエスト（要求）を生成して、例えば管理サーバ１００へ送信する。リクエストは、例えば、映像共有要求などであり、ユーザ端末装置２００上でのユーザ操作に応じて各要求が管理サーバ１００へ送信される。

【0034】

表示生成部２３３は、ユーザ端末装置２００の記憶部２２０に記憶された所定の画面表示規則情報（例えばレイアウト情報等）に基づき、管理サーバ１００から受信した映像情報や座標情報に基づくポインタをユーザ端末装置２００の入出力部２４０の表示装置に表示される表示領域５０における表示を生成する。なお、表示生成部２３３は、ユーザ端末装置２００の機能部ではなく、管理サーバ１００の機能部として構成され、各情報はユーザ端末装置２００において受信せず、管理サーバ１００内で生成された表示画像を受け取るようにしてもよい。

【0035】

座標情報取得部２３４は、入出力部２４０による入力操作（例えば、タッチパネルに対するタッチ操作やマウスによるクリックを保持したままの移動操作）により指定されている表示領域５０上の座標情報を取得する。図６には、表示領域５０内の座標（ｘ，ｙ）（この場合、表示領域５０の左上角部を原点座標とする）に対する座標情報の取得を例示している。映像領域５１は、例えば表示領域５０に対してｘ軸方向またはｙ軸方向の少なくともいずれかにおいて所定のオフセット長さが設定されて表示されていてもよく、図６においては、表示領域５０の上端からｙ軸方向においてオフセット長さｄｙが設定されて表示されている。当該オフセット量の設定方法は、例えば、表示領域５０の画面サイズと、アスペクト比を考慮した際の映像情報のビデオサイズに基づき、差分をｘ軸方向ｙ軸方向の両端部に等分して振り分けるようにしてもよいし、単にそれぞれ固定値を設定しておいてもよい。

【0036】

ここで、ユーザ端末２００ごとに表示領域５０内の絶対座標が映像領域５１に対して必ずしも同じではないことを踏まえ、本発明においては、例えば映像領域５１の左上角部を原点として映像領域５１の幅及び高さの長さと同一である位置（例えば、映像領域５１の右上角部の位置と左下角部の位置）をそれぞれ１とした時の映像領域５１内における座標（ｘ，ｙ－ｄｙ）位置の割合を座標情報として算出している。図６においては、例えば、映像領域５１の幅Ｘ高さＹに対して、座標５２についてのｘ軸方向ｙ軸方向における位置の割合は（ｘ／Ｘ（例えば０．３）, ｙ－ｄｙ／Ｙ（例えば、０．７））といった座標情報が算出及び取得される。

【0037】

ポインタ表示部２３５は、映像領域５１内の座標情報及び映像領域の幅情報及び高さ情報から算出される位置にポインタを表示する。例えば、図７においては、座標５２に対応する位置にポインタ６２が表示されている。また、図８においては、例えば、ユーザ端末装置２００がパーソナルコンピュータで構成されている場合の表示例であり、ポインタ６２は、例えば（０．３Ｘ’，０．７Ｙ’）の位置に表示されている。さらに、ポインタ表示部２３５は、各ユーザ６１のユーザ情報も関連付けることで、ポインタ６２及びポインタ６３をユーザごとに区別可能に表示するようにしてもよく、例えばポインタの色や形状、模様、大きさなどが各ユーザ６１で異なるようにしてもよい。なお、図７及び８においては、ポインタ６２及び６３が同時に表示されているが、これに限らず、先に表示したポインタのみが表示されるように制御されてもよいし、後から取得された座標情報に基づくポインタのみが表示されるように制御されてもよい。

【0038】

＜処理の流れ＞
図９の例示を参照しながら、情報処理システム１が実行する情報処理方法の処理の流れについて説明する。図９は、図１の情報処理システム１の処理の例を示すフローチャートである。ステップＳ１０１の前に、まずユーザ端末装置２００Ａ－Ｃのユーザは、ビデオチャットルームのような個別領域に関連付けられている。当該関連付けは、例えば、事前に共有された個別領域へのリンクＵＲＬに各ユーザがアクセスすることにより行われてもよいし、同一グループに参加しており、グループ内ビデオチャットへの参加により行われてもよいし、これらに限らず既知の方法により行われてもよい。

【0039】

ステップＳ１０１の処理として、例えばユーザ端末装置２００Ａの表示領域５０に表示された映像共有ボタンを押下するなどの共有開始操作を実行することにより、ユーザ端末装置２００Ａは、共有要求をサーバに送信する。そして、ステップＳ１０２の処理として、管理サーバ１００にて映像共有権限をユーザ端末装置２００Ａのユーザに設定する。

【0040】

ステップＳ１０３の処理として、管理サーバ１００は、映像共有権限を設定されたユーザのユーザ端末装置２００Ａから映像情報Ａを受け付ける。なお、例えば、管理サーバ１００により映像共有権限を設定した後に映像情報要求をユーザ端末装置２００Ａに送信してもよいし、共有要求と共に映像情報Ａを先に受け付けてもよい。

【0041】

ステップＳ１０４の処理として、管理サーバ１００は、映像情報Ａを他のユーザ端末装置２００（例えば、ユーザ端末装置２００Ｂ、２００Ｃなど）へ共有する。これにより、ステップＳ１０５の処理として、複数のユーザ端末装置２００（例えば、互いに関連付けられているユーザ端末装置２００Ａ－Ｃの全てや、そのうち映像表示許可設定をしているユーザ端末装置２００など）において、同一の映像情報が表示される。

【0042】

ステップＳ１０６の処理として、管理サーバ１００は、例えばユーザ端末装置２００Ｂから座標情報Ｂを受け付ける。

【0043】

ステップＳ１０７の処理として、管理サーバ１００は、座標情報Ｂを他のユーザ端末装置２００（例えば、ユーザ端末装置２００Ａ、２００Ｃなど）へ共有する。これにより、ステップＳ１０８の処理として、複数のユーザ端末装置２００（例えば、互いに関連付けられているユーザ端末装置２００Ａ－Ｃの全てや、そのうちポインタ表示許可設定をしているユーザ端末装置２００など）において、同一のポインタ６２が映像情報に重畳されて表示される。

【0044】

ステップＳ１０９の処理として、管理サーバ１００は、例えばユーザ端末装置２００Ａから座標情報Ａを受け付ける。

【0045】

ステップＳ１１０の処理として、管理サーバ１００は、座標情報Ａを他のユーザ端末装置２００（例えば、ユーザ端末装置２００Ｂ、２００Ｃなど）へ共有する。これにより、ステップＳ１１１の処理として、複数のユーザ端末装置２００において、同一のポインタ６３が映像情報に重畳されて表示される。すなわち、同一の映像情報にポインタ６２、６３が重畳されて表示されている。なお、説明のため、各ユーザ端末装置２００から順次座標情報を取得しているように例示しているが、各ユーザ端末装置２００から座標情報が送信されたタイミングで他のユーザ端末装置２００に共有される。

【0046】

＜効果＞
以上のように、本実施形態に係る情報処理システム等は、特に複数のユーザ端末装置のうち所定のユーザ端末装置からの同一の映像情報を表示しつつ、各ユーザ端末装置２００からの座標情報に基づくポインタを重畳して表示することで、ユーザ間で円滑なコミュニケーションが可能となる。

【0047】

＜実施形態２＞
上述のグループ情報ＤＢ１２２においては、共有された映像情報を記憶されるように構成されているが、映像情報に加えて、座標情報及び当該座標情報に関連付けられたユーザ情報、ポインタ表示される時間情報などを併せて記憶するようにしてもよい。これらを参照することにより、各ユーザから共有された映像情報だけでなく、さらにポインタ表示も併せて事後的に確認が可能となる。これにより、事後的に映像情報を確認したユーザにおいても、ポインタによる細かい指示内容等が確認可能となる。

【0048】

また、例えば、ビデオチャット中（特に映像共有中）の録画により取得された映像情報やスクリーンショット機能で取得された画像情報等のグループ内共有情報は、同一のグループ識別情報に関連付けられたグループ内のユーザ間でのみ共有されるようにデータ管理されてもよい。そして、当該グループ内共有情報は、グループ内のユーザによって外部出力が可能であってもよいし、その際に、グループ内のユーザの選択に基づき、選択されたグループ内共有情報について外部出力ができないように設定可能としてもよい。外部出力の方法は、ユーザ端末２００へのダウンロードであってもよいし、ユーザ指定のメールアドレス等への外部ユーザへの直接的な送信であってもよいし、特定のグループ内共有情報を取得可能なリンク（例えばＵＲＬ）を発行する形式であってもよい。さらに、本システムが提供するフォーマット、または、ユーザ任意のフォーマットによるレポート作成機能を備えていてもよく、当該レポート作成機能によるレポート作成の際に、ユーザはユーザにより入力されるテキスト情報に加えてグループ内共有情報を利用可能であってもよい。そして、作成されたレポートはグループ内共有情報の１つとして記憶されてもよいし、外部出力可能であってもよい。なお、グループ内共有情報の外部出力は、当該レポート作成機能を介して作成されるレポートによってのみ実行されるようにしてもよい。

【0049】

＜実施形態３＞
実施形態１（または実施形態２）においては、単に共有された映像情報を表示しているが、所定の画像認識開始操作により、表示されている映像情報において画像認識機能が実行されてもよい。画像認識機能は、二次元コード（例えば二次元バーコード）の読み取り機能であってもよい。これにより、映像情報内の例えば二次元バーコードから設備の情報などの所定の情報を参照することが可能であってもよい。そのほか、画像認識機能は、例えばＡＲマーカ（二次元コード）の読み取り機能であってもよい。これにより、映像情報内のＡＲマーカに対応する設備情報を映像情報に重畳して表示してもよい。また、画像認識機能は、その他の既知の画像認識機能であってもよい。これらにより、ポインタのみならず、共通の設備情報等の情報を取得することが可能となり、ユーザ間での円滑なコミュニケーションが実行可能となる。

【0050】

＜実施形態４＞
実施形態１－３においては特に言及されていないが、ユーザ端末装置２００がスマートフォンのように映像情報を縦表示または横表示で切換可能である場合には、情報送受信部１３１は、映像情報に加えて、ユーザ端末装置２００Ａの縦横表示切替情報を受け付けてもよい。これにより、映像情報の縦横切替が発生した場合に、他のユーザ端末装置２００においても映像情報の縦横切替を反映可能である。また、ユーザ端末装置２００が、映像情報の共有中に、何れかのユーザ端末装置が他の画像共有要求を送信した場合には、何れのユーザ端末装置２００においても当該画像共有の表示に強制的に切り替えられるようにしてもよい。これらにより、複数のユーザ端末装置２００において同一の映像情報や画像情報を確認することが可能となり、ユーザ間での円滑なコミュニケーションが実行可能となる。

【0051】

＜実施形態５＞
実施形態１－４においては特に言及されていないが、各実施形態はビデオチャットとして、各ユーザ端末装置２００からの音声情報がユーザ端末装置間で共有されるものであるが、音声情報によるコミュニケーションに加えて、テキスト情報をユーザ端末装置間で共有するテキスト情報共有部をさらに備えるようにしてもよい。すなわち、ユーザ端末装置の入出力部２４０により入力されたテキスト情報を管理サーバ１００のテキスト情報共有部を介して他のユーザ端末装置において受け取り、ユーザ端末装置における表示領域５０内のテキスト表示領域に既知のテキストチャットに関する技術に基づきテキスト情報を反映するようにしてもよい。さらに、テキスト情報の入力を容易にするために、既知の音声情報解析技術を用いて音声情報をテキスト化するモードを備え、当該モードにより生成されたテキスト情報を共有し、テキスト表示領域に表示するようにしてもよい。これらにより、複数のユーザ端末装置２００において映像情報だけでなくテキスト情報を確認することが可能となり、ユーザ間での円滑なコミュニケーションが実行可能となる。

【0052】

以上、開示に係る実施形態について説明したが、これらはその他の様々な形態で実施することが可能であり、種々の省略、置換および変更を行なって実施することが出来る。これらの実施形態および変形例ならびに省略、置換および変更を行なったものは、特許請求の範囲の技術的範囲とその均等の範囲に含まれる。

【符号の説明】

【0053】

１ 情報処理システム
１００ 管理サーバ
２００ ユーザ端末装置
ＮＷ ネットワーク

【要約】

【課題】本情報処理システム等により、特に複数のユーザ端末装置のうち所定のユーザ端末装置からの同一の映像情報を表示しつつ、各ユーザ端末装置２００からの座標情報に基づくポインタを重畳して表示することで、ユーザ間で円滑なコミュニケーションが可能となる。
【解決手段】本情報処理システムは、複数のユーザ端末装置間で各種情報を送受信する情報処理システムであって、第１のユーザ端末装置の撮影部において撮影されている映像情報を受信し、前記第１のユーザ端末装置及び第２のユーザ端末装置に共有する映像情報共有部と、前記第１及び第２のユーザ端末装置の表示領域上で操作されるポインタに関する座標情報を受信し、前記第１及び第２のユーザ端末装置に共有する座標情報共有部と、を備える。
【選択図】図７

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】