(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-07
(45)【発行日】2024-10-16
(54)【発明の名称】情報処理装置
(51)【国際特許分類】
G06F 3/0481 20220101AFI20241008BHJP
G06F 3/16 20060101ALI20241008BHJP
G10L 25/78 20130101ALI20241008BHJP
【FI】
G06F3/0481
G06F3/16 620
G10L25/78
(21)【出願番号】P 2023523411
(86)(22)【出願日】2022-05-13
(86)【国際出願番号】 JP2022020208
(87)【国際公開番号】W WO2022249900
(87)【国際公開日】2022-12-01
【審査請求日】2023-11-07
(31)【優先権主張番号】P 2021088051
(32)【優先日】2021-05-26
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000232092
【氏名又は名称】NECソリューションイノベータ株式会社
(74)【代理人】
【識別番号】100124811
【氏名又は名称】馬場 資博
(74)【代理人】
【識別番号】100088959
【氏名又は名称】境 廣巳
(74)【代理人】
【識別番号】100097157
【氏名又は名称】桂木 雄二
(74)【代理人】
【識別番号】100187724
【氏名又は名称】唐鎌 睦
(72)【発明者】
【氏名】柴田 徳道
(72)【発明者】
【氏名】北本 優紀
(72)【発明者】
【氏名】吉見 隆寿
(72)【発明者】
【氏名】稲本 敬太郎
(72)【発明者】
【氏名】栃澤 好朗
【審査官】岩橋 龍太郎
(56)【参考文献】
【文献】特開2013-020520(JP,A)
【文献】特開平08-163122(JP,A)
【文献】特開2022-027242(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/01
G06F 3/048-3/04895
G06F 3/16
G10L 13/00-13/10
G10L 19/00-99/00
(57)【特許請求の範囲】
【請求項1】
データ全体のうちの少なくとも一部の領域を表示するユーザ装置複数と接続された情報処理装置であって、
予め定められた条件を検出する検出部と、
前記検出部が検出した結果に応じて、条件に対応するユーザ装置が表示している領域を表示するよう、接続中のユーザ装置のうちの少なくとも一部に対して指示する指示部と、
を有し、
前記検出部は、ユーザ装置間における音データの送受信状況に応じた条件を検出するとともに、前記音データの送受信を行う複数のユーザ装置を特定し、
前記指示部は、特定した複数のユーザ装置それぞれが表示している領域を表示するよう、接続中のユーザ装置のうちの少なくとも一部に対して指示する
情報処理装置。
【請求項2】
前記検出部は、前記音データの送受信状況に応じて会話していると判断可能な場合に予め定められた条件を満たす旨を検出する
請求項1に記載の情報処理装置。
【請求項3】
データを取得する現場装置と接続されており、
前記検出部は、現場装置とユーザ装置との間で会話していると判断可能な場合に予め定められた条件を満たす旨を検出し、
前記指示部は、前記検出部が検出した結果に応じて、現場装置と会話していると判断可能なユーザ装置が表示している領域を表示するよう、接続中のユーザ装置のうちの少なくとも一部に対して指示する
請求項1に記載の情報処理装置。
【請求項4】
ユーザ装置で表示中の領域を特定するための表示領域情報を受信する受信部と、
前記受信部が受信した前記表示領域情報を接続中のユーザ装置のうちの少なくとも一部に対して送信する送信部と、
を有する
請求項1に記載の情報処理装置。
【請求項5】
前記指示部は、前記表示領域情報を含む指示を接続中のユーザ装置のうちの少なくとも一部に対して行う
請求項
4に記載の情報処理装置。
【請求項6】
データ全体のうちの少なくとも一部の領域を表示するユーザ装置複数と接続された情報処理装置が、
予め定められた条件を検出し、
検出した結果に応じて、条件に対応するユーザ装置が表示している領域を表示するよう、接続中のユーザ装置のうちの少なくとも一部に対して指示し、
条件を検出する際、ユーザ装置間における音データの送受信状況に応じた条件を検出するとともに、前記音データの送受信を行う複数のユーザ装置を特定し、
指示する際、特定した複数のユーザ装置それぞれが表示している領域を表示するよう、接続中のユーザ装置のうちの少なくとも一部に対して指示する
情報処理方法。
【請求項7】
データ全体のうちの少なくとも一部の領域を表示するユーザ装置複数と接続された情報処理装置が、
予め定められた条件を検出し、
検出した結果に応じて、条件に対応するユーザ装置が表示している領域を表示するよう、接続中のユーザ装置のうちの少なくとも一部に対して指示する処理を実現
させ、
条件を検出する際、ユーザ装置間における音データの送受信状況に応じた条件を検出するとともに、前記音データの送受信を行う複数のユーザ装置を特定し、
指示する際、特定した複数のユーザ装置それぞれが表示している領域を表示するよう、接続中のユーザ装置のうちの少なくとも一部に対して指示する
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法、記録媒体、表示装置、表示方法に関する。
【背景技術】
【0002】
360度カメラなどの撮像装置が取得した画像データを配信することがある。例えば、特許文献1には、視野制御部と、画像生成部と、出力部と、を有する、ヘッドマウントディスプレイに画像データを表示するシステムが記載されている。特許文献1によると、視野制御部は、ヘッドマウントディスプレイの姿勢に基づいて、ユーザの視野の範囲を検出する。また、画像生成部は、画像データからユーザの視野の範囲を抽出した画像を生成する。そして、出力部は、生成した画像をヘッドマウントディスプレイへ出力して表示させる。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1に記載のような状況の場合、複数のユーザが各々の姿勢で画像データを表示すると、それぞれのユーザが見ている画像データは異なることになる。その結果、例えば、各ユーザで表示中の範囲が異なるため、あるユーザが指摘した箇所を他のユーザが的確に把握することが難しいことがあった。
【0005】
このように、画像データなどの情報を共有するシステムにおいて、情報の円滑な共有を行うことが難しい場合がある、という課題が生じていた。
【0006】
そこで、本発明の目的は、画像データなどの情報を共有するシステムにおいて、情報の円滑な共有を行うことが難しい場合がある、という課題を解決する情報処理装置、情報処理方法、記録媒体、表示装置、表示方法を提供することにある。
【課題を解決するための手段】
【0007】
かかる目的を達成するため本開示の一形態である情報処理装置は、
データ全体のうちの少なくとも一部の領域を表示するユーザ装置複数と接続された情報処理装置であって、
予め定められた条件を検出する検出部と、
前記検出部が検出した結果に応じて、条件に対応するユーザ装置が表示している領域を表示するよう、接続中のユーザ装置のうちの少なくとも一部に対して指示する指示部と、
を有する
という構成をとる。
【0008】
また、本開示の他の形態である情報処理方法は、
データ全体のうちの少なくとも一部の領域を表示するユーザ装置複数と接続された情報処理装置が、
予め定められた条件を検出し、
検出した結果に応じて、条件に対応するユーザ装置が表示している領域を表示するよう、接続中のユーザ装置のうちの少なくとも一部に対して指示する
という構成をとる。
【0009】
また、本開示の他の形態である記録媒体は、
データ全体のうちの少なくとも一部の領域を表示するユーザ装置複数と接続された情報処理装置が、
予め定められた条件を検出し、
検出した結果に応じて、条件に対応するユーザ装置が表示している領域を表示するよう、接続中のユーザ装置のうちの少なくとも一部に対して指示する
処理を実現するためのプログラムを記録した、コンピュータが読み取り可能な記録媒体である。
【0010】
また、本開示の他の形態である表示装置は、
データ全体のうち他のユーザ装置で表示中の領域を特定するための情報である表示領域情報を受信する受信部と、
データ全体のうちユーザの状態に応じた領域を表示させるとともに、前記表示領域情報に基づいて他のユーザ装置で表示中の領域を表示させる表示部と、
を有し、
前記表示部は、所定の条件の検出結果として外部装置から送信される表示指示に基づいて、データ全体のうち前記表示指示が示すユーザ装置で表示中の領域を表示させる
という構成をとる。
【0011】
また、本開示の他の形態である表示方法は、
ユーザ装置が、
データ全体のうち他のユーザ装置で表示中の領域を特定するための情報である表示領域情報を受信し、
データ全体のうちユーザの状態に応じた領域を表示させるとともに、前記表示領域情報に基づいて他のユーザ装置で表示中の領域を表示させ、
所定の条件の検出結果として外部装置から送信される表示指示を受信すると、受信した表示指示に基づいて、データ全体のうち前記表示指示が示すユーザ装置で表示中の領域を表示させる
という構成をとる。
【発明の効果】
【0012】
上述したような各構成によると、画像データなどの情報を共有するシステムにおいて、情報の円滑な共有を行うことを可能とする情報処理装置、情報処理方法、記録媒体、表示装置、表示方法を提供することが出来る。
【図面の簡単な説明】
【0013】
【
図1】本開示の第1の実施形態にかかる画像共有システムの構成例を示す図である。
【
図2】
図1で示す現場装置の構成例を示すブロック図である。
【
図3】
図1で示す中継装置の構成例を示すブロック図である。
【
図4】
図1で示すユーザ装置の構成例を示すブロック図である。
【
図8】中継装置の動作例を示すフローチャートである。
【
図9】ユーザ装置の動作例を示すフローチャートである。
【
図10】本開示の第2の実施形態にかかる情報処理装置のハードウェア構成例を示す図である。
【
図11】情報処理装置の構成例を示すブロック図である。
【
図12】表示装置の構成例を示すブロック図である。
【発明を実施するための形態】
【0014】
[第1の実施形態]
本開示の第1の実施形態について、
図1から
図9までを参照して説明する。
図1は、画像共有システム100の構成例を示す図である。
図2は、現場装置200の構成例を示すブロック図である。
図3は、中継装置300の構成例を示すブロック図である。
図4は、ユーザ装置400の構成例を示すブロック図である。
図5から
図7までは、画面表示部の表示例を示す図である。
図8は、中継装置300の動作例を示すフローチャートである。
図9は、ユーザ装置400の動作例を示すフローチャートである。
【0015】
本開示の第1の実施形態においては、現場装置200が有する360度カメラが取得した画像データを複数のユーザ装置400で共有する画像共有システム100について説明する。本実施形態における画像共有システム100の場合、各ユーザ装置400において、ユーザの視線方向に応じて抽出した領域の画像など、360度カメラが取得した画像データ全体のうちユーザの状態に応じた少なくとも一部の領域を表示する。また、後述するように、本実施形態の場合、画像共有システム100は、音データについての条件など予め定められた条件を検出する。すると、画像共有システム100は、検出した条件に対応するユーザが表示している画像データの領域を、画像共有システム100に含まれる各ユーザ装置400に表示させる。
【0016】
図1は、画像共有システム100の構成例を示している。
図1を参照すると、画像共有システム100は、現場装置200と中継装置300とユーザ装置400とを有している。
図1で示すように、画像共有システム100は、複数のユーザ装置400(ユーザ装置400-1、ユーザ装置400-2、……。
図1で示すように、画像共有システム100は種類の異なるユーザ装置400を含んでいてもよい)を有している。画像共有システム100は、複数の現場装置200や中継装置300を有してもよい。
【0017】
図1で示すように、現場装置200と中継装置300とは、無線通信などにより互いに通信可能なよう接続されている。また、中継装置300とユーザ装置400とは、無線通信などにより互いに通信可能なよう接続されている。
【0018】
現場装置200は、画像データを取得する情報処理装置である。例えば、現場装置200は、360度カメラなどの撮像装置を有しており、撮像装置を利用して画像データを取得する。また、現場装置200は、マイクロフォンやスピーカなどを有しており、人物の音声などを示す音データの入出力が可能なよう構成されている。例えば、現場装置200は、工場、店舗、そのほか撮像対象となる現場周辺に配置されており、現場にいる現場人物により操作される。
【0019】
図2は、現場装置200の構成例を示している。
図2を参照すると、現場装置200は、例えば、画像データ取得部210と、音データ入出力部220と、送受信部230と、を有している。例えば、現場装置200は、CPUなどの演算装置と記憶装置とを有している。例えば、現場装置200は、記憶装置に格納されたプログラムを演算装置が実行することで、上記各処理部を実現する。
【0020】
画像データ取得部210は、撮像装置に対して所定の指示を送信することなどにより、画像データを取得する。例えば、画像データ取得部210は、撮像装置である360度カメラから全天球(または、半天球)の画像データを取得する。また、画像データ取得部210は、取得した画像データを現場装置200が有する記憶装置に格納することが出来る。
【0021】
音データ入出力部220は、マイクロフォンやスピーカなどを用いることで、音データを取得したり音データを出力したりする。例えば、音データ入出力部220は、現場人物が発した音声などの音データを取得することが出来る。また、音データ入出力部220は、後述する送受信部230が中継装置300から受信した音データなどを出力することが出来る。
【0022】
送受信部230は、中継装置300との間で各種データを送受信する。例えば、送受信部230は、画像データ取得部210が取得した画像データや音データ入出力部220が取得した音データなどを外部装置である中継装置300に対して送信する。また、送受信部230は、中継装置300から音データなどを受信する。
【0023】
以上が、現場装置200の構成例である。なお、現場装置200は、1台の情報処理装置により構成されていてもよいし、360度カメラとスピーカと情報処理装置となど、通信可能に接続された複数台の装置により構成されていてもよい。
【0024】
なお、現場装置200は、音データの送受信を行う会話先を現場人物の操作などにより設定可能なよう構成してもよい。換言すると、現場装置200は、現場人物の操作などにより設定されたユーザ装置400との間でのみ会話を行うことが出来るよう構成してもよい。なお、設定されたユーザ装置400との間でのみ会話を行うよう構成した場合であっても、後述するように、現場装置200が送信した音データや会話の相手として設定されたユーザ装置400が送信した音データを会話の相手として設定されていないユーザ装置400に対して送信するよう構成することが出来る。
【0025】
中継装置300は、現場装置200とユーザ装置400との間でデータの送受信を行うサーバ装置などの情報処理装置である。また、後述するように、中継装置300は、所定の条件を検出する。すると、中継装置300は、検出した条件に対応するユーザが表示している画像データの領域を表示するよう、各ユーザ装置400に対して指示する。
【0026】
図3は、中継装置300の構成例を示している。
図3を参照すると、中継装置300は、主な構成要素として、例えば、通信I/F部310と、記憶部320と、演算処理部330と、を有している。
【0027】
なお、
図3は、中継装置300を1台の情報処理装置により実現する場合について例示している。しかしながら、中継装置300としての機能は、例えばクラウド上に実現されるなど、互いに通信可能に接続された複数台の情報処理装置により実現されてもよい。
【0028】
通信I/F部310は、データ通信回路からなる。通信I/F部310は、通信回線を介して接続された現場装置200やユーザ装置400などの外部装置との間でデータ通信を行う。
【0029】
記憶部320は、ハードディスクやメモリなどの記憶装置である。記憶部320は、演算処理部330における各種処理に必要な処理情報やプログラム324を記憶する。プログラム324は、演算処理部330に読み込まれて実行されることにより各種処理部を実現する。プログラム324は、通信I/F部310などのデータ入出力機能を介して外部装置や記録媒体から予め読み込まれ、記憶部320に保存されている。記憶部320で記憶される主な情報としては、例えば、画像情報321、音情報322、表示情報323などがある。
【0030】
画像情報321は、現場装置200から受信した画像データを含む情報である。画像情報321は、例えば、データ受信部331が現場装置200から画像データを受信した際などに更新される。
【0031】
音情報322は、現場装置200やユーザ装置400から受信した音データを含む情報である。音情報322では、現場装置200やユーザ装置400ごとに音データが格納されている。換言すると、音情報322では、現場装置200やユーザ装置400を識別するための識別情報と、音データと、が対応付けられている。音情報322は、例えば、データ受信部331が現場装置200やユーザ装置400から音データを受信した際などに更新される。
【0032】
表示情報323は、画像データ全体のうちユーザ装置400において表示中の領域を特定するための情報である表示領域情報を示している。例えば、表示情報323では、ユーザ装置400ごとに表示領域情報が含まれている。換言すると、表示情報323では、ユーザ装置400を識別するための識別情報と、表示領域情報と、が対応付けられている。例えば、表示情報323は、データ受信部331がユーザ装置400から表示領域情報を取得した際などに更新される。
【0033】
なお、表示領域情報は、ユーザ装置400において表示中の領域を特定可能であれば、具体的には限定しない。例えば、表示領域情報は、ユーザの視線方向やユーザの向きに応じた情報、座標などユーザ装置400において表示中の領域を示す情報、そのほか領域を特定するための任意の情報であってよい。
【0034】
演算処理部330は、CPUなどの演算装置とその周辺回路を有する。演算処理部330は、記憶部320からプログラム324を読み込んで実行することにより、上記ハードウェアとプログラム324とを協働させて各種処理部を実現する。演算処理部330で実現される主な処理部としては、例えば、データ受信部331、データ送信部332、条件検出部333、表示指示部334などがある。
【0035】
データ受信部331は、現場装置200やユーザ装置400から各種データを受信する。
【0036】
例えば、データ受信部331は、現場装置200から画像データを受信する。すると、データ受信部331は、受信した画像データを画像情報321として記憶部320に格納する。また、データ受信部331は、現場装置200から音データを受信する。すると、データ受信部331は、受信した音データを音情報322として記憶部320に格納する。この際、データ受信部331は、音データと現場装置200を識別するための識別情報とを対応づけるなど、現場装置200から受信した音データであることを判別可能なように音データを格納することが出来る。
【0037】
また、例えば、データ受信部331は、ユーザ装置400から音データを受信する。すると、データ受信部331は、受信した音データを音情報322として記憶部320に格納する。この際、データ受信部331は、音データとユーザ装置400を識別するための識別情報とを対応づけるなど、ユーザ装置400ごとに音データを格納することが出来る。また、データ受信部331は、ユーザ装置400から表示領域情報を受信する。すると、データ受信部331は、受信した表示領域情報を表示情報323として記憶部320に格納する。この際、データ受信部331は、表示領域情報とユーザ装置400を識別するための識別情報とを対応づけるなど、ユーザ装置400ごとに表示領域情報を格納することが出来る。
【0038】
データ送信部332は、現場装置200やユーザ装置400に対して各種データを送信する。例えば、データ送信部332は、現場装置200やユーザ装置400からデータを受信するごとに、受信したデータをユーザ装置400や現場装置200に対して送信する。
【0039】
例えば、データ送信部332は、現場装置200に対して、ユーザ装置400から受信した音データを送信する。データ送信部332は、音データと識別情報とを対応付けて送信してもよい。なお、会話の相手が設定されている場合、データ送信部332は、予め設定されたユーザ装置400から受信した音データのみを現場装置200に対して送信するよう構成してもよい。
【0040】
また、データ送信部332は、ユーザ装置400に対して、現場装置200から受信した画像データや音データを送信する。また、データ送信部332は、ユーザ装置400に対して、他のユーザ装置400から受信した音データを送信する。データ送信部332は、音データと識別情報とを対応付けて送信してもよい。また、データ送信部332は、ユーザ装置400に対して、他のユーザ装置400から受信した表示領域情報を送信することが出来る。なお、会話の相手が設定されているか否かにかかわらず、データ送信部332は、全てのユーザ装置400に対して音データを送信するよう構成してよい。
【0041】
条件検出部333は、予め定められた条件を検出する。例えば、条件検出部333は、音データの送受信状況に応じた条件を検出する。また、条件検出部333は、検出した条件に対応するユーザ装置400を特定する。
【0042】
例えば、条件検出部333は、会話相手の設定などに応じて、音データの送受信状況に応じた条件を検出する。具体的には、例えば、条件検出部333は、現場装置200により現場とあるユーザ装置400との間の会話が設定された際に、現場装置200とユーザ装置400との間で音データの送受信が行われるという条件を満たす旨を検出する。そして、条件検出部333は、会話の相手として設定されたユーザ装置400を検出した条件に対応するユーザ装置400として特定する。
【0043】
また、例えば、条件検出部333は、音情報322に含まれる音データの状況などに応じて、音データの送受信状況に応じた条件を検出する。具体的には、例えば、条件検出部333は、音データの状況に応じてユーザ間や現場ユーザ間で会話していると判断可能な場合に、現場装置200とユーザ装置400との間、または、ユーザ装置400間で音データの送受信が行われているという条件を満たす旨を検出する。そして、条件検出部333は、会話していると判断したユーザ装置400を検出した条件に対応するユーザ装置400として特定する。なお、条件検出部333は、所定時間当たりの音データの量や割合など任意の手段を用いて会話していると判断可能か否か判断してよい。例えば、条件検出部333は、音データの量の割合などに基づいて、現場装置200と会話しているユーザ装置400やユーザ間で会話しているユーザ装置400を特定してもよい。また、条件検出部333は、音データの量などに基づいて誰も会話していないと判断される場合に、会話状態にないという条件を満たす旨を検出して、予め司会などとして定められたユーザ装置400などを特定してもよい。つまり、条件検出部333は、音を検出しない(または、所定以下である)ことを条件として検出してもよい。
【0044】
例えば、以上のように、条件検出部333は、音データの送受信状況に応じた条件を検出する。
【0045】
なお、条件検出部333は、上記例示した以外の条件を検出してもよい。例えば、条件検出部333は、音データを文字化した上で特定のキーワードを検出した場合に特定のキーワードを含む音データの送受信が行われているという条件を検出してもよい。条件検出部333は、上記例示した以外の音データについての条件を検出してもよい。また、条件検出部333は、PCのボタン操作やマウスの動き、視線など、音データ以外の情報に応じた条件を検知して、ユーザ装置を特定してもよい。
【0046】
表示指示部334は、条件検出部333による条件の検出に応じて、条件検出部333が特定したユーザ装置400において表示中の領域を表示するよう、特定したユーザ装置400を含む各ユーザ装置400に対して指示する。表示指示部334は、特定したユーザ装置400を除く画像共有システム100に含まれる各ユーザ装置400に対して上記指示を行ってもよい。
【0047】
例えば、表示指示部334は、条件検出部333による条件の検出に応じて、条件検出部333が特定したユーザ装置400を識別するための識別情報を含む表示指示を各ユーザ装置400に対して送信する。例えば、このような表示指示の送信により、表示指示部334は、各ユーザ装置400に対して、特定したユーザ装置400において表示中の領域を表示するよう指示する。なお、表示指示には、識別情報のほか、特定したユーザ装置400に対応する表示領域情報などが含まれてもよい。また、条件検出部333がユーザ装置400間で音データの送受信が行われているという条件を検出した場合、条件検出部333は、音データの送受信を行う複数のユーザ装置400を特定することになる。そのため、表示指示部334が送信する表示指示には、複数の識別情報が含まれてもよい。
【0048】
以上が、中継装置300の構成例である。なお、中継装置300の機能うち、データ受信部331としての機能とデータ送信部332としての機能は、既知の技術を用いて実現されてよい。また、表示指示部334は、画像共有システム100に含まれるユーザ装置400のうち、所定の条件を満たす一部ユーザ装置400に対してのみ表示指示を送信するよう構成してもよい。換言すると、表示指示部334は、特定したユーザ装置400以外のユーザ装置400のうち所定の条件を満たすユーザ装置400に対して表示指示を送信するよう構成してもよい。つまり、表示指示部334は、必ずしも画像共有システム100に含まれるすべてのユーザ装置400に対して表示指示を送信しなくてもよい。例えば、表示指示部334は、特定したユーザ装置400以外のユーザ装置400のうち予め設定されたグループ内に属するユーザ装置400などに対して表示指示を送信するよう構成してもよい。同様に、データ送信部332は、画像共有システム100に含まれるユーザ装置400のうち、所定の条件を満たす一部ユーザ装置400に対してのみ表示領域情報を送信するよう構成してもよい。
【0049】
ユーザ装置400は、画像データのうちの少なくとも一部の領域を表示する情報処理装置である。例えば、ユーザ装置400は、ヘッドマウントディスプレイ、スマートフォン、タブレットなどの表示装置を有する情報処理装置である。例えば、ユーザ装置400は、センサなどを有しており、ユーザの視線方向などのユーザの状態を検出可能なよう構成することが出来る。また、ユーザ装置400は、マイクロフォンやスピーカなどを有しており、人物の音声などを示す音データの入出力が可能なよう構成されている。例えば、ユーザ装置400は、現場とは異なる位置に存在する各ユーザが有しており、ユーザにより操作される。なお、ユーザ装置400のうちの少なくとも一部は現場に存在してもよい。
【0050】
図4は、ユーザ装置400の構成例を示している。
図4を参照すると、ユーザ装置400は、主な構成要素として、例えば、通信I/F部410と、画面表示部420と、操作入力部430と、音入出力部440と、記憶部450と、演算処理部460と、を有している。
【0051】
通信I/F部410は、データ通信回路からなる。通信I/F部410は、通信回線を介して接続された中継装置300などの外部装置との間でデータ通信を行う。
【0052】
画面表示部420は、LCD(Liquid Crystal Display、液晶ディスプレイ)などの画面表示装置からなる。画面表示部420は、演算処理部460からの指示に応じて、画像データのうちの少なくとも一部の領域など記憶部450に格納された各種情報を画面表示することが出来る。画面表示部420は、操作入力部430としての機能を有するタッチパネル付きのディスプレイなどであってもよい。
【0053】
操作入力部430は、キーボード、マウス、各種センサなどの操作入力装置からなる。操作入力部430は、ユーザ装置400を有するユーザの操作を検出して演算処理部460に出力する。
【0054】
音入出力部440は、マイクロフォンやスピーカなどの音入出力装置からなる。音入出力部440は、音データを取得したり、演算処理部460からの指示に応じて音データを出力したりする。例えば、音入出力部440は、ユーザが発した音声などの音データを取得することが出来る。また、音入出力部440は、後述する音情報452に含まれる音データなどを出力することが出来る。
【0055】
記憶部450は、ハードディスクやメモリなどの記憶装置である。記憶部450は、演算処理部460における各種処理に必要な処理情報やプログラム455を記憶する。プログラム455は、演算処理部460に読み込まれて実行されることにより各種処理部を実現する。プログラム455は、通信I/F部410などのデータ入出力機能を介して外部装置や記録媒体から予め読み込まれ、記憶部450に保存されている。記憶部450で記憶される主な情報としては、例えば、画像情報451、音情報452、表示情報453、指示情報454などがある。
【0056】
画像情報451は、中継装置300を介して現場装置200から受信した画像データを含む情報である。画像情報451は、例えば、データ受信部461が中継装置300から画像データを受信した際などに更新される。
【0057】
音情報452は、中継装置300を介して現場装置200やユーザ装置400から受信した音データを含む情報である。音情報452では、現場装置200やユーザ装置400ごとに音データが格納されている。換言すると、音情報452では、現場装置200やユーザ装置400を識別するための識別情報と、音データと、が対応付けられている。音情報452は、例えば、データ受信部461が中継装置300から音データを受信した際などに更新される。
【0058】
表示情報453は、画像共有システム100に含まれる各ユーザ装置400において表示中の領域を特定するための情報である表示領域情報を示している。例えば、表示情報453では、ユーザ装置400ごとに表示領域情報が含まれている。換言すると、表示情報453では、ユーザ装置400を識別するための識別情報と、表示領域情報と、が対応付けられている。例えば、表示情報453は、データ受信部461が中継装置300から表示領域情報を取得した際などに更新される。
【0059】
指示情報454は、中継装置300から受信した表示指示を示している。例えば、指示情報454は、中継装置300から表示指示を受信した際などに更新される。
【0060】
演算処理部460は、CPUなどの演算装置とその周辺回路を有する。演算処理部460は、記憶部450からプログラム455を読み込んで実行することにより、上記ハードウェアとプログラム455とを協働させて各種処理部を実現する。演算処理部460で実現される主な処理部としては、例えば、データ受信部461、データ送信部462、画像表示部463、表示領域情報取得部464、表示領域情報送信部465などがある。
【0061】
データ受信部461は、中継装置300から各種データを受信する。
【0062】
例えば、データ受信部461は、中継装置300から画像データを受信する。すると、データ受信部461は、受信した画像データを画像情報451として記憶部450に格納する。また、データ受信部461は、中継装置300から音データを受信する。すると、データ受信部461は、受信した音データを音情報452として記憶部450に格納する。この際、データ受信部461は、音データと識別情報とを対応づけて記憶部450に格納してもよい。
【0063】
また、データ受信部461は、中継装置300から表示指示を受信する。すると、データ受信部461は、受信した表示指示を指示情報454として記憶部450に格納する。
【0064】
データ送信部462は、中継装置300に対して各種データを送信する。例えば、データ送信部462は、音データを取得するごとに、取得した音データを中継装置300に対して送信する。データ送信部462は、音データと識別情報とを対応付けて送信してもよい。
【0065】
画像表示部463は、画像情報451に含まれる画像データのうちの少なくとも一部の領域を画面表示部420に表示させる。例えば、画像表示部463は、ユーザ装置400を操作するユーザの状態に応じた一部の領域を表示させるとともに、表示情報453に基づいて他のユーザ装置400において表示中の領域を表示させることが出来る。
【0066】
例えば、画像表示部463は、画像情報451を参照して、画像データのうち、センサが検出したユーザの視線方向など、ユーザの状態に応じた領域を抽出する。この際、画像表示部463は、任意の方法で領域の抽出を行ってよい。そして、画像表示部463は、抽出した領域を画面表示部420に表示させる。このように、画像表示部463は、ユーザの状態に応じた領域を画面表示部420に表示させることが出来る。
【0067】
なお、画像表示部463は、視線方向の検出の代わりに、または、視線方向の検出とともに、操作入力部430に対する操作などユーザの選択状態に応じて領域の抽出を行ってもよい。画像表示部463は、任意の手段を用いてユーザの状態を特定するとともに、特定した状態に応じた領域の抽出をおこなってよい。
【0068】
また、画像表示部463は、画像情報451と表示情報453とを参照して、他のユーザ装置400において表示中の領域を画面表示部420に表示させることが出来る。つまり、画像表示部463は、任意のユーザ装置400において表示中の領域である他者表示領域を画面表示部420に表示させることが出来る。例えば、画像表示部463は、操作入力部430に対するユーザの操作などに応じて、画面表示部420に表示させる対象になるユーザを切り替えることが出来るよう構成してもよい。また、画面表示部463は、他のユーザ装置400に対する他のユーザの操作に応じて、画面表示部420に表示させる対象になるユーザを切り替えることが出来るよう構成してもよい。換言すると、画面表示部463は、画面共有システム100に含まれる各ユーザ装置400で共通のユーザに対応する他者表示領域を表示させるよう構成されてもよいし、自装置で選択されたユーザに対応する他者表示領域を表示させるよう構成されてもよい。また、表示させる対象になるユーザの切り替えは、予め定められた1つまたは複数のユーザ装置400が行うよう構成されていてもよいし、任意の条件に応じて定められる1つまたは複数のユーザ装置400が行うよう構成されていてもよい。
【0069】
また、画像表示部463は、データ受信部461が受信した表示指示に応じて、表示指示が示すユーザ装置400において表示中の領域を画面表示部420に表示させることが出来る。つまり、画像表示部463は、指示されたユーザ装置400において表示中の領域である指示領域を画面表示部420に表示させることが出来る。例えば、画像表示部463は、データ受信部461が表示指示を受信すると、表示情報453を参照して表示指示に含まれる識別情報に対応する表示領域情報を特定する。そして、画像表示部463は、特定した表示領域情報が示す領域を画面表示部420に表示させる。または、表示指示に表示領域情報が含まれる場合、画像表示部463は、表示指示に含まれる表示領域情報が示す領域を画面表示部420に表示させる。
【0070】
なお、画像表示部463は、表示指示に応じて、他者表示領域の代わりに指示領域を画面表示部420に表示させることが出来る。画像表示部463は、他者表示領域とともに指示領域を画面表示部420に表示させてもよい。
【0071】
また、本実施形態においては、画像表示部463が表示指示に応じた表示を解除するタイミングなどについては特に限定しない。画像表示部463は、任意のタイミングで表示指示に応じた表示を解除してよい。
【0072】
図5から
図7までは、画像表示部463が表示させる画面表示部420における表示例を示している。例えば、
図5は、表示指示を受信していない状態における表示例を示している。
図5を参照すると、画像表示部463は、表示部にユーザの状態に応じて抽出した領域を表示させる。また、画像表示部463は、他者表示表示部に他者表示領域を表示させる。例えば、以上のように、画像表示部463は、表示指示を受信していない状態において、ユーザの状態に応じて抽出した領域とともに、他者表示領域を表示させることが出来る。なお、他者表示領域を表示させるか否かは、ユーザにより選択可能なよう構成してもよい。他者表示領域を表示させないとユーザが表示している場合、画像表示部463は、画面表示部420全体にユーザの状態に応じて抽出した領域を表示させてよい。
【0073】
また、
図6は、表示指示を受信した状態における表示例を示している。
図6を参照すると、画像表示部463は、表示部にユーザの状態に応じて抽出した領域を表示させる。また、画像表示部463は、他者表示表示部に指示領域を表示させる。例えば、以上のように、画像表示部463は、表示指示を受信すると、他者表示領域の代わりに指示領域を表示させることが出来る。なお、他者表示領域を表示させないとユーザが選択している場合でも、表示指示を受信すると、画像表示部463は、
図6で示すように指示領域を表示させるものとする。
【0074】
また、
図7は、表示指示に複数の識別情報が含まれる場合の表示例を示している。
図7を参照すると、画像表示部463は、表示指示に複数の識別情報が含まれる場合、他者表示表示部を複数に分割して、分割したそれぞれに指示領域を表示させることが出来る。なお、
図7で示すような分割表示を行う場合、ユーザによる操作入力部430に対する操作やユーザの視線方向検出結果などユーザの選択行為に応じて、分割した領域のうちの少なくとも1つを選択可能なよう構成してもよい。また、ユーザが選択した場合、例えば
図6で示すように、指示領域のうちの選択した領域のみを他者表示表示部に表示してもよい。つまり、画像表示部463は、ユーザによる選択行為に応じて複数の指示領域のうちの一部のみを画面表示部420に表示させてもよい。
【0075】
なお、
図5から
図7までは表示例を示しており、画面表示部420における表示は
図5から
図7までに示す場合に限定されない。例えば、表示部や他者表示表示部の位置や大きさは任意に変更してよい。
【0076】
表示領域情報取得部464は、画像表示部463がユーザの状態に応じた表示させている領域を特定するための情報である表示領域情報を取得する。そして、表示領域情報取得部464は、取得した表示領域情報を表示情報453として記憶部450に格納する。
【0077】
例えば、表示領域情報取得部464は、表示領域情報として、ユーザの視線方向やユーザの向きに応じた情報、座標などユーザ装置400において表示中の領域を示す情報、そのほか領域を特定するための情報、のうちの少なくとも1つを取得する。表示領域情報取得部464は、予め定められた間隔など任意のタイミングで表示領域情報を取得してよい。
【0078】
表示領域情報送信部465は、表示領域情報取得部464が取得した表示領域情報を中継装置300に対して送信する。例えば、表示領域情報送信部465は、自装置の識別情報と対応づけて表示領域情報を中継装置300に対して送信することが出来る。例えば、表示領域情報送信部465は、表示領域情報取得部464が表示領域情報を取得するごとに表示領域情報を中継装置300に対して送信することが出来る。
【0079】
以上が、ユーザ装置400の構成例である。続いて、
図8、
図9を参照して中継装置300とユーザ装置400の動作例について説明する。
【0080】
図8は、中継装置300の動作例を示している。
図8を参照すると、条件検出部333は、予め設定された条件を満たすか否か確認する(ステップS101)。条件を満たさない場合(ステップS101、No)、条件検出部333は、条件の検出を続ける。一方、条件を満たす場合(ステップS101、Yes)、条件検出部333は、検出した条件に対応するユーザ装置400を特定する(ステップS102)。
【0081】
表示指示部334は、条件検出部333が特定したユーザ装置400において表示中の領域を表示するよう、ユーザ装置400に対して指示する(ステップS103)。つまり、表示指示部334は、ユーザ装置400に対して表示指示を送信する。例えば、表示指示部334は、画像共有システム100に含まれるすべてのユーザ装置400に対して表示指示を送信する。表示指示部334は、画像共有システム100に含まれるすべてのユーザ装置400のうち所定の条件を満たすユーザ装置400に対して表示指示を送信するよう構成してもよい。
【0082】
以上が、中継装置300の動作例である。続いて、
図9を参照して、ユーザ装置400の動作例について説明する。
【0083】
図9を参照すると、画像表示部463は、表示指示を受信していない状態において(ステップS201、No)、任意のユーザ装置400において表示中の領域である他者表示領域を表示させる(ステップS203)。表示対象となるユーザ装置400は、ユーザの操作などに応じて選択可能であってよい。
【0084】
一方、表示指示を受信すると(ステップS201、Yes)、画像表示部463は、表示指示により指示されたユーザ装置400において表示中の領域である指示領域を表示させる(ステップS202)。例えば、画像表示部463は、他者表示領域の代わりに、指示領域を表示させる。画像表示部463は、他者表示領域とともに指示領域を表示させてもよい。
【0085】
以上が、ユーザ装置400の動作例である。
【0086】
このように、中継装置300は、条件検出部333と表示指示部334とを有している。このような構成によると、表示指示部334は、条件検出部333による条件の検出に応じて、条件検出部333が特定したユーザ装置400において表示中の領域を表示するよう、所定の各ユーザ装置400に対して指示することが出来る。その結果、表示指示を受信したユーザ装置400において、表示指示が指示するユーザ装置400において表示中の領域を表示することが出来る。これにより、画像データを共有する画像共有システムにおいて、会話の発信者であるユーザが確認中の領域などを他のユーザ装置400においても確認することが可能となり、共有者間において情報の円滑な共有を行うことが可能となる。
【0087】
また、ユーザ装置400の画像表示部463は、表示指示に応じて、表示指示が指示するユーザ装置400において表示中の領域を表示するよう構成されている。これにより、ユーザ装置400を操作するユーザは、会話の発信者であるユーザが確認中の領域などを迅速に確認することが可能となり、会話の発信者との間で情報の円滑な共有を行うことが可能となる。
【0088】
一例として、本発明は、製造工程において作業内容を教育する場合などの教育分野、店舗内におけるディスプレイ例を遠隔で複数のユーザが確認・検討する場合などのビジネス分野などにおいて活用することが出来る。例えば、本発明によると、条件の検出に応じて、熟練者などの教師が確認中の領域を他のユーザ装置400に表示させることが出来る。その結果、教師が何を見てチェック・発言しているのかなどを他のユーザ装置400を操作するユーザが容易に確認することが可能となり、ノウハウの共有などをより容易に行うことが可能となる。また、本発明によると、条件の検出に応じて、会話中のユーザが確認中の領域を他のユーザ装置400に表示させることが出来る。その結果、どの視点に基づいて会話しているのかなどを他のユーザ装置400を操作するユーザが容易に確認することが可能となり、円滑な情報の共有を行うことが可能となる。なお、本発明は、上記例示した以外の場面で活用されてもよい。
【0089】
なお、本実施形態においては、360度カメラが取得した全天球の画像データなどを共有する場合について例示した。しかしながら、本発明は、本実施形態において例示した以外の共有システムに適用されてもよい。例えば、本発明は、画像データを各々がズームすることなどにより、二次元の画像データの一部を各ユーザ装置において表示することが可能な画像共有システムに適用されてもよい。また、本発明は、ユーザ装置において情報の少なくとも一部を表示する画像データ以外の情報共有システムに適用してもよい。例えば、本発明は、閲覧中のウェブサイトを示す表示情報を中継装置に送信する、ウェブサイトなどの情報を共有するシステムに適用されてもよい。
【0090】
[第2の実施形態]
次に、
図10から
図12までを参照して、本発明の第2の実施形態について説明する。本発明の第2の実施形態では、データ全体のうちの少なくとも一部の領域を表示するユーザ装置複数と接続された情報処理装置500、表示装置600の構成の概要について説明する。
【0091】
図10は、情報処理装置500のハードウェア構成例を示している。
図10を参照すると、情報処理装置500は、一例として、以下のようなハードウェア構成を有している。
・CPU(Central Processing Unit)501(演算装置)
・ROM(Read Only Memory)502(記憶装置)
・RAM(Random Access Memory)503(記憶装置)
・RAM503にロードされるプログラム群504
・プログラム群504を格納する記憶装置505
・情報処理装置外部の記録媒体510の読み書きを行うドライブ装置506
・情報処理装置外部の通信ネットワーク511と接続する通信インタフェース507
・データの入出力を行う入出力インタフェース508
・各構成要素を接続するバス509
【0092】
また、情報処理装置500は、プログラム群504をCPU501が取得して当該CPU501が実行することで、
図11に示す検出部521、指示部522としての機能を実現することが出来る。なお、プログラム群504は、例えば、予め記憶装置505やROM502に格納されており、必要に応じてCPU501がRAM503などにロードして実行する。また、プログラム群504は、通信ネットワーク511を介してCPU501に供給されてもよいし、予め記録媒体510に格納されており、ドライブ装置506が該プログラムを読み出してCPU501に供給してもよい。
【0093】
なお、
図10は、情報処理装置500のハードウェア構成例を示している。情報処理装置500のハードウェア構成は上述した場合に限定されない。例えば、情報処理装置500は、ドライブ装置506を有さないなど、上述した構成の一部から構成されてもよい。
【0094】
検出部521は、予め定められた条件を検出する。例えば、検出部521は、音データに基づいて会話していると判断であるか否かなど、音データの送受信状況に応じた条件を検出する。
【0095】
指示部522は、検出部521が検出した結果に応じて、条件に対応するユーザ装置が表示している領域を表示するよう、接続中のユーザ装置のうちの少なくとも一部に対して指示する。例えば、指示部522は、表示対象となるユーザ装置を指示する表示指示を送信することなどにより上記指示を行うことが出来る。
【0096】
このように、情報処理装置500は、検出部521と指示部522とを有している。このような構成によると、指示部522は、検出部521が検出した結果に応じて、条件に対応するユーザ装置が表示している領域を表示するよう、接続中のユーザ装置のうちの少なくとも一部に対して指示することが出来る。その結果、指示を受けたユーザ装置において、対象となるユーザ装置において表示中の領域を表示することが出来る。これにより、画像データを共有する画像共有システムにおいて、情報の円滑な共有を行うことが可能となる。
【0097】
なお、上述した情報処理装置500は、当該情報処理装置500に所定のプログラムが組み込まれることで実現できる。具体的に、本発明の他の形態であるプログラムは、データ全体のうちの少なくとも一部の領域を表示するユーザ装置複数と接続された情報処理装置500に、予め定められた条件を検出し、検出した結果に応じて、条件に対応するユーザ装置が表示している領域を表示するよう、接続中のユーザ装置のうちの少なくとも一部に対して指示する処理を実現するためのプログラムである。
【0098】
また、上述した情報処理装置500により実行される情報処理方法は、データ全体のうちの少なくとも一部の領域を表示するユーザ装置複数と接続された情報処理装置500が、予め定められた条件を検出し、検出した結果に応じて、条件に対応するユーザ装置が表示している領域を表示するよう、接続中のユーザ装置のうちの少なくとも一部に対して指示する、というものである。
【0099】
上述した構成を有する、プログラム(又は記録媒体)、又は、情報処理方法、の発明であっても、情報処理装置500と同様の作用・効果を有するために、上述した本発明の目的を達成することが出来る。
【0100】
また、本発明は、
図12で示すような構成を有する表示装置600であっても、同様の理由により本発明の目的を達成することが出来る。なお、表示装置600のハードウェア構成は、
図10を参照して説明した情報処理装置500の場合と同様であってよい。そのため、表示装置600のハードウェア構成については説明を省略する。
【0101】
図12を参照すると、表示装置600は、プログラム群をCPUが取得して当該CPUが実行することで、受信部621と表示部622としての機能を実現することが出来る。
【0102】
受信部621は、データ全体のうち他のユーザ装置で表示中の領域を特定するための情報である表示領域情報を受信する。
【0103】
表示部622は、データ全体のうちユーザの状態に応じた領域を表示させるとともに、表示領域情報に基づいて他のユーザ装置で表示中の領域を表示させる。また、表示部622は、所定の条件の検出結果として外部装置から送信される表示指示を受信すると、表示指示に基づいて、データ全体のうち前記表示指示が示すユーザ装置で表示中の領域を表示させる。
【0104】
このような構成を有する表示装置600、または、表示装置600が行う表示方法、表示装置600に表示方法を実現させるためのプログラム(または、記録媒体)であっても、上述したように、本発明の目的を達成することが出来る。
【0105】
<付記>
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における情報処理装置などの概略を説明する。但し、本発明は、以下の構成に限定されない。
【0106】
(付記1)
データ全体のうちの少なくとも一部の領域を表示するユーザ装置複数と接続された情報処理装置であって、
予め定められた条件を検出する検出部と、
前記検出部が検出した結果に応じて、条件に対応するユーザ装置が表示している領域を表示するよう、接続中のユーザ装置のうちの少なくとも一部に対して指示する指示部と、
を有する
情報処理装置。
(付記2)
前記検出部は、前記音データの送受信状況に応じた条件を検出する
付記1に記載の情報処理装置。
(付記3)
前記検出部は、前記音データの送受信状況に応じて会話していると判断可能な場合に予め定められた条件を満たす旨を検出する
付記1または付記2に記載の情報処理装置。
(付記4)
データを取得する現場装置と接続されており、
前記検出部は、現場装置とユーザ装置との間で会話していると判断可能な場合に予め定められた条件を満たす旨を検出し、
前記指示部は、前記検出部が検出した結果に応じて、現場装置と会話していると判断可能なユーザ装置が表示している領域を表示するよう、接続中のユーザ装置のうちの少なくとも一部に対して指示する
付記1から付記3までのうちのいずれか1項に記載の情報処理装置。
(付記5)
ユーザ装置で表示中の領域を特定するための表示領域情報を受信する受信部と、
前記受信部が受信した前記表示領域情報を接続中のユーザ装置のうちの少なくとも一部に対して送信する送信部と、
を有する
付記1から付記4までのうちのいずれか1項に記載の情報処理装置。
(付記6)
前記指示部は、前記表示領域情報を含む指示を接続中のユーザ装置のうちの少なくとも一部に対して行う
付記5に記載の情報処理装置。
(付記7)
データ全体のうちの少なくとも一部の領域を表示するユーザ装置複数と接続された情報処理装置が、
予め定められた条件を検出し、
検出した結果に応じて、条件に対応するユーザ装置が表示している領域を表示するよう、接続中のユーザ装置のうちの少なくとも一部に対して指示する
情報処理方法。
(付記8)
データ全体のうちの少なくとも一部の領域を表示するユーザ装置複数と接続された情報処理装置が、
予め定められた条件を検出し、
検出した結果に応じて、条件に対応するユーザ装置が表示している領域を表示するよう、接続中のユーザ装置のうちの少なくとも一部に対して指示する
処理を実現するためのプログラム。
(付記9)
データ全体のうち他のユーザ装置で表示中の領域を特定するための情報である表示領域情報を受信する受信部と、
データ全体のうちユーザの状態に応じた領域を表示させるとともに、前記表示領域情報に基づいて他のユーザ装置で表示中の領域を表示させる表示部と、
を有し、
前記表示部は、所定の条件の検出結果として外部装置から送信される表示指示に基づいて、データ全体のうち前記表示指示が示すユーザ装置で表示中の領域を表示させる
表示装置。
(付記10)
ユーザ装置が、
データ全体のうち他のユーザ装置で表示中の領域を特定するための情報である表示領域情報を受信し、
データ全体のうちユーザの状態に応じた領域を表示させるとともに、前記表示領域情報に基づいて他のユーザ装置で表示中の領域を表示させ、
所定の条件の検出結果として外部装置から送信される表示指示を受信すると、受信した表示指示に基づいて、データ全体のうち前記表示指示が示すユーザ装置で表示中の領域を表示させる
表示方法。
【0107】
なお、上記各実施形態及び付記において記載したプログラムは、記憶装置に記憶されていたり、コンピュータが読み取り可能な記録媒体に記録されていたりする。例えば、記録媒体は、フレキシブルディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等の可搬性を有する媒体である。
【0108】
以上、上記各実施形態を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることが出来る。
【0109】
なお、本発明は、日本国にて2021年5月26日に特許出願された特願2021-088051の特許出願に基づく優先権主張の利益を享受するものであり、当該特許出願に記載された内容は、全て本明細書に含まれるものとする。
【符号の説明】
【0110】
100 画像共有システム
200 現場装置
210 画像データ取得部
220 音データ入出力部
230 送受信部
300 中継装置
310 通信I/F部
320 記憶部
321 画像情報
322 音情報
323 表示情報
324 プログラム
330 演算処理部
331 データ受信部
332 データ送信部
333 条件検出部
334 表示指示部
400 ユーザ装置
410 通信I/F部
420 画面表示部
430 操作入力部
440 音入出力部
450 記憶部
451 画像情報
452 音情報
453 表示情報
454 指示情報
455 プログラム
460 演算処理部
461 データ受信部
462 データ送信部
463 画像表示部
464 表示領域情報取得部
465 表示領域情報送信部
500 情報処理装置
501 CPU
502 ROM
503 RAM
504 プログラム群
505 記憶装置
506 ドライブ装置
507 通信インタフェース
508 入出力インタフェース
509 バス
510 記録媒体
511 通信ネットワーク
521 検出部
522 指示部
600 表示装置
621 受信部
622 表示部