(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-04
(45)【発行日】2024-09-12
(54)【発明の名称】情報処理装置及びプログラム
(51)【国際特許分類】
H04M 3/56 20060101AFI20240905BHJP
【FI】
H04M3/56 C
(21)【出願番号】P 2024510138
(86)(22)【出願日】2023-03-17
(86)【国際出願番号】 JP2023010696
(87)【国際公開番号】W WO2023182230
(87)【国際公開日】2023-09-28
【審査請求日】2024-06-04
(31)【優先権主張番号】P 2022047275
(32)【優先日】2022-03-23
(33)【優先権主張国・地域又は機関】JP
【国等の委託研究の成果に係る記載事項】(出願人による申告)令和3年度、国立研究開発法人科学技術振興機構、研究成果展開事業センター・オブ・イノベーションプログラム「乳幼児からの健やかな脳の育成による積極的自立社会創成拠点」委託研究開発、産業技術力強化法第17条の適用を受ける特許出願
【早期審査対象出願】
(73)【特許権者】
【識別番号】504176911
【氏名又は名称】国立大学法人大阪大学
(74)【代理人】
【識別番号】100106002
【氏名又は名称】正林 真之
(74)【代理人】
【識別番号】100120891
【氏名又は名称】林 一好
(72)【発明者】
【氏名】沼尾 正行
【審査官】小松崎 里沙
(56)【参考文献】
【文献】特開2009-033255(JP,A)
【文献】特開2020-135556(JP,A)
【文献】特開2006-201709(JP,A)
【文献】特開平10-150647(JP,A)
【文献】特開2014-236472(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04M 3/00
3/16- 3/20
3/38- 3/58
7/00- 7/16
11/00-11/10
G06F13/00
G06T19/00
G06Q10/00-10/10
30/00-30/08
50/00-50/20
50/26-99/00
G16Z99/00
H04N 7/10
(57)【特許請求の範囲】
【請求項1】
ユーザによって用いられる複数のユーザ端末に接続され、複数の前記ユーザ端末間で画像信号を共有させる情報処理装置であって、
複数の前記ユーザ端末のそれぞれから出力される画像信号を取得する画像信号取得部と、
取得された
前記画像信号の中から対応関係のある前記画像信号を特定する特定部と、
特定された前記画像信号を出力している前記ユーザ端末間の接続を確立するとともに、それぞれの前記ユーザ端末から出力される前記画像信号を合成する合成部と、
合成された前記画像信号をそれぞれの前記ユーザ端末に出力する出力部と、
を備える情報処理装置。
【請求項2】
前記特定部は、取得した画像信号に、予め定められた関係性を示す画像が含まれる前記画像信号を対応関係のある前記画像信号として特定する請求項1に記載の情報処理装置。
【請求項3】
前記特定部は、取得した画像信号に、予め定められた関係性を示す条件を含む前記画像信号を対応関係のある前記画像信号として特定する
請求項1に記載の情報処理装置。
【請求項4】
前記合成部は、一方の前記ユーザ端末から取得された前記画像信号に、他方の前記ユーザ端末から取得された前記画像信号を重ねることにより合成する請求項1から3のいずれかに記載の情報処理装置。
【請求項5】
ユーザによって用いられる複数のユーザ端末に接続され、複数の前記ユーザ端末間で画像信号を共有させる情報処理装置としてコンピュータを機能させるプログラムであって、
前記コンピュータを、
複数の前記ユーザ端末のそれぞれから出力される画像信号を取得する画像信号取得部、
取得された
前記画像信号の中から対応関係のある前記画像信号を特定する特定部、
特定された前記画像信号を出力している前記ユーザ端末間の接続を確立するとともに、それぞれの前記ユーザ端末から出力される前記画像信号を合成する合成部、
合成された前記画像信号をそれぞれの前記ユーザ端末に出力する出力部、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置及びプログラムに関する。
【背景技術】
【0002】
従来、所定のサーバがアクセスを受け付けた複数の端末間を接続するWeb会議システムが知られている。サーバは、アクセスを受け付けた端末間で画像信号(映像)及び音声信号のやり取りを仲介することにより、アクセスを受け付けた端末間でのやりとり可能にしている。このようなWeb会議システムとして、ミーティングへの参加者同士でダイレクトなトーク(ダイレクトトーク)をすることが可能なシステムが提案されている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、Web会議システムでは、上記のように、サーバがアクセスされた端末間を仲介する。近年では様々なWeb会議システムが存在するが、システムごとにプラットフォームが異なるため、参加するWeb会議システムごとに接続すべきサーバも異なる。このため、異なるWeb会議システムに接続された端末間では、そのままWeb会議を実施することができない。これに対し、複数の端末間で容易に接続を確立することができれば好適である。
【0005】
本発明は、このような点に鑑みてなされたものであり、複数の端末間で容易に接続を確立することが可能な情報処理装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明は、複数の端末に接続され、複数の前記端末間で画像信号を共有させる情報処理装置であって、複数の前記端末のそれぞれから出力される画像信号を取得する画像信号取得部と、取得された内容に対応関係のある前記画像信号を特定する特定部と、特定された前記画像信号を出力している前記端末間の接続を確立するとともに、それぞれの前記端末から出力される前記画像信号を合成する合成部と、合成された前記画像信号をそれぞれの前記端末に出力する出力部と、を備える情報処理装置に関する。
【0007】
また、前記特定部は、取得した画像信号に、予め定められた関係性を示す画像が含まれる前記画像信号を対応関係のある前記画像信号として特定するのが好ましい。
【0008】
また、前記特定部は、取得した画像信号に、予め定められた関係性を示す条件を含む前記画像信号を対応関係のある前記画像信号として特定するのが好ましい。
【0009】
また、前記合成部は、一方の前記端末から取得された前記画像信号に、他方の前記端末から取得された前記画像信号を重ねることにより合成するのが好ましい。
【0010】
また、本発明は、複数の端末に接続され、複数の前記端末間で画像信号を共有させる情報処理装置としてコンピュータを機能させるプログラムであって、前記コンピュータを、複数の前記端末のそれぞれから出力される画像信号を取得する画像信号取得部、取得された内容に対応関係のある前記画像信号を特定する特定部、特定された前記画像信号を出力している前記端末間の接続を確立するとともに、それぞれの前記端末から出力される前記画像信号を合成する合成部、合成された前記画像信号をそれぞれの前記端末に出力する出力部、として機能させるプログラムに関する。
【発明の効果】
【0011】
本発明は、複数の端末間で容易に接続を確立することが可能な情報処理装置及びプログラムを提供することができる。
【図面の簡単な説明】
【0012】
【
図1】本発明の一実施形態に係る情報処理装置を含む情報処理システムの概要を示す構成図である。
【
図2】一実施形態の情報処理装置の構成を示すブロック図である。
【
図3】一実施形態の情報処理装置によって出力される画面図である。
【
図4】一実施形態の情報処理装置の動作の流れを示すフローチャートである。
【発明を実施するための形態】
【0013】
以下、本発明の一実施形態に係る情報処理装置1及びプログラムについて、
図1から
図4を参照して説明する。
まず、情報処理装置1の概要について説明する。
【0014】
情報処理装置1は、例えば、パーソナルコンピュータ又はタブレット等の電子計算機である。情報処理装置1は、例えば、Web会議に参加している複数のユーザのユーザ端末201,202,203,204間の映像出力(以下、画像信号ともいう)及び音声出力(以下、音声信号ともいう)を合成出力する装置である。情報処理装置1は、例えば、異なるWeb会議に参加しているユーザ端末201,202,203,204の間で両者の映像出力及び音声出力を合成する装置である。
【0015】
具体的には、情報処理装置1は、Web会議における画像信号において、所定の条件を満たしたユーザ端末201,202,203,204間の画像信号同士を合成する。また、情報処理装置1は、所定の条件を満たしたユーザ端末201,202,203,204間の音声信号同士を合成する。情報処理装置1は、合成した画像信号及び音声信号を合成元のユーザ端末201,202,203,204に配信する。これにより、情報処理装置1は、異なるWeb会議システムに参加したユーザ端末間を接続することを可能にすることを図ったものである。
【0016】
次に、一実施形態に係る情報処理装置1を含む情報処理システムについて、
図1を参照して説明する。
情報処理システムは、例えば、
図1に示すように、ユーザ端末201,202,203,204と、会議サーバ301,302と、情報処理装置1と、を含む。
【0017】
ユーザ端末201,202,203,204は、例えば、パーソナルコンピュータ又はタブレット等の電子計算機である。ユーザ端末201,202,203,204は、Web会議に接続するユーザごとに設けられる。ユーザ端末201,202,203,204は、画像信号及び音声信号を出力可能な装置である。ユーザ端末201,202,203,204は、例えば、ユーザのアバターや顔画像を含む画像信号を出力する。また、ユーザ端末201,202,203,204は、例えば、ユーザ端末201,202,203,204によって取得されたユーザの声を含む音声信号を出力する。
【0018】
会議サーバ301,302は、例えば、サーバである。会議サーバ301,302は、ユーザ端末201,202,203,204間においてWeb会議を実施するためのプラットフォームを提供する。会議サーバ301,302は例えば、ネットワークNを介して接続をリクエストされたユーザ端末201,202,203,204に対して、接続を確立する。これにより、会議サーバ301,302は、接続したユーザ端末201,202,203,204から出力される画像信号及び映像信号を他の接続したユーザ端末201,202,203,204に提供する。これにより、会議サーバ301,302は、接続を確立したユーザ端末201,202,203,204間のWeb会議を実現する。
【0019】
次に、一実施形態に係る情報処理装置1について、
図2から
図4を参照して説明する。
情報処理装置1は、ユーザによって用いられる複数のユーザ端末201,202,203,204に接続され、複数のユーザ端末201,202,203,204間で画像信号を共有させる。情報処理装置1は、例えば、異なるWeb会議システムに接続されるユーザ端末201,202,203,204間で通信を確立することを可能にする。情報処理装置1は、例えば、
図2に示すように、1つの会議サーバ301に接続されるユーザ端末201,202と、1つの会議サーバ302に接続されるユーザ端末203,204との間の通信を確立する。情報処理装置1は、例えば、会議サーバ301,302のそれぞれに接続される。情報処理装置1は、例えば、Web会議を主催するホストとして会議サーバ301,302に接続される。情報処理装置1は、画像信号取得部11と、特定部12と、合成部13と、出力部14と、を備える。
【0020】
本実施形態において、情報処理装置1は、Web会議のホストとして、会議サーバ301,302のそれぞれにWeb会議を実施するためのミーティングルームを作成する。情報処理装置1は、作成したWeb会議に参加するためのURLをユーザ端末201,202,203,204に送信する。これにより、情報処理装置1は、例えば、ユーザ端末201,202,203,204の会議サーバ301,302のいずれかのサーバへの接続が不調である場合に、他の会議サーバへの接続を可能にすることができる。また、情報処理装置1は、ユーザ端末201,202,203,204へのURLの送付とともに、ブレークアウトルームに入場するためのブレークアウトルームのルーム名およびコード(QRコード(登録商標)等)を配布してもよい。
【0021】
画像信号取得部11は、例えば、CPUが動作することにより実現される。画像信号取得部11は、複数のユーザ端末201,202,203,204のそれぞれから出力される画像信号を取得する。画像信号取得部11は、例えば、Web会議に参加しているユーザのユーザ端末201,202,203,204に表示される画像を画像信号として取得する。また、画像信号取得部11は、例えば、Web会議に参加しているユーザのユーザ端末201,202,203,204に入力される音声を音声信号として取得する。画像信号取得部11は、例えば、会議サーバ301,302のそれぞれにおいて実行されるWeb会議のホストとして、当該Web会議に参加するユーザのユーザ端末201,202,203,204から画像信号及び音声信号を取得する。画像信号取得部11は、所定の会議サーバ301,302に接続される複数のユーザ端末201,202,203,204であって、少なくとも1つが異なる会議サーバ301,302に接続されるユーザ端末201,202,203,204から画像信号を取得する。本実施形態において、画像信号取得部11は、会議サーバ301に接続されるユーザ端末201,202と、会議サーバ302に接続されるユーザ端末203,204とから画像信号を取得する。
【0022】
特定部12は、例えば、CPUが動作することにより実現される。特定部12は、取得した画像信号に、対応関係のある画像信号を特定する。特定部12は、例えば、取得した画像信号に予め定められた関係性を示す画像が含まれる画像信号を対応関係のある画像信号として特定する。また、特定部12は、取得した画像信号に、予め定められた関係性を示す条件を含む画像信号を対応関係のある画像信号として特定する。
【0023】
特定部12は、例えば、1つのユーザ端末201,202,203,204から取得した画像信号において、画面上で特定のユーザと対話可能な予め定められた位置へのユーザを示すアバターの移動を予め定められた関係性として特定する。また、特定部12は、例えば、他のユーザ端末201,202,203,204から取得した画像信号において、予め定められたルーム(ブレークアウトルーム)への入場を予め定められた条件として特定する。すなわち、特定部12は、例えば、他のユーザ端末201,202,203,204から取得した画像信号において、限られた他のユーザと対話を希望することを示すユーザの行動であって、予め対応付けられたユーザの行動を特定する。具体的には、特定部12は、1つのユーザ端末201,202,203,204の画像信号において、1つのルーム名を示す画像上の位置へのアバターの移動を特定する。また、特定部12は、他のユーザ端末201,202,203,204の画像信号において、同じルーム名を示すルームへの入室を示す画像上の変化を特定する。特定部12は、これらの移動及入室(画像遷移)について、予め定められた対応関係のある画像信号と特定する。
【0024】
本実施形態において、特定部12は、例えば、ユーザ端末201,202から取得した画像信号について、ブレークアウト会議を開始する位置へのユーザのアバターの移動を特定する。また、特定部12は、例えば、ユーザ端末203,204から取得した画像信号について、ブレークアウトルームへの入室を示す画像の遷移を特定する。特定部12は、ユーザ端末201,202,203,204から取得した画像信号について、同じルームへの入室であると認められる対応関係にある画像信号を特定する。
【0025】
合成部13は、例えば、CPUが動作することにより実現される。合成部13は、特定された画像信号を出力しているユーザ端末201,202,203,204間の接続を確立する。合成部13は、例えば、特定された画像信号を出力するユーザ端末201,202,203,204から取得した音声信号について、ユーザ端末201,202,203,204間に出力することによりユーザ端末201,202,203,204間の接続を確立する。
【0026】
また、合成部13は、それぞれのユーザ端末201,202,203,204から出力される画像信号を合成する。合成部13は、一方のユーザ端末201,202,203,204から取得された画像信号と、他方のユーザ端末201,202,203,204から取得された画像信号とを含む1つの合成画像を作製することにより画像信号を合成する。合成部13は、例えば、取得した画像信号を1つのウィンドウに含め、それぞれのユーザ端末201,202,203,204に表示されている画面(Web会議の画面)に重畳する画面として、画像信号を合成する。合成部13は、例えば、
図3に示すように、PIP(ピクチャーインピクチャ)機能を用いて表示される画像信号を合成する。具体的には、合成部13は、ユーザ端末201,202,203,204に表示される表示画像21に対して、重畳される合成画像22を作製するように画像信号生する。また、合成部13は、例えば、PBP(ピクチャーバイピクチャー)機能を用いて表示される画像を合成する。
【0027】
出力部14は、例えば、CPUが動作することにより実現される。出力部14は、合成された画像信号をそれぞれのユーザ端末201,202,203,204に出力する。出力部14は、例えば、特定された対応関係のある画像信号を出力するユーザ端末201,202,203,204に対して、合成された画像信号を出力する。出力部14は、例えば、PIP機能又はPIB機能を用いてユーザ端末201,202,203,204に表示可能な合成画像を出力する。
【0028】
次に、情報処理装置1の動作について、
図4のフローチャートを参照して説明する。
まず、画像信号取得部11は、Web会議に参加しているユーザのユーザ端末201,202,203,204から、画像信号及び音声信号を取得する(ステップS1)。次いで、特定部12は、所定の対応関係にある画像信号を特定する(ステップS2、ステップS3)。
【0029】
画像信号に所定の対応関係がある場合(ステップS3:YES)、処理は、ステップS4に進む。一方、画像信号に所定の対応関係が無い場合(ステップS3:NO)、処理は、ステップS6に進む。
【0030】
ステップS4において、合成部13は、対応関係のある画像信号を合成して合成画像を作製する。次いで、出力部14は、対応関係のある画像信号を出力したユーザ端末201,202,203,204に対して、作製した合成画像を出力する(ステップS5)。次いで、処理は、ステップS6に進む。
【0031】
ステップS6において、Web会議への接続が終了したか否かが判断される。Web会議への接続が終了された場合(ステップS6:YES)、本フローによる処理は、終了する。また、Web会議への接続が継続される場合(ステップS6:NO)、処理は、ステップS1に戻る。
【0032】
次に、本実施形態のプログラムについて説明する。
情報処理装置1に含まれる各構成は、ハードウェア、ソフトウェア又はこれらの組み合わせによりそれぞれ実現することができる。ここで、ソフトウェアによって実現されるとは、コンピュータがプログラムを読み込んで実行することにより実現されることを意味する。
【0033】
プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば、光磁気ディスク)、CD-ROM(Read Only Memory)、CD-R、CD-R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(random access memory))を含む。また、表示プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【0034】
以上の第1実施形態に係る情報処理装置1及びプログラムによれば、以下の効果を奏する。
(1)ユーザによって用いられる複数のユーザ端末201,202,203,204に接続され、複数のユーザ端末201,202,203,204間で画像信号を共有させる情報処理装置1であって、複数のユーザ端末201,202,203,204のそれぞれから出力される画像信号を取得する画像信号取得部11と、取得された内容に対応関係のある画像信号を特定する特定部12と、特定された画像信号を出力しているユーザ端末201,202,203,204間の接続を確立するとともに、それぞれのユーザ端末201,202,203,204から出力される画像信号を合成する合成部13と、合成された画像信号をそれぞれのユーザ端末201,202,203,204に出力する出力部14と、を備える。これにより、複数の端末間で容易に接続を確立することができる。
【0035】
(2)特定部12は、取得した画像信号に、予め定められた関係性を示す画像が含まれる画像信号を対応関係のある画像信号として特定する。これにより、所定の関係を満たしたユーザ端末201,202,203,204を容易に特定することができる。
【0036】
(3)特定部12は、取得した画像信号に、予め定められた関係性を示す条件を含む画像信号を対応関係のある画像信号として特定する。これにより、所定の関係性を示す条件を満たしたユーザ端末201,202,203,204を容易に特定することができる。
【0037】
(4)合成部13は、一方のユーザ端末201,202,203,204から取得された画像信号に、他方のユーザ端末201,202,203,204から取得された画像信号を重ねることにより合成する。これにより、特定されたユーザ端末201,202,203,204から出力された画像信号を1つにまとめた合成画像を容易に作製することができる。
【0038】
以上、本発明の情報処理装置1及び処理装置の好ましい各実施形態につき説明したが、本発明は、上述の実施形態に制限されるものではなく、適宜変更が可能である。
例えば、上記実施形態において、Web会議を例に説明したが、これに制限されない。例えば、リアルタイムで会話が実現される異なるプラットフォーム(例えば、Web会議、ゲームのチャット、動画配信等)の間を仲介するシステムであってよい。また、情報処理装置1は、複数のオンラインショップのサイト上での客の集まり、又はオンライン上での懇親会等に用いられてもよい。
【0039】
また、上記実施形態において、ユーザ端末201,202,203,204の数及び会議サーバ301,302の数は、限定されない。ユーザ端末201,202,203,204の数及び会議サーバ301,302の数は、任意に決定されてよい。
【0040】
また、上記実施形態において、合成部13は、取得した複数の画像信号を合成するとしたが、これに制限されない。合成部13は、出力先のユーザ端末201,202,203,204から取得した画像信号を除いた合成画像を作製してもよい。これにより、ウィンドウ表示される合成画像に含まれる各画像信号の画面上における大きさが小さくなることを抑制することができる。
【0041】
また、上記実施形態において、画像信号取得部11は、会議サーバ301,302経由でユーザ端末201,202,203,204の画像信号を取得してもよい。例えば、情報処理装置1は、各Web会議のホストとしてルームを立ち上げてもよい。画像信号取得部11は、会議サーバ301,302から提供される画像信号をユーザ端末201,202,203,204のそれぞれから出力される画像信号として取得してもよい。
【符号の説明】
【0042】
1 情報処理装置
11 画像信号取得部
12 特定部
13 合成部
14 出力部
201,202,203,204 ユーザ端末
301,302 会議サーバ