IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ コニカミノルタ株式会社の特許一覧

特開2022-180035会議システム、サーバー、情報処理装置及びプログラム
<>
  • 特開-会議システム、サーバー、情報処理装置及びプログラム 図1
  • 特開-会議システム、サーバー、情報処理装置及びプログラム 図2
  • 特開-会議システム、サーバー、情報処理装置及びプログラム 図3
  • 特開-会議システム、サーバー、情報処理装置及びプログラム 図4
  • 特開-会議システム、サーバー、情報処理装置及びプログラム 図5
  • 特開-会議システム、サーバー、情報処理装置及びプログラム 図6
  • 特開-会議システム、サーバー、情報処理装置及びプログラム 図7
  • 特開-会議システム、サーバー、情報処理装置及びプログラム 図8
  • 特開-会議システム、サーバー、情報処理装置及びプログラム 図9
  • 特開-会議システム、サーバー、情報処理装置及びプログラム 図10
  • 特開-会議システム、サーバー、情報処理装置及びプログラム 図11
  • 特開-会議システム、サーバー、情報処理装置及びプログラム 図12
  • 特開-会議システム、サーバー、情報処理装置及びプログラム 図13
  • 特開-会議システム、サーバー、情報処理装置及びプログラム 図14
  • 特開-会議システム、サーバー、情報処理装置及びプログラム 図15
  • 特開-会議システム、サーバー、情報処理装置及びプログラム 図16
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022180035
(43)【公開日】2022-12-06
(54)【発明の名称】会議システム、サーバー、情報処理装置及びプログラム
(51)【国際特許分類】
   H04N 7/15 20060101AFI20221129BHJP
   H04M 3/56 20060101ALI20221129BHJP
   G06F 13/00 20060101ALI20221129BHJP
【FI】
H04N7/15 120
H04M3/56
G06F13/00 650A
【審査請求】未請求
【請求項の数】34
【出願形態】OL
(21)【出願番号】P 2021086926
(22)【出願日】2021-05-24
(71)【出願人】
【識別番号】000001270
【氏名又は名称】コニカミノルタ株式会社
(74)【代理人】
【識別番号】100117651
【弁理士】
【氏名又は名称】高垣 泰志
(72)【発明者】
【氏名】タダゲ アペクシャ
【テーマコード(参考)】
5B084
5C164
5K201
【Fターム(参考)】
5B084AA01
5B084AA16
5B084AB06
5B084AB14
5B084AB39
5B084BB04
5B084CA07
5B084CF12
5B084DC02
5B084DC03
5B084DC06
5B084EA47
5C164FA10
5C164UB88S
5C164VA04S
5C164VA06S
5C164VA07P
5C164VA35P
5C164VA51P
5K201BA15
5K201BA16
5K201BB09
5K201CA01
5K201CA06
5K201EC06
5K201ED09
(57)【要約】
【課題】リモート会議に参加している参加者が異なる拠点でリモート会議に間接的に参加している参加者を把握できるようにする。
【解決手段】ネットワーク5を介して複数の情報処理装置2a,2b,2cと接続し、複数の情報処理装置2a,2b,2cのそれぞれに会議用画面を提供する会議システム1であって、複数の情報処理装置2a,2b,2cのそれぞれを使用してリモート会議に参加する第1の参加者に対応する第1参加者情報を取得する第1参加者情報取得部15と、第1の参加者と共にリモート会議に間接的に参加する第2の参加者に関する第2参加者情報を取得する第2参加者情報取得部16と、第1参加者情報を会議用画面の所定の表示領域に表示させると共に、第2参加者情報を会議用画面の所定の表示領域に表示させる表示制御部17と、を備える。
【選択図】図3
【特許請求の範囲】
【請求項1】
ネットワークを介して複数の情報処理装置と接続し、前記複数の情報処理装置のそれぞれに会議用画面を提供する会議システムであって、
前記複数の情報処理装置のそれぞれを使用してリモート会議に参加する第1の参加者に対応する第1参加者情報を取得する第1参加者情報取得手段と、
前記第1の参加者と共に前記リモート会議に間接的に参加する第2の参加者に関する第2参加者情報を取得する第2参加者情報取得手段と、
前記第1参加者情報取得手段によって取得される前記第1参加者情報を前記会議用画面の所定の表示領域に表示させると共に、前記第2参加者情報取得手段によって取得される前記第2参加者情報を前記会議用画面の前記表示領域に表示させる表示制御手段と、
を備えることを特徴とする会議システム。
【請求項2】
前記第1参加者情報には、前記第1の参加者を表した第1参加者画像が含まれており、
前記表示制御手段は、前記第1参加者画像を前記表示領域に表示させることを特徴とする請求項1に記載の会議システム。
【請求項3】
前記第1の参加者を撮影する第1の撮影手段、
を更に備え、
前記第1参加者情報取得手段は、前記第1の撮影手段によって撮影される第1の撮影画像に基づいて前記第1参加者画像を取得することを特徴とする請求項2に記載の会議システム。
【請求項4】
前記表示制御手段は、前記第1参加者画像を前記表示領域に表示させる際に前記第1の参加者の名前を前記第1参加者画像に付加して表示させることを特徴とする請求項2又は3に記載の会議システム。
【請求項5】
前記第2参加者情報には、前記第2の参加者を表した第2参加者画像が含まれており、
前記表示制御手段は、前記第2参加者画像を前記表示領域に表示させることを特徴とする請求項1乃至4のいずれかに記載の会議システム。
【請求項6】
前記第2の参加者を撮影する第2の撮影手段、
を更に備え、
前記第2参加者情報取得手段は、前記第2の撮影手段によって撮影される第2の撮影画像に基づいて前記第2参加者画像を取得することを特徴とする請求項5に記載の会議システム。
【請求項7】
前記表示制御手段は、前記第2参加者画像を前記表示領域に表示させる際に前記第2の参加者の名前を前記第2参加者画像に付加して表示させることを特徴とする請求項5又は6に記載の会議システム。
【請求項8】
前記第2参加者情報に基づいて前記第2の参加者を特定する特定手段、
を更に備えることを特徴とする請求項1乃至7のいずれかに記載の会議システム。
【請求項9】
前記特定手段は、前記第2参加者情報に基づいて所定のデータベースを検索することにより、前記第2の参加者を特定することを特徴とする請求項8に記載の会議システム。
【請求項10】
前記特定手段は、前記第2参加者情報に含まれる、前記第2の参加者を撮影した第2の撮影画像に基づいて前記第2の参加者を特定することを特徴とする請求項8又は9に記載の会議システム。
【請求項11】
前記特定手段は、前記第2の撮影画像に基づいて前記第2の参加者の顔画像を抽出し、前記顔画像に基づいて前記第2の参加者を特定することを特徴とする請求項10に記載の会議システム。
【請求項12】
前記特定手段によって特定される前記第2の参加者の中から発言者を検知する発言者検知手段、
を更に備えることを特徴とする請求項8乃至11のいずれかに記載の会議システム。
【請求項13】
前記表示制御手段は、前記発言者検知手段によって発言者が検知された場合、当該発言者として検知された前記第2の参加者に対応する前記第2参加者情報を前記表示領域において強調表示させることを特徴とする請求項12に記載の会議システム。
【請求項14】
前記発言者検知手段は、前記第2参加者情報に含まれる、前記第2の参加者を撮影した第2の撮影画像に基づいて前記第2の参加者の顔画像を解析することにより発言者を検知することを特徴とする請求項12又は13に記載の会議システム。
【請求項15】
前記第2の参加者の近傍に設置される音声入力手段と、
前記音声入力手段をオンオフ制御する音声切替手段と、
を更に備え、
前記音声切替手段は、前記発言者検知手段によって発言者が検知された場合、当該発言者として検知された前記第2の参加者の近傍に設置されている前記音声入力手段をオンに切り替えることを特徴とする請求項12乃至14のいずれかに記載の会議システム。
【請求項16】
前記特定手段によって特定される前記第2の参加者が挙手ジェスチャを行ったことを検知するジェスチャ検知手段、
を更に備えることを特徴とする請求項8乃至15のいずれかに記載の会議システム。
【請求項17】
前記表示制御手段は、前記ジェスチャ検知手段によって挙手ジェスチャが検知された場合、当該挙手ジェスチャが検知された前記第2の参加者に対応する前記第2参加者情報を前記表示領域において強調表示させることを特徴とする請求項16に記載の会議システム。
【請求項18】
前記表示制御手段は、前記ジェスチャ検知手段によって挙手ジェスチャが検知された場合、当該挙手ジェスチャが検知された前記第2の参加者に対応する前記第2参加者情報に対して挙手アイコンを付加して表示させることを特徴とする請求項16又は17に記載の会議システム。
【請求項19】
前記ジェスチャ検知手段は、前記第2参加者情報に含まれる、前記第2の参加者を撮影した第2の撮影画像に基づいて前記第2の参加者の画像を解析することにより挙手ジェスチャを検知することを特徴とする請求項16乃至18のいずれかに記載の会議システム。
【請求項20】
ネットワークを介して複数の情報処理装置と接続し、前記複数の情報処理装置のそれぞれに会議用画面を提供することによってリモート会議を支援するサーバーであって、
前記複数の情報処理装置のそれぞれから、前記情報処理装置を使用してリモート会議に参加する第1の参加者に対応する第1参加者情報を取得する第1参加者情報取得手段と、
前記第1の参加者と共に前記リモート会議に間接的に参加する第2の参加者に関する第2参加者情報を取得する第2参加者情報取得手段と、
前記第1参加者情報取得手段によって取得される前記第1参加者情報を前記会議用画面の所定の表示領域に表示させると共に、前記第2参加者情報取得手段によって取得される前記第2参加者情報を前記表示領域に表示させる表示制御手段と、
を備えることを特徴とするサーバー。
【請求項21】
前記第1参加者情報には、前記第1の参加者を表した第1参加者画像が含まれており、
前記表示制御手段は、前記第1参加者画像を前記表示領域に表示させることを特徴とする請求項20に記載のサーバー。
【請求項22】
前記第2参加者情報には、前記第2の参加者を表した第2参加者画像が含まれており、
前記表示制御手段は、前記第2参加者画像を前記表示領域に表示させることを特徴とする請求項20又は21に記載のサーバー。
【請求項23】
前記第2参加者情報に基づいて前記第2の参加者を特定する特定手段、
を更に備えることを特徴とする請求項20乃至22のいずれかに記載のサーバー。
【請求項24】
前記特定手段は、前記第2参加者情報に含まれる、前記第2の参加者を撮影した撮影画像に基づいて前記第2の参加者を特定することを特徴とする請求項23に記載のサーバー。
【請求項25】
前記特定手段によって特定される前記第2の参加者の中から発言者を検知する発言者検知手段、
を更に備え、
発言者検知手段は、前記撮影画像に含まれる前記第2の参加者の顔画像を解析することにより発言者を検知することを特徴とする請求項24に記載のサーバー。
【請求項26】
前記表示制御手段は、前記発言者検知手段によって発言者が検知された場合、当該発言者として検知された前記第2の参加者に対応する前記第2参加者情報を前記表示領域において強調表示させることを特徴とする請求項25に記載のサーバー。
【請求項27】
前記特定手段によって特定される前記第2の参加者が挙手ジェスチャを行ったことを検知するジェスチャ検知手段、
を更に備え、
前記ジェスチャ検知手段は、前記撮影画像に含まれる前記第2の参加者の画像を解析することにより挙手ジェスチャを検知することを特徴とする請求項24乃至26のいずれかに記載のサーバー。
【請求項28】
前記表示制御手段は、前記ジェスチャ検知手段によって挙手ジェスチャが検知された場合、当該挙手ジェスチャが検知された前記第2の参加者に対応する前記第2参加者情報を前記表示領域において強調表示させることを特徴とする請求項27に記載のサーバー。
【請求項29】
前記表示制御手段は、前記ジェスチャ検知手段によって挙手ジェスチャが検知された場合、当該挙手ジェスチャが検知された前記第2の参加者に対応する前記第2参加者情報に対して挙手アイコンを付加して表示させることを特徴とする請求項27又は28に記載のサーバー。
【請求項30】
ネットワークを介してサーバーに接続し、前記サーバーによって提供されるリモート会議用のプラットフォームを利用してリモート会議を行う情報処理装置であって、
当該情報処理装置を使用して前記リモート会議に参加する第1の参加者に対応する第1参加者情報を生成し、当該第1参加者情報を前記サーバーへ送信する第1参加者情報生成手段と、
前記第1の参加者と共に前記リモート会議に間接的に参加する第2の参加者に対応する第2参加者情報を生成し、当該第2参加者情報を前記サーバーへ送信する第2参加者情報生成手段と、
前記第1参加者情報と前記第2参加者情報とが所定の表示領域に配置された会議用画面を前記サーバーから取得する会議用画面取得手段と、
前記会議用画面取得手段によって取得される前記会議用画面を表示する表示手段と、
を備えることを特徴とする情報処理装置。
【請求項31】
前記第1の参加者を撮影する第1の撮影手段を制御する第1撮影制御手段と、
前記第2の参加者を撮影する第2の撮影手段を制御する第2撮影制御手段と、
を更に備え、
前記第1参加者情報生成手段は、前記第1撮影制御手段が前記第1の撮影手段を制御することによって取得される第1の撮影画像に基づいて前記第1参加者情報を生成し、
前記第2参加者情報生成手段は、前記第2撮影制御手段が前記第2の撮影手段を制御することによって取得される第2の撮影画像に基づいて前記第2参加者情報を生成することを特徴とする請求項30に記載の情報処理装置。
【請求項32】
前記第2の参加者の中から発言者を検知して前記サーバーへ通知する発言者検知手段、
を更に備え、
発言者検知手段は、前記第2の撮影画像に含まれる前記第2の参加者の顔画像を解析することにより発言者を検知することを特徴とする請求項31に記載の情報処理装置。
【請求項33】
前記第2の参加者が挙手ジェスチャを行ったことを検知して前記サーバーへ通知するジェスチャ検知手段、
を更に備え、
前記ジェスチャ検知手段は、前記第2の撮影画像に含まれる前記第2の参加者の画像を解析することにより挙手ジェスチャを検知することを特徴とする請求項31又は32に記載の情報処理装置。
【請求項34】
ネットワークを介して複数の情報処理装置と接続し、前記複数の情報処理装置のそれぞれに会議用画面を提供することによってリモート会議を支援するサーバーにおいて実行されるプログラムであって、前記サーバーに、
前記複数の情報処理装置のそれぞれから、前記情報処理装置を使用してリモート会議に参加する第1の参加者に対応する第1参加者情報を取得する第1ステップと、
前記第1の参加者と共に前記リモート会議に間接的に参加する第2の参加者に関する第2参加者情報を取得する第2ステップと、
前記第1ステップによって取得される前記第1参加者情報を前記会議用画面の所定の表示領域に表示させると共に、前記第2ステップによって取得される前記第2参加者情報を前記表示領域に表示させる第3ステップと、
を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、会議システム、サーバー、情報処理装置及びプログラムに関し、特に複数の参加者によるリモート会議を支援するための技術に関する。
【背景技術】
【0002】
複数の拠点間をネットワーク経由で直接接続し、それら拠点同士でテレビ会議を行うテレビ会議システムが知られている。この種のテレビ会議システムは、各拠点の会議室にカメラとスクリーンを設置し、カメラで撮影した会議室内の風景画像を他の拠点に配信すると共に、他の会議室で撮影された風景画像をスクリーン上に映し出すように構成される。そのため、会議の参加者は、スクリーンに表示される画像を視認することで、他の会議室の様子を把握することができる。
【0003】
上記のようなテレビ会議システムは、他の会議室にいる参加者が発言した場合、スクリーンに表示される画像では誰が発言しているのかが分かり難いという問題があった。そのため、従来は、会議室に設置されたマイクが音声を検知すると、その音声の指向性から発言者を特定し、カメラで撮影した画像に含まれる複数の参加者のうち、発言者として特定された参加者の画像にマーキングを付与して表示させるようにした会議システムが提案されている(例えば特許文献1)。
【0004】
一方、近年は、在宅勤務やテレワークの普及に伴い、パーソナルコンピュータやタブレット端末などの複数の情報処理装置をリモート会議用のサーバー経由で相互に接続し、それら情報処理装置を使用する複数のユーザーがリモート会議を行う環境が整備されつつある。現状では、リモート会議に参加する参加者は、自身が使用する情報処理装置を用いてサーバーにログインすることにより、サーバーによって提供されるリモート会議プラットフォームに接続する。情報処理装置は、リモート会議プラットフォームに接続すると、情報処理装置に搭載されているカメラを起動し、参加者を撮影した画像をサーバーへ送信する。サーバーは、その画像を各情報処理装置へ配信することにより、サーバーにログインしてリモート会議に参加している全ての参加者の画像を各情報処理装置に表示させることができる。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2014-165565号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
上記のように複数の情報処理装置をリモート会議用のサーバーに接続して行われるリモート会議において、少なくとも1つの拠点において会議室が利用され、その会議室に複数の参加者が集まってリモート会議が行われることがある。この場合、会議室に集まる複数の参加者のうちの少なくとも一人が情報処理装置を会議室に持ち込むことにより、他の参加者は、その情報処理装置に表示される画面を共有して閲覧することができるため、リモート会議に参加している他の参加者を把握することができる。そのため、会議室でリモート会議に参加する複数の参加者全員が会議室に情報処理装置を持ち込む必要はない。
【0007】
しかしながら、会議室とは異なる拠点でリモート会議に参加している参加者の情報処理装置には、会議室で参加している参加者全員が表示される訳ではない。そのため、会議室とは異なる場所でリモート会議に参加している参加者にとっては、誰が会議に参加しているのかを把握することができないという課題がある。また、会議室で参加している複数の参加者のうちの一人の参加者が発言した場合、会議室とは異なる拠点でリモート会議に参加している参加者にとっては、誰が発言しているかが分からないという課題もある。
【0008】
一方、上述した従来のテレビ会議システムは、会議室で参加する複数の参加者のそれぞれを特定するものではない。更に、従来のテレビ会議システムは、サーバーによって提供されるリモート会議プラットフォームに接続することができない。それ故、上記課題は、従来のテレビ会議システムでは何ら解決されるものではない。
【0009】
そこで本発明は、上記課題を解決するためになされたものであり、会議室とは異なる場所でリモート会議に参加している参加者が会議室で参加している参加者を把握でき、リモート会議を円滑に行えるようにした会議システム、サーバー、情報処理装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0010】
上記目的を達成するため、請求項1に係る発明は、ネットワークを介して複数の情報処理装置と接続し、前記複数の情報処理装置のそれぞれに会議用画面を提供する会議システムであって、前記複数の情報処理装置のそれぞれを使用してリモート会議に参加する第1の参加者に対応する第1参加者情報を取得する第1参加者情報取得手段と、前記第1の参加者と共に前記リモート会議に間接的に参加する第2の参加者に関する第2参加者情報を取得する第2参加者情報取得手段と、前記第1参加者情報取得手段によって取得される前記第1参加者情報を前記会議用画面の所定の表示領域に表示させると共に、前記第2参加者情報取得手段によって取得される前記第2参加者情報を前記会議用画面の前記表示領域に表示させる表示制御手段と、を備えることを特徴とする構成である。
【0011】
請求項2に係る発明は、請求項1の会議システムにおいて、前記第1参加者情報には、前記第1の参加者を表した第1参加者画像が含まれており、前記表示制御手段は、前記第1参加者画像を前記表示領域に表示させることを特徴とする構成である。
【0012】
請求項3に係る発明は、請求項2の会議システムにおいて、前記第1の参加者を撮影する第1の撮影手段、を更に備え、前記第1参加者情報取得手段は、前記第1の撮影手段によって撮影される第1の撮影画像に基づいて前記第1参加者画像を取得することを特徴とする構成である。
【0013】
請求項4に係る発明は、請求項2又は3の会議システムにおいて、前記表示制御手段は、前記第1参加者画像を前記表示領域に表示させる際に前記第1の参加者の名前を前記第1参加者画像に付加して表示させることを特徴とする構成である。
【0014】
請求項5に係る発明は、請求項1乃至4のいずれかの会議システムにおいて、前記第2参加者情報には、前記第2の参加者を表した第2参加者画像が含まれており、前記表示制御手段は、前記第2参加者画像を前記表示領域に表示させることを特徴とする構成である。
【0015】
請求項6に係る発明は、請求項5の会議システムにおいて、前記第2の参加者を撮影する第2の撮影手段、を更に備え、前記第2参加者情報取得手段は、前記第2の撮影手段によって撮影される第2の撮影画像に基づいて前記第2参加者画像を取得することを特徴とする構成である。
【0016】
請求項7に係る発明は、請求項5又は6の会議システムにおいて、前記表示制御手段は、前記第2参加者画像を前記表示領域に表示させる際に前記第2の参加者の名前を前記第2参加者画像に付加して表示させることを特徴とする構成である。
【0017】
請求項8に係る発明は、請求項1乃至7のいずれかの会議システムにおいて、前記第2参加者情報に基づいて前記第2の参加者を特定する特定手段、を更に備えることを特徴とする構成である。
【0018】
請求項9に係る発明は、請求項8の会議システムにおいて、前記特定手段は、前記第2参加者情報に基づいて所定のデータベースを検索することにより、前記第2の参加者を特定することを特徴とする構成である。
【0019】
請求項10に係る発明は、請求項8又は9の会議システムにおいて、前記特定手段は、前記第2参加者情報に含まれる、前記第2の参加者を撮影した第2の撮影画像に基づいて前記第2の参加者を特定することを特徴とする構成である。
【0020】
請求項11に係る発明は、請求項10の会議システムにおいて、前記特定手段は、前記第2の撮影画像に基づいて前記第2の参加者の顔画像を抽出し、前記顔画像に基づいて前記第2の参加者を特定することを特徴とする構成である。
【0021】
請求項12に係る発明は、請求項8乃至11のいずれかの会議システムにおいて、前記特定手段によって特定される前記第2の参加者の中から発言者を検知する発言者検知手段、を更に備えることを特徴とする構成である。
【0022】
請求項13に係る発明は、請求項12の会議システムにおいて、前記表示制御手段は、前記発言者検知手段によって発言者が検知された場合、当該発言者として検知された前記第2の参加者に対応する前記第2参加者情報を前記表示領域において強調表示させることを特徴とする構成である。
【0023】
請求項14に係る発明は、請求項12又は13の会議システムにおいて、前記発言者検知手段は、前記第2参加者情報に含まれる、前記第2の参加者を撮影した第2の撮影画像に基づいて前記第2の参加者の顔画像を解析することにより発言者を検知することを特徴とする構成である。
【0024】
請求項15に係る発明は、請求項12乃至14のいずれかの会議システムにおいて、前記第2の参加者の近傍に設置される音声入力手段と、前記音声入力手段をオンオフ制御する音声切替手段と、を更に備え、前記音声切替手段は、前記発言者検知手段によって発言者が検知された場合、当該発言者として検知された前記第2の参加者の近傍に設置されている前記音声入力手段をオンに切り替えることを特徴とする構成である。
【0025】
請求項16に係る発明は、請求項8乃至15のいずれかの会議システムにおいて、前記特定手段によって特定される前記第2の参加者が挙手ジェスチャを行ったことを検知するジェスチャ検知手段、を更に備えることを特徴とする構成である。
【0026】
請求項17に係る発明は、請求項16の会議システムにおいて、前記表示制御手段は、前記ジェスチャ検知手段によって挙手ジェスチャが検知された場合、当該挙手ジェスチャが検知された前記第2の参加者に対応する前記第2参加者情報を前記表示領域において強調表示させることを特徴とする構成である。
【0027】
請求項18に係る発明は、請求項16又は17の会議システムにおいて、前記表示制御手段は、前記ジェスチャ検知手段によって挙手ジェスチャが検知された場合、当該挙手ジェスチャが検知された前記第2の参加者に対応する前記第2参加者情報に対して挙手アイコンを付加して表示させることを特徴とする構成である。
【0028】
請求項19に係る発明は、請求項16乃至18のいずれかの会議システムにおいて、前記ジェスチャ検知手段は、前記第2参加者情報に含まれる、前記第2の参加者を撮影した第2の撮影画像に基づいて前記第2の参加者の画像を解析することにより挙手ジェスチャを検知することを特徴とする構成である。
【0029】
請求項20に係る発明は、ネットワークを介して複数の情報処理装置と接続し、前記複数の情報処理装置のそれぞれに会議用画面を提供することによってリモート会議を支援するサーバーであって、前記複数の情報処理装置のそれぞれから、前記情報処理装置を使用してリモート会議に参加する第1の参加者に対応する第1参加者情報を取得する第1参加者情報取得手段と、前記第1の参加者と共に前記リモート会議に間接的に参加する第2の参加者に関する第2参加者情報を取得する第2参加者情報取得手段と、前記第1参加者情報取得手段によって取得される前記第1参加者情報を前記会議用画面の所定の表示領域に表示させると共に、前記第2参加者情報取得手段によって取得される前記第2参加者情報を前記表示領域に表示させる表示制御手段と、を備えることを特徴とする構成である。;
【0030】
請求項21に係る発明は、請求項20のサーバーにおいて、前記第1参加者情報には、前記第1の参加者を表した第1参加者画像が含まれており、前記表示制御手段は、前記第1参加者画像を前記表示領域に表示させることを特徴とする構成である。
【0031】
請求項22に係る発明は、請求項20又は21のサーバーにおいて、前記第2参加者情報には、前記第2の参加者を表した第2参加者画像が含まれており、前記表示制御手段は、前記第2参加者画像を前記表示領域に表示させることを特徴とする構成である。
【0032】
請求項23に係る発明は、請求項20乃至22のいずれかのサーバーにおいて、前記第2参加者情報に基づいて前記第2の参加者を特定する特定手段、を更に備えることを特徴とする構成である。
【0033】
請求項24に係る発明は、請求項23のサーバーにおいて、前記特定手段は、前記第2参加者情報に含まれる、前記第2の参加者を撮影した撮影画像に基づいて前記第2の参加者を特定することを特徴とする構成である。
【0034】
請求項25に係る発明は、請求項24のサーバーにおいて、前記特定手段によって特定される前記第2の参加者の中から発言者を検知する発言者検知手段、を更に備え、発言者検知手段は、前記撮影画像に含まれる前記第2の参加者の顔画像を解析することにより発言者を検知することを特徴とする構成である。
【0035】
請求項26に係る発明は、請求項25のサーバーにおいて、前記表示制御手段は、前記発言者検知手段によって発言者が検知された場合、当該発言者として検知された前記第2の参加者に対応する前記第2参加者情報を前記表示領域において強調表示させることを特徴とする構成である。
【0036】
請求項27に係る発明は、請求項24乃至26のいずれかのサーバーにおいて、前記特定手段によって特定される前記第2の参加者が挙手ジェスチャを行ったことを検知するジェスチャ検知手段、を更に備え、前記ジェスチャ検知手段は、前記撮影画像に含まれる前記第2の参加者の画像を解析することにより挙手ジェスチャを検知することを特徴とする構成である。
【0037】
請求項28に係る発明は、請求項27のサーバーにおいて、前記表示制御手段は、前記ジェスチャ検知手段によって挙手ジェスチャが検知された場合、当該挙手ジェスチャが検知された前記第2の参加者に対応する前記第2参加者情報を前記表示領域において強調表示させることを特徴とする構成である。
【0038】
請求項29に係る発明は、請求項27又は28のサーバーにおいて、前記表示制御手段は、前記ジェスチャ検知手段によって挙手ジェスチャが検知された場合、当該挙手ジェスチャが検知された前記第2の参加者に対応する前記第2参加者情報に対して挙手アイコンを付加して表示させることを特徴とする構成である。
【0039】
請求項30に係る発明は、ネットワークを介してサーバーに接続し、前記サーバーによって提供されるリモート会議用のプラットフォームを利用してリモート会議を行う情報処理装置であって、当該情報処理装置を使用して前記リモート会議に参加する第1の参加者に対応する第1参加者情報を生成し、当該第1参加者情報を前記サーバーへ送信する第1参加者情報生成手段と、前記第1の参加者と共に前記リモート会議に間接的に参加する第2の参加者に対応する第2参加者情報を生成し、当該第2参加者情報を前記サーバーへ送信する第2参加者情報生成手段と、前記第1参加者情報と前記第2参加者情報とが所定の表示領域に配置された会議用画面を前記サーバーから取得する会議用画面取得手段と、前記会議用画面取得手段によって取得される前記会議用画面を表示する表示手段と、を備えることを特徴とする構成である。
【0040】
請求項31に係る発明は、請求項30の情報処理装置において、前記第1の参加者を撮影する第1の撮影手段を制御する第1撮影制御手段と、前記第2の参加者を撮影する第2の撮影手段を制御する第2撮影制御手段と、を更に備え、前記第1参加者情報生成手段は、前記第1撮影制御手段が前記第1の撮影手段を制御することによって取得される第1の撮影画像に基づいて前記第1参加者情報を生成し、前記第2参加者情報生成手段は、前記第2撮影制御手段が前記第2の撮影手段を制御することによって取得される第2の撮影画像に基づいて前記第2参加者情報を生成することを特徴とする構成である。
【0041】
請求項32に係る発明は、請求項31の情報処理装置において、前記第2の参加者の中から発言者を検知して前記サーバーへ通知する発言者検知手段、を更に備え、発言者検知手段は、前記第2の撮影画像に含まれる前記第2の参加者の顔画像を解析することにより発言者を検知することを特徴とする構成である。
【0042】
請求項33に係る発明は、請求項31又は32の情報処理装置において、前記第2の参加者が挙手ジェスチャを行ったことを検知して前記サーバーへ通知するジェスチャ検知手段、を更に備え、前記ジェスチャ検知手段は、前記第2の撮影画像に含まれる前記第2の参加者の画像を解析することにより挙手ジェスチャを検知することを特徴とする構成である。
【0043】
請求項34に係る発明は、ネットワークを介して複数の情報処理装置と接続し、前記複数の情報処理装置のそれぞれに会議用画面を提供することによってリモート会議を支援するサーバーにおいて実行されるプログラムであって、前記サーバーに、前記複数の情報処理装置のそれぞれから、前記情報処理装置を使用してリモート会議に参加する第1の参加者に対応する第1参加者情報を取得する第1ステップと、前記第1の参加者と共に前記リモート会議に間接的に参加する第2の参加者に関する第2参加者情報を取得する第2ステップと、前記第1ステップによって取得される前記第1参加者情報を前記会議用画面の所定の表示領域に表示させると共に、前記第2ステップによって取得される前記第2参加者情報を前記表示領域に表示させる第3ステップと、を実行させることを特徴とする構成である。
【発明の効果】
【0044】
本発明によれば、会議室とは異なる場所でリモート会議に参加している参加者にとっても、会議室で参加している参加者を把握することができるようになり、リモート会議を円滑に行うことができるようになる。
【図面の簡単な説明】
【0045】
図1】会議システムの一構成例を示す図である。
図2】会議システムにおいて送受信される情報の一例を示す図である。
図3】サーバーの一構成例を示す図である。
図4】情報処理装置の一構成例を示す図である。
図5】会議システムの動作を示す第1のフローチャートである。
図6】第1の参加者が表示された会議用画面の一例を示す図である。
図7】会議システムの動作を示す第2のフローチャートである。
図8】顔検出処理の一例を示す図である。
図9】第2の参加者が追加表示された会議用画面の一例を示す図である。
図10】会議システムの動作を示す第3のフローチャートである。
図11】発言者が強調表示された会議用画面の一例を示す図である。
図12】会議システムの動作を示す第4のフローチャートである。
図13】挙手ジェスチャを行った第2の参加者が強調表示された会議用画面の一例を示す図である。
図14】サーバーにおいて第2参加者画像を生成するフローチャートである。
図15】サーバーにおいて発言者を検知するフローチャートである。
図16】サーバーにおいて挙手ジェスチャを検知するフローチャートである。
【発明を実施するための形態】
【0046】
以下、本発明に関する好ましい実施形態について図面を参照しつつ詳細に説明する。尚、以下に説明する実施形態において互いに共通する要素には同一符号を付しており、それらについての重複する説明は省略する。
【0047】
(発明の一実施形態)
図1は、本発明の一実施形態における会議システム1の構成例を示す図である。この会議システム1は、複数の拠点Pa,Pb,Pcをネットワーク5で接続し、各拠点Pa,Pb,Pcの参加者がリモート会議を行うことを支援するシステムである。この会議システム1は、各拠点Pa,Pb,Pcでリモート会議に参加する参加者が使用する複数の情報処理装置2(2a,2b,2c)と、サーバー3とを備えている。サーバー3は、例えばインターネット上のクラウドに設置されるサーバーであり、各拠点Pa,Pb,Pcの情報処理装置2とインターネットを含むネットワーク5を介して通信可能に接続される。各拠点Pa,Pb,Pcの情報処理装置2は、サーバー3を介して間接的に他の情報処理装置2と接続され、他の情報処理装置2と情報の交換を行うことができるようになっている。尚、本実施形態では、サーバー3に接続される拠点数が3つである場合を例示しているが、サーバー3に接続される拠点数はこれに限られるものではなく、2つであっても良いし、4つ以上であっても良い。また、サーバー3に接続される情報処理装置2の数も3つに限られず、2つであっても良いし、4つ以上であっても良い。
【0048】
サーバー3は、ネットワーク5を介して複数の情報処理装置2のそれぞれを相互に接続し、それら複数の情報処理装置2のそれぞれに対してリモート会議のためのサービスを提供する。例えば、サーバー3は、リモート会議プラットフォームを提供するWebサーバー機能を有し、リモート会議プラットフォームに接続される複数の情報処理装置2のそれぞれに対し、会議用画面を提供したり、会議中の音声を提供したりする。会議用画面は、例えば、各拠点Pa,Pb,Pcでリモート会議に参加する参加者を表した画像を並べて表示する機能や、少なくとも一人の参加者によって共有指定された資料画像などを表示する機能を有している。
【0049】
また、サーバー3は、データベース4を備えている。データベース4は、リモート会議の予約情報や、リモート会議の参加者を認証するための情報などを記憶するための記憶手段である。尚、データベース4は、サーバー3とは別の拠点に設けられ、ネットワーク5を介してサーバー3に接続されるものであっても構わない。
【0050】
情報処理装置2は、リモート会議に参加する参加者によって使用される可搬型の端末装置であり、例えばパーソナルコンピュータやタブレット端末、スマートフォンなどによって構成される。この種の情報処理装置2は、一般に、表示部と、カメラと、マイクと、スピーカとを備えている。そして情報処理装置2は、ネットワーク5を介してサーバー3に接続し、サーバー3によって提供されるリモート会議プラットフォームを利用することにより、リモート会議を支援するための各種処理を行う。例えば、情報処理装置2は、サーバー3に接続して、表示部、カメラ、マイク及びスピーカを起動させることより、サーバー3から提供される会議用画面を表示したり、他の拠点の参加者と通話を行ったりすることができる。
【0051】
本実施形態では、一例として、拠点Paにおいて、参加者Aが自身の情報処理装置2aを使用してリモート会議に参加する。また、拠点Pbにおいて、参加者Bが自身の情報処理装置2bを使用してリモート会議に参加する。また、拠点Pcにおいて、参加者Cが自身の情報処理装置2cを会議室に持ち込み、その情報処理装置2cを使用してリモート会議に参加する。更に本実施形態では、拠点Pcの会議室において、参加者Cの他に、別の参加者D,E,Fがリモート会議に参加する。ただし、参加者D,E,Fは、会議室に情報処理装置2を持ち込まず、参加者Cが使用する情報処理装置2を共有してリモート会議に間接的に参加する。
【0052】
また、拠点Pcの会議室には、カメラ6が設置される。このカメラ6は、拠点Pcの会議室でリモート会議に間接的に参加する参加者D,E,Fを撮影するためのカメラである。例えば、参加者Cが使用する情報処理装置2cに搭載されているカメラは、参加者Cを撮影するように配置されており、会議室に居る他の参加者D,E,Fの全員を撮影することが難しい。そのため、本実施形態では、情報処理装置2cとは別に会議室にカメラ6が設置され、他の参加者D,E,Fを撮影するようにしている。このカメラ6は、例えば情報処理装置2cに接続され、情報処理装置2cからの指示に基づいて撮影動作を開始し、情報処理装置2cに撮影画像を出力する。
【0053】
更に、拠点Pcの会議室には、スクリーン7、及び、複数のマイク8d,8e,8fが設置される。スクリーン7は、情報処理装置2cに表示される会議用画面と同じ画面を表示するためのスクリーンである。例えば、スクリーン7は、情報処理装置2cに接続される大画面ディスプレイなどの表示装置であっても良いし、情報処理装置2cに接続されるプロジェクタなどの投影機から会議用画面が投影されるものであっても構わない。また、マイク8d,8e,8fは、情報処理装置2を持ち込まずにリモート会議に参加する参加者D,E,Fのそれぞれに個別に割り当てられ、参加者D,E,Fのそれぞれの近傍に設置される音声入力手段である。
【0054】
上記のような構成を有する会議システム1は、情報処理装置2a,2b,2cを使用してリモート会議に直接参加する参加者A,B,Cを第1の参加者(直接参加者)として認識し、第1の参加者がリモート会議を円滑に行えるように支援する。また、会議システム1は、情報処理装置2a,2b,2cを使用することなくリモート会議に間接的に参加する参加者D,E,Fを第2の参加者(間接参加者)として認識し、それら第2の参加者を第1の参加者と同様に取り扱うことにより、第1の参加者及び第2の参加者のそれぞれがリモート会議を円滑に行えるように支援する。
【0055】
例えば図2(a)に示すように、各情報処理装置2a,2b,2cは、サーバー3に接続すると、リモート会議に直接参加する参加者A,B,C(第1の参加者)に関する第1参加者情報D1を生成してサーバー3へ送信する。この第1参加者情報D1には、第1の参加者を識別可能な識別情報が含まれる。また、識別情報には、第1の参加者の名前が含まれている。尚、名前は、フルネームであっても良いし、イニシャルやニックネームなどであっても良い。
【0056】
また、各情報処理装置2a,2b,2cは、第1参加者情報D1に、参加者A,B,C(第1の参加者)を表した第1参加者画像を含めてサーバー3へ送信することができる。例えば、各情報処理装置2a,2b,2cに搭載されているカメラの撮影機能がオンに設定されている場合、情報処理装置2a,2b,2cは、カメラによって参加者A,B,Cを撮影した第1の撮影画像(例えば動画像)を取得し、その第1の撮影画像から第1参加者画像を生成し、第1参加者画像を含む第1参加者情報D1をサーバー3へ送信することができる。ただし、第1参加者画像は、必ずしも第1の撮影画像から生成される画像に限られない。
【0057】
サーバー3は、各情報処理装置2a,2b,2cから取得する第1参加者情報D1に基づき、各情報処理装置2a,2b,2cに表示させるための会議用画面を作成し、会議用画面に関する画面情報D3を各情報処理装置2a,2b,2cへ提供する。このとき、サーバー3は、各情報処理装置2a,2b,2cから取得する第1参加者情報D1を会議用画面の所定の表示領域に配置する。例えば、サーバー3は、参加者A,B,Cを表した第1参加者画像や、参加者A,B,Cの識別情報などを所定の表示領域に配置した会議用画面を作成する。
【0058】
また、各情報処理装置2a,2b,2cに搭載されているカメラの撮影機能がオンに設定されていれば、各情報処理装置2a,2b,2cから取得する第1参加者情報D1には、参加者A,B,Cを撮影した第1の撮影画像に基づく第1参加者画像が含まれる。そのため、サーバー3は、それらの第1参加者画像を配置した会議用画面を作成し、各情報処理装置2a,2b,2cへ提供する。
【0059】
また、各情報処理装置2a,2b,2cに搭載されているカメラの撮影機能がオフになっている場合、各情報処理装置2a,2b,2cから取得する第1参加者情報D1には、参加者A,B,Cを撮影した第1の撮影画像に基づく第1参加者画像が含まれない。この場合、サーバー3は、各参加者A,B,Cに対して予め定められている画像(例えば静止画など)を参加者A,B,Cを表した第1参加者画像として使用し、会議用画面に配置する。そしてサーバー3は、静止画などの第1参加者画像を配置した会議用画面を各情報処理装置2a,2b,2cへ提供する。
【0060】
情報処理装置2a,2b,2cは、サーバー3から会議用画面に関する画面情報D3を取得し、その画面情報D3に基づいて会議用画面を表示する。このとき表示される会議用画面には、各情報処理装置2a,2b,2cを使用してリモート会議に直接参加している参加者A,B,C(第1の参加者)に関する第1参加者情報D1が含まれている。そのため、自身の情報処理装置2を使用してリモート会議に直接参加している参加者A,B,Cは、会議用画面を視認することにより、別の拠点で誰がリモート会議に直接参加しているかを把握することができる。
【0061】
また、図2(b)に示すように、参加者Cによって会議室に持ち込まれる情報処理装置2cは、上記に加え、リモート会議に間接的に参加する参加者D,E,F(第2の参加者)に関する第2参加者情報D2を生成してサーバー3へ送信する。この第2参加者情報D2には、第2の参加者を識別可能な識別情報が含まれる。例えば、識別情報には、第2の参加者の名前が含まれている。この場合の名前は、フルネームであっても良いし、イニシャルやニックネームなどであっても良い。例えば、識別情報は、情報処理装置2cを使用している参加者Cが情報処理装置2cに対して手動入力するものであっても良い。この場合、参加者Cは、複数の参加者D,E,Fに関する識別情報を個別に手動入力する。ただし、情報処理装置2cに接続されているカメラ6の撮影機能がオンに設定されている場合、第2参加者情報D2には、必ずしも参加者D,E,Fに関する識別情報が含まれていなくても良く、参加者Cは、識別情報を手動操作で入力する必要がない。
【0062】
また、情報処理装置2cは、第2参加者情報D2に、参加者D,E,F(第2の参加者)を表した第2参加者画像を含めてサーバー3へ送信することができる。例えば、情報処理装置2cに接続されているカメラ6の撮影機能がオンに設定されている場合、情報処理装置2cは、カメラ6によって参加者D,E,Fを撮影した第2の撮影画像(例えば動画像)を取得し、その第2の撮影画像から第2参加者画像を生成し、第2参加者画像を含む第2参加者情報D2をサーバー3へ送信することができる。ただし、第2参加者画像は、必ずしも第2の撮影画像から生成される画像に限られない。
【0063】
サーバー3は、情報処理装置2cから、参加者D,E,Fに関する第2参加者情報D2を取得すると、その第2参加者情報D2を、第1参加者情報D1と同様に所定の表示領域に配置した会議用画面を作成し、画面情報D3を更新する。そしてサーバー3は、更新した画面情報D3を各情報処理装置2a,2b,2cへ提供する。このとき、サーバー3は、会議用画面に参加者D,E,F(第2の参加者)を表した第2参加者画像を追加した画面情報D3を生成し、その画面情報D3を各情報処理装置2a,2b,2cへ提供する。例えば、情報処理装置2cに接続されているカメラ6の撮影機能がオンに設定されていれば、情報処理装置2cから取得する第2参加者情報D2には、参加者D,E,Fを撮影した第2の撮影画像に基づく第2参加者画像が含まれる。そのため、サーバー3は、その第2参加者画像を配置した会議用画面を作成し、各情報処理装置2a,2b,2cへ提供する。
【0064】
また、情報処理装置2cに搭載されているカメラの撮影機能がオフになっている場合、情報処理装置2cから取得する第2参加者情報D2には、参加者D,E,Fを撮影した第2の撮影画像に基づく第2参加者画像が含まれない。この場合、サーバー3は、各参加者D,E,Fに対して予め定められている画像(例えば静止画など)を参加者D,E,Fを表した第2参加者画像として使用し、会議用画面に配置する。そしてサーバー3は、静止画などの第2参加者画像を配置した会議用画面を各情報処理装置2a,2b,2cへ提供する。
【0065】
そのため、拠点Pcの会議室とは異なる拠点Pa,Pbでリモート会議に参加している参加者A,Bは、情報処理装置2a,2bで表示される会議用画面をみれば、拠点Pcの会議室でリモート会議に間接的に参加している参加者D,E,Fを把握することができる。以下、このような会議システム1について更に詳しく説明する。尚、以下において、各情報処理装置2a,2b,2cを区別しないときにはそれらを総称して情報処理装置2と呼ぶことがある。
【0066】
図3は、サーバー3の構成例を示す図である。サーバー3は、リモート会議プラットフォーム10と、通信インタフェース11とを備えている。リモート会議プラットフォーム10は、例えばサーバー3に実装されているCPUなどのハードウェアプロセッサが所定プログラムを実行することによって実現されるソフトウェア機能である。このリモート会議プラットフォーム10は、複数の情報処理装置2a,2b,2cのそれぞれと通信を行い、リモート会議を支援するための処理を行う。通信インタフェース11は、サーバー3をネットワーク5に接続し、複数の情報処理装置2a,2b,2cのそれぞれと通信を行うためのインタフェースである。
【0067】
リモート会議プラットフォーム10は、例えばデータベース4に予め登録されているリモート会議の予約情報に基づき、リモート会議のためのアドレス(例えばURL(Uniform Resource Locator)など)を設定し、そのアドレスを予約情報に登録された複数の情報処理装置2a,2b,2cのそれぞれに予め通知しておく。そしてリモート会議プラットフォーム10は、リモート会議の開始時刻が近づくと、各情報処理装置2a,2b,2cからのアクセスを受け付け、各情報処理装置2a,2b,2cとの接続状態を確立してリモート会議を支援するための処理を開始する。このリモート会議プラットフォーム10は、会議用画面提供部12と、音声処理部13と、特定部14とを備えている。
【0068】
会議用画面提供部12は、複数の情報処理装置2のそれぞれで共有される会議用画面を生成し、その会議用画面を各情報処理装置2へ提供することにより、各拠点間における情報の共有を支援する。この会議用画面提供部12は、第1参加者情報取得部15と、第2参加者情報取得部16と、表示制御部17とを備えている。
【0069】
第1参加者情報取得部15は、複数の情報処理装置2a,2b,2cのそれぞれから送信される第1参加者情報D1を取得する。第1参加者情報取得部15は、第1参加者情報D1を取得すると、その第1参加者情報D1を表示制御部17へ出力する。
【0070】
情報処理装置2a,2b,2cに搭載されているカメラの撮影機能がオンになっている場合、第1参加者情報取得部15は、情報処理装置2a,2b,2cから第1の撮影画像に基づいて生成される第1参加者画像を継続的に取得する。そのため、第1参加者情報取得部15は、情報処理装置2a,2b,2cから取得する第1参加者画像を、表示制御部17に対して継続的に出力する。
【0071】
第2参加者情報取得部16は、複数の情報処理装置2a,2b,2cのうちの少なくとも1つの情報処理装置2cから、第1の参加者と共にリモート会議に間接的に参加する第2の参加者に対応する第2参加者情報D2を取得する。第2参加者情報取得部16は、第2参加者情報D2を取得すると、その第2参加者情報D2を表示制御部17へ出力する。また、第2参加者情報取得部16は、第2参加者情報D2を特定部14へ出力する。
【0072】
情報処理装置2cに接続されているカメラ6の撮影機能がオンになっている場合、第2参加者情報取得部16は、情報処理装置2cから第2の撮影画像に基づいて生成される第2参加者画像を継続的に取得する。そのため、第2参加者情報取得部16は、情報処理装置2cから取得する第2参加者画像を、表示制御部17に対して継続的に出力する。
【0073】
表示制御部17は、第1参加者情報取得部15から出力される第1参加者情報D1を取得すると、その第1参加者情報D1を所定の表示領域に配置した会議用画面を作成する。また、表示制御部17は、第2参加者情報取得部16から出力される第2参加者情報D2を取得すると、その第2参加者情報D2を所定の表示領域に配置した会議用画面を作成する。そして表示制御部17は、第1参加者情報D1及び第2参加者情報D2のそれぞれを所定の表示領域に配置した会議用画面を複数の情報処理装置2a,2b,2cのそれぞれに提供して表示させる。
【0074】
例えば、図1に示す態様でリモート会議が行われる場合、表示制御部17は、情報処理装置2a,2b,2cのそれぞれから取得する第1参加者情報D1に基づき、参加者A,B,Cのそれぞれを表した第1参加者画像を所定の表示領域に配置した会議用画面を作成して情報処理装置2a,2b,2cへ送信する。その結果、情報処理装置2a,2b,2cのそれぞれにおいて、参加者A,B,Cのそれぞれを表した複数の画像を含む会議用画面が表示される。このとき、各情報処理装置2a,2b,2cに搭載されているカメラの撮影機能がオンになっていれば、会議用画面には、参加者A,B,Cを撮影したリアルタイムな画像(動画像)が表示される。
【0075】
また、表示制御部17は、情報処理装置2cから参加者D,E,Fのそれぞれに対応する第2参加者情報D2を取得すると、その第2参加者情報D2に基づき、参加者D,E,Fのそれぞれを表した第2参加者画像を所定の表示領域に配置した会議用画面を作成して情報処理装置2a,2b,2cへ送信する。その結果、情報処理装置2a,2b,2cのそれぞれにおいて、リモート会議に直接参加する参加者A,B,Cだけでなく、リモート会議に間接的に参加する参加者D,E,Fを表した複数の画像を含む会議用画面が表示されることになる。このとき、情報処理装置2cに接続されているカメラ6の撮影機能がオンになっていれば、会議用画面には、参加者D,E,Fを撮影したリアルタイムな画像(動画像)が表示されることになる。
【0076】
音声処理部13は、会議用の音声を処理するものである。音声処理部13は、一の拠点で収集された音声を他の拠点の情報処理装置2へ配信することにより、各拠点間で行われる通話を支援する。例えば、音声処理部13は、複数の情報処理装置2のうちの一の情報処理装置2から音声情報を取得すると、その一の情報処理装置2を除く他の情報処理装置2へ音声情報を送信し、音声出力を行わせる。これにより、他の拠点でリモート会議に参加している参加者は、一の拠点で発せられた音声を聞くことができる。
【0077】
特定部14は、複数の情報処理装置2a,2b,2cのうちの少なくとも1つの情報処理装置2から第2の参加者に関する第2参加者情報D2を取得すると、その第2参加者情報D2に基づいてデータベース4を検索することにより、第2の参加者を特定する。例えば、特定部14は、第2参加者情報D2に、第2の撮影画像に基づく第2参加者画像が含まれている場合、その第2参加者画像に含まれる顔画像の特徴に基づいてデータベース4を検索し、リモート会議に間接的に参加している参加者D,E,Fを特定する。すなわち、特定部14は、第2参加者画像から参加者D,E,Fの顔画像を抽出し、データベース4に予め登録されている特徴情報と、第2の撮影画像から抽出した顔画像の特徴とを比較することにより、参加者D,E,Fを特定する。このとき、特定部14は、第2の参加者としてリモート会議に間接的に参加する参加者D,E,Fの名前を特定することもできる。そのため、第2参加者情報D2に第2の参加者を識別可能な識別情報が含まれていない場合であっても、特定部14は、第2の参加者の名前を特定することができる。
【0078】
また、第2参加者情報D2に参加者D,E,Fの識別情報が含まれている場合、特定部14は、第2参加者情報D2に含まれる識別情報に基づいて参加者D,E,Fの名前を特定する。そのため、特定部14は、参加者D,E,Fの名前を特定するために、データベース4を検索する必要がない。
【0079】
特定部14は、第2の参加者を特定すると、その特定結果を情報処理装置2cへ送信する。また、特定部14は、第2の参加者を特定すると、その特定結果を会議用画面提供部12にも出力する。
【0080】
次に、図4は、情報処理装置2の構成例を示す図である。尚、各拠点Pa,Pb,Pcで使用される情報処理装置2a,2b,2cはいずれも同様の構成である。情報処理装置2は、制御部20、カメラ21、マイク22、スピーカ23、表示部24、操作入力部25、機器接続部26及び通信インタフェース27を備えている。
【0081】
制御部20は、CPUなどのハードウェアプロセッサとメモリとを備えて構成される。この制御部20は、ハードウェアプロセッサが所定のプログラムを実行することにより、ブラウザ30及び連携アプリケーション40として機能する。ブラウザ30は、Webページを閲覧するためのアプリケーションであり、サーバー3にアクセスすることにより、サーバー3からWebページとして提供される会議用画面を取得して表示部24に表示する。連携アプリケーション40は、ブラウザ30がサーバー3にアクセスしている状態で起動されるアプリケーションであり、サーバー3及びブラウザ30と連携して第2の参加者をリモート会議に参加させるための処理を実行する。
【0082】
カメラ21は、情報処理装置2の表示部24の周囲に搭載された撮影手段(第1の撮影手段)である。例えば、カメラ21は、表示部24に表示される会議用画面を視認しようとする第1の参加者を撮影することができる。
【0083】
マイク22は、情報処理装置2に搭載された音声入力手段である。例えば、マイク22は、情報処理装置2を使用してリモート会議に直接参加する第1の参加者が発する音声を入力し、音声情報を生成する。
【0084】
スピーカ23は、情報処理装置2に搭載された音声出力手段である。例えば、スピーカ23は、サーバー3から提供される音声情報に基づく音声を出力する。尚、スピーカ23は、参加者A,B,Cが装着するヘッドフォンなどであっても構わない。
【0085】
表示部24は、カラー液晶ディスプレイなどで構成される表示手段である。例えば、表示部24は、サーバー3から提供される会議用画面を表示部24に表示することができる。
【0086】
操作入力部25は、情報処理装置2を使用する参加者による操作入力を受け付ける操作入力手段である。例えば、操作入力部25は、キーボードやマウス、タッチパネルなどを含むものである。
【0087】
機器接続部26は、情報処理装置2に対して外部機器を接続するためのインタフェースである。例えば、機器接続部26は、USBインタフェースや、ビデオ出力端子、ビデオ入力端子、音声入出力端子などによって構成される。拠点Pcの会議室に持ち込まれる情報処理装置2cの場合、機器接続部26には、カメラ6、マイク8d,8e,8f、及び、表示装置9が接続される。表示装置9は、拠点Pcの会議室に設置されたスクリーン7に会議用画面を表示させる装置である。
【0088】
通信インタフェース27は、情報処理装置2をネットワーク5に接続し、サーバー3との通信を行うためのインタフェースである。
【0089】
ブラウザ30は、サーバー3との接続状態を確立し、サーバー3から提供されるプログラムモジュールを実行することにより、カメラ制御部31、第1参加者情報生成部32、音声取得部33、画面取得部34、表示処理部35及び音声出力部36として機能する。
【0090】
カメラ制御部31は、情報処理装置2に搭載されているカメラ21の撮影動作を制御する。例えば、カメラ21の撮影機能がオンに設定されている場合、カメラ制御部31は、カメラ21による撮影動作を開始させる。カメラ21は第1の参加者を撮影可能であるため、カメラ制御部31は、カメラ21の撮影動作を開始させることにより、第1の参加者を撮影した第1の撮影画像を取得することができる。例えば、カメラ制御部31は、第1の撮影画像を動画像として取得する。そして、カメラ制御部31は、第1の撮影画像を第1参加者情報生成部32へ出力する。尚、カメラ21の撮影機能がオフである場合、カメラ制御部31は、カメラ21による撮影を行わせない。この場合、情報処理装置2において第1の撮影画像は取得されない。
【0091】
第1参加者情報生成部32は、情報処理装置2を使用する第1の参加者に関する第1参加者情報D1を生成し、その第1参加者情報D1をサーバー3へ送信する。例えば、第1参加者情報生成部32は、まず第1の参加者を特定する。すなわち、第1参加者情報生成部32は、情報処理装置2に予め登録されているユーザー情報に基づいて第1の参加者を特定する。そして第1参加者情報生成部32は、第1の参加者を識別可能な識別情報を生成する。この識別情報には、第1の参加者の名前が含まれる。そして第1参加者情報生成部32は、第1の参加者に関する識別情報を含む第1参加者情報D1を生成する。
【0092】
また、第1参加者情報生成部32は、情報処理装置2を使用してリモート会議に直接参加する第1の参加者を表した第1参加者画像を生成し、その第1参加者画像を含む第1参加者情報D1を生成する。例えば、カメラ21の撮影機能がオンである場合、第1参加者情報生成部32は、カメラ制御部31から出力される第1の撮影画像を取得する。そのため、第1参加者情報生成部32は、第1の参加者を撮影した第1の撮影画像に基づいて第1の参加者を表した第1参加者画像を生成する。このとき、第1参加者情報生成部32は、カメラ21によって撮影された第1の撮影画像をそのまま利用して第1の参加者を表した第1参加者画像を生成しても良いし、また第1の撮影画像から第1の参加者の顔画像の部分を切り出すことによって第1の参加者を表した第1参加者画像を生成しても良い。また、第1参加者情報生成部32は、第1の参加者の背景部分を別の画像に差し替えたり、或いは暈かしたりした画像を生成しても良い。
【0093】
これに対し、カメラ21の撮影機能がオフである場合、第1参加者情報生成部32は、第1の参加者を撮影した第1の撮影画像を取得することができない。この場合、第1参加者情報生成部32は、ユーザーによって予め定められている画像(例えば静止画など)を読み出し、その画像を、第1の参加者を表した第1参加者画像として利用しても構わない。
【0094】
そして第1参加者情報生成部32は、上記のようにして生成した第1参加者情報D1をサーバー3へ送信する。このとき、第1参加者情報生成部32は、サーバー3の会議用画面提供部12を機能させるコマンドを付加して送信する。
【0095】
音声取得部33は、マイク22を介して第1の参加者が発した音声に対応する音声情報を取得する。音声取得部33は、第1の参加者の音声情報を取得すると、その音声情報をサーバー3へ送信する。このとき、音声取得部33は、サーバー3の音声処理部13を機能させるコマンドを付加して送信する。このコマンドには、第1の参加者を識別可能な識別情報が含まれる。
【0096】
画面取得部34は、ブラウザ30へアクセスすることに伴い、サーバー3から提供される会議用画面を取得する。画面取得部34は、会議用画面を取得すると、その会議用画面を表示処理部35へ出力する。
【0097】
表示処理部35は、画面取得部34によって取得される会議用画面を表示部24に表示させる処理部である。また、表示処理部35は、機器接続部26に表示装置9が接続されている場合、その表示装置9にも会議用画面を表示させる。これにより、例えば拠点Pcの会議室でリモート会議に間接的に参加する参加者D,E,Fは、表示装置9によってスクリーン7に表示される会議用画面を視認することができるようになる。
【0098】
音声出力部36は、サーバー3から音声情報を取得した場合に、その音声情報に基づいてスピーカ23を駆動することにより、他の拠点の参加者が発した音声を出力する。
【0099】
連携アプリケーション40は、例えば情報処理装置2を使用している第1の参加者の指示によって起動される。この連携アプリケーション40は、カメラ制御部41、第2参加者情報生成部42、画像解析部43及び音声取得部46として機能する。
【0100】
カメラ制御部41は、機器接続部26に接続されているカメラ6の撮影動作を制御する。例えば、カメラ6の撮影機能がオンに設定されている場合、カメラ制御部41は、カメラ6による撮影動作を開始させる。カメラ6は第2の参加者を撮影可能な状態に設置されるため、カメラ制御部41は、カメラ6の撮影動作を開始させることにより、第2の参加者を撮影した第2の撮影画像を取得することができる。例えば、拠点Pcの会議室に持ち込まれた情報処理装置2cの場合、カメラ制御部41は、リモート会議に間接的に参加する参加者D,E,Fを撮影した第2の撮影画像を取得する。またカメラ制御部41は、第2の撮影画像を動画像として取得する。そして、カメラ制御部41は、第2の撮影画像を第2参加者情報生成部42へ出力する。
【0101】
第2参加者情報生成部42は、リモート会議に間接的に参加する第2の参加者に関する第2参加者情報D2を生成し、その第2参加者情報D2をサーバー3へ送信する。このとき、第2参加者情報生成部42は、情報処理装置2を使用してリモート会議に間接的に参加する第2の参加者を表した第2参加者画像を生成し、その第2参加者画像を含む第2参加者情報D2を生成する。例えば、カメラ6の撮影機能がオンである場合、第2参加者情報生成部42は、カメラ制御部41から出力される第2の撮影画像を取得する。そのため、第2参加者情報生成部42は、第2の参加者を撮影した第2の撮影画像に基づいて第2の参加者を表した第2参加者画像を生成する。このとき、第2参加者情報生成部42は、第2の撮影画像から顔画像を抽出する処理を行い、その顔画像に基づいて参加者D,E,Fを特定する処理を行う。そして参加者D,E,Fを特定することができると、第2参加者情報生成部42は、カメラ制御部41によって取得される第2の撮影画像に基づいて参加者D,E,Fのそれぞれを表した第2参加者画像を生成する。また、第2参加者情報生成部42は、カメラ6によって得られる第2の撮影画像をそのまま第2参加者を表した第2参加者画像として利用しても良いし、第2の撮影画像から第2の参加者の顔画像を抽出し、その顔画像を、第2の参加者を表した第2参加者画像として利用しても良い。また、第2参加者情報生成部42は、第2の撮影画像から抽出した第2の参加者の背景部分を別の画像に差し替えたり、或いは暈かしたりした画像を生成しても良い。
【0102】
これに対し、カメラ6の撮影機能がオフである場合、第2参加者情報生成部42は、第2の参加者を撮影した第2の撮影画像を取得することができない。この場合、第2参加者情報生成部42は、情報処理装置2を使用するユーザー(例えば参加者C)によって指定された画像(例えば静止画など)を読み出し、その画像を、第2の参加者を表した第2参加者画像として利用しても構わない。
【0103】
また、第2参加者情報生成部42は、例えば表示部24に対して第2の参加者を識別可能な識別情報を入力するための画面を表示し、操作入力部25に対して行われる識別情報の入力操作を受け付け、第2の参加者に対応する識別情報を生成することもできる。図1の例では、拠点Pcの会議室で情報処理装置2cを使用している参加者Cが、他の参加者D,E,Fに関する識別情報を手動操作で入力する。そして第2参加者情報生成部42は、参加者Cによって入力される識別情報を取得し、その識別情報を含む第2参加者情報D2を生成する。このとき、第2参加者情報生成部42は、第2の参加者を表した第2参加者画像と、識別情報とを相互に対応付けた第2参加者情報D2を生成することが好ましい。尚、カメラ6の撮影機能がオンである場合には、上述したように第2の撮影画像から第2の参加者を特定することができるため、第2参加者情報生成部42は、参加者Cによる識別情報の入力操作を省略しても構わない。
【0104】
例えば、第2参加者情報生成部42は、第2の撮影画像に基づいて第2の参加者を特定するとき、例えば第2の撮影画像から抽出した第2の参加者の顔画像を、特定対象情報としてサーバー3へ送信する。このとき、第2参加者情報生成部42は、サーバー3の特定部14を機能させるコマンドを付加して送信する。このコマンドに基づき、サーバー3は、特定部14を機能させ、顔画像に基づいてデータベース4を検索することにより、第2の撮影画像に含まれる第2の参加者を特定する。これにより、拠点Pcの会議室でリモート会議に間接的に参加する参加者D,E,Fの名前などが特定される。そしてサーバー3は、第2の参加者の特定結果を情報処理装置2へ返信する。第2参加者情報生成部42は、サーバー3から受信する特定結果に基づき、第2の撮影画像に含まれる第2の参加者を特定する。
【0105】
その後、第2参加者情報生成部42は、第2の参加者を表した第2参加者画像と、第2の参加者の名前を含む識別情報とを対応付けた第2参加者情報D2をサーバー3に送信する。このとき、第2参加者情報生成部42は、サーバー3の会議用画面提供部12を機能させるコマンドを付加して送信する。また、カメラ6の撮影機能がオンである場合、第2参加者情報生成部42は、第2の撮影画像から生成した第2参加者画像を画像解析部43へ出力する。
【0106】
画像解析部43は、第2参加者情報生成部42から出力される第2参加者画像を解析する処理部である。この画像解析部43は、発言者検知部44と、ジェスチャ検知部45とを備えている。
【0107】
発言者検知部44は、第2参加者情報生成部42によって特定された第2の参加者の中から発言者を検知する処理部である。発言者検知部44は、第2の撮影画像に基づいて生成された第2参加者画像から顔画像を抽出し、その顔画像を解析することにより発言者を検知する。例えば、発言者検知部44は、第2の参加者の顔画像において口元の動きを判定し、その判定結果に基づいて発言者を検知する。第2参加者画像に複数の第2の参加者の顔画像が含まれる場合、発言者検知部44は、それら複数の顔画像のそれぞれに対して口元の動きを判定する処理を繰り返し行う。そのため、発言者検知部44は、複数の第2の参加者のうちの少なくとも一人の参加者が発言すれば、誰が発言しているのかをリアルタイムで検知することができる。
【0108】
発言者検知部44は、発言者を検知すると、サーバー3に対して発言者を通知する。このとき、発言者検知部44は、サーバー3の会議用画面提供部12を機能させるコマンドを付加して送信する。このコマンドには、発言者として検知された第2の参加者を識別可能な識別情報が含まれる。
【0109】
ジェスチャ検知部45は、第2参加者情報生成部42によって特定された第2の参加者によって挙手ジェスチャが行われたことを検知する処理部である。ジェスチャ検知部45は、第2の撮影画像から生成された第2参加者画像に基づき、第2の参加者によって行われる挙手ジェスチャを検知する。例えば、ジェスチャ検知部45は、第2の参加者の顔画像の周辺における手の動きを検知することにより挙手ジェスチャを検知する。第2参加者画像に複数の第2の参加者の顔画像が含まれる場合、ジェスチャ検知部45は、それら複数の顔画像のそれぞれを検知対象とし、顔画像周辺での手の動きを検知する処理を繰り返し行う。そのため、ジェスチャ検知部45は、複数の第2の参加者のうちの少なくとも一人の参加者が挙手ジェスチャを行えば、誰が挙手ジェスチャを行っているのかをリアルタイムで検知することができる。
【0110】
ジェスチャ検知部45は、挙手ジェスチャを検知すると、サーバー3に対して挙手ジェスチャが行われたことを通知する。このとき、ジェスチャ検知部45は、サーバー3の会議用画面提供部12を機能させるコマンドを付加して送信する。このコマンドには、挙手ジェスチャを行った第2の参加者を識別可能な識別情報が含まれる。
【0111】
音声取得部46は、機器接続部26に接続されている複数のマイク8d,8e,8fのうちの少なくとも1つを介して第2の参加者が発した音声に対応する音声情報を取得する。音声取得部46は、第2の参加者の音声情報を取得すると、その音声情報をサーバー3へ送信する。このとき、音声取得部46は、サーバー3の音声処理部13を機能させるコマンドを付加して送信する。このコマンドには、発言者検知部44によって発言者として検知された第2の参加者を識別可能な識別情報が含まれる。
【0112】
また、音声取得部46は、音声切替部47を備えている。音声切替部47は、複数のマイク8d,8e,8fのオンオフ制御を行うものである。例えば、音声切替部47は、複数のマイク8d,8e,8fのそれぞれが複数の第2の参加者のうちのいずれの参加者の近くに設置されているかを予め記憶している。これを実現するためには、例えば、連携アプリケーション40の起動時に情報処理装置2cを使用するユーザー(参加者C)が、複数のマイク8d,8e,8fの設置位置を参加者D,E,Fに対応付けて登録しておけば良い。そして、音声切替部47は、複数のマイク8d,8e,8fのうち、発言者検知部44によって発言者として検知された第2の参加者の近傍に設置されているマイクの電源をオンにし、他のマイクの電源をオフに切り替える。これにより、発言者に最も近いマイクで発言者の音声を取得することが可能となり、聞き取りやすいクリアな音声を取得することができる。
【0113】
次に、上記のように構成される会議システム1の動作について説明する。図5は、本実施形態における会議システム1の動作を示す第1のフローチャートである。この第1のフローチャートでは、リモート会議に直接参加する参加者A,B,Cが自身の情報処理装置2a,2b,2cを使用してサーバー3にログインする流れを示している。まず、リモート会議の開始時刻が近づくと、拠点Pa,Pbでリモート会議に直接参加する参加者A,Bが情報処理装置2a,2bを操作することによってブラウザ30を起動し、サーバー3から予め通知されているアドレスにアクセスする(ステップS1)。このとき、ブラウザ30は、参加者A,Bを識別するための識別情報を含む第1参加者情報D1をサーバー3へ送信する。サーバー3は、情報処理装置2a,2bからのアクセスを検知すると、参加者A,Bの識別情報に基づき予約情報に登録されている参加者であるか否かを認証する。その結果、認証に成功すると、サーバー3は、リモート会議への参加を許可し、情報処理装置2a,2bに対してプログラムモジュールを送信する(ステップS2)。
【0114】
情報処理装置2a,2bは、サーバー3によってリモート会議への参加が許可されることに伴い、参加者A,Bを撮影するためのカメラ21を起動し(ステップS3)、更にマイク22を起動する(ステップS4)。そして情報処理装置2a,2bのブラウザ30は、カメラ制御部31を動作させてカメラ21による画像撮影を開始する(ステップS5)。これに伴い、情報処理装置2a,2bのブラウザ30は、第1参加者情報生成部32を機能させ、参加者A,Bを撮影した第1の撮影画像に基づいて参加者A,Bを表した第1参加者画像を生成し、第1参加者画像を含む第1参加者情報D1をサーバー3へ送信する(ステップS6)。尚、情報処理装置2a,2bにおいてカメラ21の撮影機能がオフである場合には、参加者A,Bが撮影されないため、ブラウザ30は、予め定められている画像を第1参加者画像として使用し、その画像と参加者A,Bの識別情報とを含む第1参加者情報D1をサーバー3へ送信する。
【0115】
サーバー3は、情報処理装置2a,2bから参加者A,Bに関する第1参加者情報D1を取得すると、表示制御部17を機能させ、参加者A,Bに関する第1参加者情報D1を所定の表示領域に配置した会議用画面を生成し、情報処理装置2a,2bへ送信する(ステップS7)。このとき、サーバー3は、第1参加者情報D1から参加者A,Bのそれぞれを表した第1参加者画像を抽出し、それらの第1参加者画像を所定の表示領域に配置する。情報処理装置2a,2bは、サーバー3から会議用画面を取得すると、その会議用画面を表示部24に表示させる。これにより、参加者A,Bは、互いに同じ会議用画面を閲覧しながら会議を行える状態となる。
【0116】
一方、拠点Pcにおいても、リモート会議に直接参加する参加者Cが自身の情報処理装置2cを操作することによってブラウザ30を起動し、サーバー3から予め通知されているアドレスにアクセスする(ステップS9)。このとき、ブラウザ30は、参加者Cを識別するための識別情報を含む第1参加者情報D1をサーバー3に送信する。サーバー3は、情報処理装置2cからのアクセスを検知すると、参加者Cの識別情報に基づき予約情報に登録されている参加者であるか否かを認証する。その結果、認証に成功すると、サーバー3は、リモート会議への参加を許可し、情報処理装置2cに対してプログラムモジュールを送信する(ステップS10)。
【0117】
情報処理装置2cは、サーバー3によってリモート会議への参加が許可されることに伴い、参加者Cを撮影するためのカメラ21を起動し(ステップS11)、更にマイク22を起動する(ステップS12)。そして情報処理装置2cのブラウザ30は、カメラ制御部31を動作させてカメラ21による画像撮影を開始する(ステップS13)。これに伴い、情報処理装置2cのブラウザ30は、第1参加者情報生成部32を機能させ、参加者Cを撮影した第1の撮影画像に基づいて参加者Cを表した第1参加者画像を生成し、第1参加者画像を含む第1参加者情報D1をサーバー3へ送信する(ステップS14)。尚、情報処理装置2cにおいてカメラ21の撮影機能がオフである場合には、参加者Cが撮影されないため、ブラウザ30は、予め定められている画像を第1参加者画像として使用し、その画像と参加者Cの識別情報とを含む第1参加者情報D1をサーバー3へ送信する。
【0118】
サーバー3は、情報処理装置2cから参加者Cに関する第1参加者情報D1を取得すると、表示制御部17を機能させ、参加者Cに関する第1参加者情報D1を所定の表示領域に配置した会議用画面を生成し、情報処理装置2a,2b,2cへ送信する(ステップS15)。このとき、サーバー3は、第1参加者情報D1から参加者Cを表した第1参加者画像を抽出し、その第1参加者画像を所定の表示領域に配置する。情報処理装置2a,2bは、サーバー3において参加者Cに関する情報が追加された会議用画面を取得すると、その会議用画面を表示部24に表示させる(ステップS16)。また、情報処理装置2cは、サーバー3から会議用画面を取得すると、その会議用画面を表示部24に表示させる(ステップS17)。これにより、参加者A,B,Cは、互いに同じ会議用画面を閲覧しながら会議を行える状態となる。
【0119】
図6は、上記のようにして情報処理装置2a,2b,2cの表示部24に表示される会議用画面G1の一例を示す図である。この会議用画面G1は、会議に用いる資料などを表示する資料表示領域R1と、情報処理装置2a,2b,2cを使用している参加者A,B,Cが操作可能なアイコン表示領域R2と、第1参加者情報D1及び第2参加者情報D2に基づく情報を表示する参加者表示領域R3とを有している。
【0120】
資料表示領域R1には、複数の情報処理装置2a,2b,2cのうちの少なくとも1つにおいて共有閲覧することが指定された資料画像が表示される。例えば、参加者Aが自身の情報処理装置2aを操作して資料画像の共有を指定すると、情報処理装置2aからサーバー3に資料画像が送信される。サーバー3は、情報処理装置2aから資料画像を取得すると、会議用画面提供部12を機能させ、資料画像を資料表示領域R1に配置した会議用画面G1を生成し、各情報処理装置2a,2b,2cへ配信する。これにより、各情報処理装置2a,2b,2cにおいて表示される会議用画面G1の資料表示領域R1には、参加者Aが指定した資料画像が表示されるようになる。
【0121】
アイコン表示領域R2には、情報処理装置2a,2b,2cを使用している参加者A,B,Cが操作可能な複数のアイコン51~55が表示される。例えば、参加者A,B,Cは、これらのアイコン51~55に対する操作を行うことにより、カメラ21のオンオフ切り替えや、マイク22のオンオフ切り替え、挙手ジェスチャなどを行うことができる。
【0122】
参加者表示領域R3には、リモート会議に参加する参加者に関する情報が一覧表示される。図6の例では、参加者表示領域R3に、リモート会議に直接参加する参加者A,B,Cのそれぞれを表した第1参加者画像61が表示されている。サーバー3の表示制御部17は、情報処理装置2a,2b,2cから取得した第1参加者画像を参加者表示領域R3に配置する際、参加者A,B,Cの名前を付加する。その結果、各情報処理装置2a,2b,2cにおいて表示される会議用画面G1の参加者表示領域R3には、参加者A,B,Cのそれぞれに対応する第1参加者画像61と共に、参加者A,B,Cの名前が表示される。したがって、各拠点Pa,Pb,Pcでリモート会議に参加する参加者A,B,Cは、誰がリモート会議に参加しているかを把握することができる。
【0123】
次に、図7は、本実施形態における会議システム1の動作を示す第2のフローチャートである。この第2のフローチャートでは、参加者A,B,Cがサーバー3にログインしている状態でリモート会議に間接的に参加する参加者D,E,Fを参加者として追加表示する流れを示している。拠点Pcの会議室でリモート会議に直接参加する参加者Cは、自身の情報処理装置2cを操作することによって連携アプリケーション40を起動する(ステップS20)。すると、連携アプリケーション40は、機器接続部26に接続されているカメラ6を起動し(ステップS21)、更にマイク8d,8e,8fを起動する(ステップS22)。そして連携アプリケーション40は、カメラ制御部41を機能させ、カメラ6による画像撮影を開始する(ステップS23)。これにより、情報処理装置2cは、リモート会議に間接的に参加しようとしている参加者D,E,Fを撮影した第2の撮影画像を取得する。
【0124】
カメラ6による画像撮影が開始されると、連携アプリケーション40は、第2参加者情報生成部42を機能させる。第2参加者情報生成部42は、カメラ6から得られる第2の撮影画像に対して顔検出処理を行い、第2の撮影画像から顔画像を抽出する(ステップS24)。図8は、顔検出処理の一例を示す図である。例えば図8(a)に示すように、拠点Pcのカメラ6によって撮影される撮影画像G20には、参加者D,E,Fの三人の画像が含まれる。第2参加者情報生成部42は、そのような撮影画像G20に対して顔検出処理を行うことにより、図8(b)に示すように撮影画像G20から参加者D,E,Fそれぞれの顔画像G21,G22,G23を抽出する。第2参加者情報生成部42は、顔検出処理によって顔画像G21,G22,G23を抽出すると、それらの顔画像G21,G22,G23を特定対象情報としてサーバー3へ送信し、サーバー3の特定部14に第2の参加者を特定する処理を行わせる。
【0125】
サーバー3は、情報処理装置2cから顔画像を取得すると、特定部14を機能させ、データベース4を検索して第2の参加者を特定するための参加者特定処理を実行する(ステップS25)。この参加者特定処理により、顔画像G21,G22,G23のそれぞれが参加者D,E,Fに対応する画像であることが特定される。そして特定部14によって第2の参加者が特定されると、サーバー3は、その特定結果を情報処理装置2cへ送信する。これにより、情報処理装置2cは、参加者Cと共に会議室に同席している参加者D,E,Fが誰であるかを自動的に特定することができる。この場合、情報処理装置2cは、参加者Cに、参加者D,E,Fに関する識別情報の入力操作を行わせる必要がない。
【0126】
尚、サーバー3は、情報処理装置2cから取得した顔画像に基づいて参加者D,E,Fを特定すると、それら参加者D,E,Fがリモート会議の予約情報に登録されている参加者であるか否かを認証し、その認証に成功することを条件として、特定結果を情報処理装置2cへ送信することが好ましい。また、認証に失敗した場合、サーバー3は、リモート会議の参加者として登録されていないことを情報処理装置2cへ通知することが好ましい。
【0127】
また、情報処理装置2cにおいてカメラ6の撮影機能がオフである場合には、参加者D,E,Fが撮影されないため、第2参加者情報生成部42は、例えば参加者Cによって指定された画像を、参加者D,E,Fのそれぞれを表した第2参加者画像として使用する。例えば、第2参加者情報生成部42は、参加者Cに、参加者D,E,Fに関する識別情報の入力操作を行わせ、第2参加者画像と参加者Cによって入力された識別情報とを含む第1参加者情報D1をサーバー3へ送信する。これにより、サーバー3は、参加者Cによって入力された識別情報に基づいて参加者D,E,Fを特定することができるようになる。そしてサーバー3は、参加者D,E,Fがリモート会議の予約情報に登録されている参加者であるか否かを認証することができる。
【0128】
カメラ6の撮影機能がオンである場合、情報処理装置2cは、参加者D,E,Fを特定することができると、続いてカメラ6によって撮影された第2の撮影画像に基づいて参加者D,E,Fのそれぞれを表した第2参加者画像を生成し、第2参加者画像と識別情報とを含む第2参加者情報D2をサーバー3へ送信する(ステップS26)。このとき、第2参加者情報生成部42は、例えば、第2の撮影画像G20から抽出した参加者D,E,Fそれぞれの顔画像G21,G22,G23を、第2参加者画像として使用する。また、第2参加者情報生成部42は、参加者D,E,Fのそれぞれを表した第2参加者画像をサーバー3へ送信するとき、参加者D,E,Fのそれぞれの名前を付加して送信する。これにより、サーバー3は、情報処理装置2cから受信する第2参加者画像と参加者の名前とを対応付けることができる。
【0129】
サーバー3は、情報処理装置2cから参加者D,E,Fのそれぞれに対応する第2参加者画像を取得すると、それらの第2参加者画像を、参加者A,B,Cに関する第1参加者画像と共に参加者表示領域R3に配置することによって会議用画面を更新し、その更新した会議用画面を情報処理装置2a,2b,2cへ送信する(ステップS27)。情報処理装置2a,2bは、サーバー3から更新された会議用画面を取得すると、その会議用画面を表示部24に表示させる(ステップS28)。また、情報処理装置2cも、サーバー3から会議用画面を取得すると、その会議用画面を表示部24に表示させる(ステップS29)。これにより、拠点Pcとは異なる拠点Pa,Pbでリモート会議に参加している参加者A,Bは、リモート会議に参加者D,E,Fが参加したことを把握することができるようになる。
【0130】
図9は、第2の参加者が追加表示された会議用画面G2の一例を示す図である。この会議用画面G2の参加者表示領域R3には、リモート会議に直接参加する参加者A,B,Cのそれぞれを表した第1参加者画像61と、リモート会議に間接的に参加する参加者D,E,Fのそれぞれを表した第2参加者画像62とが表示されている。サーバー3の表示制御部17は、情報処理装置2cから取得する第2参加者画像を参加者表示領域R3に配置する際、参加者D,E,Fの名前を付加する。その結果、各情報処理装置2a,2b,2cにおいて表示される会議用画面G1の参加者表示領域R3には、参加者D,E,Fに対応する画像と共に、参加者D,E,Fの名前が表示される。したがって、拠点Pcとは異なる拠点Pa,Pbでリモート会議に参加している参加者A,Bは、参加者D,E,Fもリモート会議に参加したことを把握することができる。
【0131】
このように本実施形態の会議システム1は、リモート会議に間接的に参加する参加者D,E,Fのそれぞれに対応する画像を、情報処理装置2を使用してリモート会議に直接参加する参加者A,B,Cの画像と同様に会議用画面に取り込んで各拠点Pa,Pb,Pcの情報処理装置2に表示させることが可能である。それ故、拠点Pcの会議室とは異なる拠点Pa,Pbでリモート会議に直接参加する参加者A,Bは、他の拠点Pcでリモート会議に直接参加する参加者Cだけでなく、参加者D,E,Fもリモート会議に参加していることを把握できるため、参加者全員でリモート会議を円滑に行うことができるようになる。
【0132】
次に、図10は、本実施形態における会議システム1の動作を示す第3のフローチャートである。第3のフローチャートでは、拠点Pcの会議室においてリモート会議に間接的に参加している参加者D,E,Fを発言者として検知する流れを示している。例えば、サーバー3は、情報処理装置2aから音声情報を取得すると、音声情報の入力元が情報処理装置2aであることから参加者Aが発言者であることを特定することが可能であり、また、情報処理装置2bから音声情報を取得すると、音声情報の入力元が情報処理装置2bであることから参加者Bが発言者であることを特定することが可能である。これに対し、情報処理装置2cから音声情報を取得した場合、サーバー3は、音声情報の入力元が情報処理装置2cであることを検出しても参加者C,D,E,Fのうちのいずれが発言者であるかを正確に特定することができない。そのため、本実施形態の会議システム1は、図10に示す第3のフローチャートに基づく処理を行うことで、サーバー3が発言者を特定できるようにしている。尚、図10に示す第3のフローチャートでは、カメラ6で得られる第2の撮影画像を解析することによって発言者を検知するため、カメラ6の撮影機能がオンであることが前提である。
【0133】
第2のフローチャートまでの流れで参加者A,B,C,D,E,Fが参加してリモート会議が開始されると、情報処理装置2cは、連携アプリケーション40の画像解析部43を機能させる。画像解析部43は、連携アプリケーション40の起動時に、発言者検知部44を動作させ、動画像として逐次生成される第2参加者画像に対する画像解析を継続的に行う(ステップS30)。すなわち、参加者D,E,Fがリモート会議に参加することに伴い、発言者検知部44は、第2参加者画像に基づいて参加者D,E,Fの口元の動きを解析する処理を継続的に行い、発言者であるか否かを常時判別する。その結果、発言者検知部44によって発言者が検知されると、情報処理装置2cは、サーバー3に対して発言者を検知したことを通知する(ステップS31)。このとき、情報処理装置2cは、参加者D,E,Fのうちのいずれが発言者であるかを識別可能な識別情報を付加して通知する。
【0134】
また、情報処理装置2cは、発言者検知部44によって発言者が検知されると、音声取得部46の音声切替部47を機能させる。そして音声切替部47は、複数のマイク8d,8e,8fのうち、発言者検知部44によって発言者であると検知された第2の参加者の近傍に設置されているマイクの電源をオンにし、他のマイクの電源をオフに切り替える(ステップS32)。このとき、情報処理装置2cは、装置本体のマイク22の電源もオフに切り替えるようにしても良い。
【0135】
サーバー3は、情報処理装置2cから音声情報を取得しているときに、情報処理装置2cから参加者D,E,Fのいずれかが発言者であることが通知されると、その通知に基づいて発言者を特定する。そしてサーバー3は、会議用画面提供部12の表示制御部17を機能させ、会議用画面を更新する(ステップS33)。すなわち、表示制御部17は、第2の参加者の中から発言者が検知された場合、発言者として検知された第2の参加者に対応する第2参加者画像62を参加者表示領域R3において強調表示させるのである。
【0136】
図11は、発言者が強調表示された会議用画面G2の一例を示す図である。図11では、参加者Dが発言者として検知された場合を例示している。例えば、情報処理装置2cから参加者Dが発言者であることが通知されると、サーバー3は、図11に示すように、参加者表示領域R3に表示されている参加者Dに対応する第2参加者画像62を強調表示する。図例では、参加者Dに対応する第2参加者画像62の周縁部に所定色及び所定太さの画像枠65を表示することにより、参加者Dに対応する第2参加者画像62を強調表示している。ただし、強調表示の態様はこれに限られるものではない。このようにサーバー3は、情報処理装置2cから音声情報を取得した場合には、情報処理装置2cからの通知によって参加者D,E,Fのいずれが発言者であるかを特定し、発言者である第2の参加者に対応する第2参加者画像62を強調表示する。
【0137】
尚、拠点Pcの会議室において参加者Cが発言した場合には、発言者検知部44は、参加者D,E,Fのうちから発言者を検知しない。この場合、情報処理装置2cからサーバー3に対して発言者を検知したことが通知されない。そのため、サーバー3は、情報処理装置2cから音声情報を取得した場合において情報処理装置2cから発言者を検知した通知を受信しないときには、発言者が参加者Bであることを特定することができる。したがって、この場合、サーバー3は、参加者Cに対応する第1参加者画像61を強調表示させた状態に会議用画面を更新する。
【0138】
サーバー3は、情報処理装置2cからの通知に基づいて会議用画面G2を更新すると、その更新した会議用画面G2を情報処理装置2a,2b,2cへ送信する。そして情報処理装置2a,2bは、サーバー3から更新された会議用画面G2を取得すると、その会議用画面を表示部24に表示させる(ステップS34)。また、情報処理装置2cも、サーバー3から会議用画面G2を取得すると、その会議用画面G2を表示部24に表示させる(ステップS35)。これにより、拠点Pcとは異なる拠点Pa,Pbでリモート会議に参加している参加者A,Bは、リモート会議に間接的に参加している参加者Dが発言していることを把握することができる。
【0139】
次に、図12は、本実施形態における会議システム1の動作を示す第4のフローチャートである。第4のフローチャートでは、拠点Pcの会議室においてリモート会議に間接的に参加している参加者D,E,Fの挙手ジェスチャを検知する流れを示している。例えば、自身の情報処理装置2a,2b,2cを使用してリモート会議に直接参加している参加者A,B,Cは、発言を行おうとするとき、アイコン表示領域R2に表示されているアイコン54を操作することによって他の参加者に挙手ジェスチャを示すことができる。すなわち、サーバー3は、情報処理装置2a,2b,2cのいずれかにおいてアイコン54が操作されたことを検知すると、参加者A,B,Cのいずれが挙手ジェスチャを示したかを特定することができる。これに対し、リモート会議に間接的に参加している参加者D,E,Fは、そのようなアイコン操作を行うことができない。そのため、本実施形態の会議システム1は、図12に示す第4のフローチャートに基づく処理を行うことで、サーバー3が参加者D,E,Fの挙手ジェスチャを検出できるようにしている。この第4のフローチャートも、カメラ6の撮影機能がオンであることが前提の処理となっている。
【0140】
第2のフローチャートまでの流れで参加者A,B,C,D,E,Fが参加してリモート会議が開始されると、情報処理装置2cは、連携アプリケーション40の画像解析部43を機能させる。画像解析部43は、連携アプリケーション40の起動時に、ジェスチャ検知部45を動作させ、動画像として逐次生成される第2参加者画像に対する画像解析を継続的に行う(ステップS40)。すなわち、参加者D,E,Fがリモート会議に参加することに伴い、ジェスチャ検知部45は、第2参加者画像に基づいて参加者D,E,Fの顔画像の周辺における手の動きを解析する処理を継続的に行い、挙手ジェスチャが行われたか否かを常時判別する。その結果、ジェスチャ検知部45によって挙手ジェスチャが検知されると、情報処理装置2cは、サーバー3に対して挙手ジェスチャを検知したことを通知する(ステップS41)。このとき、情報処理装置2cは、参加者D,E,Fのうちのいずれが挙手ジェスチャを行ったかを識別可能な識別情報を付加して通知する。
【0141】
サーバー3は、情報処理装置2cから参加者D,E,Fのいずれかによって挙手ジェスチャが行われたことが通知されると、その通知に基づいて挙手ジェスチャを行った参加者を特定する。そしてサーバー3は、会議用画面提供部12の表示制御部17を機能させ、会議用画面を更新する(ステップS42)。すなわち、表示制御部17は、挙手ジェスチャが検知された第2の参加者に対応する第2参加者画像62を参加者表示領域R3において強調表示させるのである。
【0142】
図13は、挙手ジェスチャを行った第2の参加者が強調表示された会議用画面G2の一例を示す図である。図13では、参加者Dによる挙手ジェスチャが検知された場合を例示している。例えば、情報処理装置2cから参加者Dによる挙手ジェスチャが検知されたことが通知されると、サーバー3は、図13に示すように、参加者表示領域R3に表示されている参加者Dに対応する第2参加者画像62を強調表示する。図例では、参加者Dに対応する第2参加者画像62に対し、挙手アイコン66を付加して表示することにより、参加者Dに対応する第2参加者画像62を強調表示している。ただし、強調表示の態様はこれに限られるものではない。このようにサーバー3は、リモート会議の進行中、情報処理装置2cからの通知によって参加者D,E,Fのいずれが挙手ジェスチャを行ったかを特定し、挙手ジェスチャを行った第2の参加者に対応する第2参加者画像62を強調表示する。
【0143】
サーバー3は、情報処理装置2cからの通知に基づいて会議用画面G2を更新すると、その更新した会議用画面G2を情報処理装置2a,2b,2cへ送信する。そして情報処理装置2a,2bは、サーバー3から更新された会議用画面G2を取得すると、その会議用画面を表示部24に表示させる(ステップS43)。また、情報処理装置2cも、サーバー3から会議用画面G2を取得すると、その会議用画面G2を表示部24に表示させる(ステップS44)。これにより、拠点Pcとは異なる拠点Pa,Pbでリモート会議に参加している参加者A,Bは、リモート会議に間接的に参加している参加者Dが挙手ジェスチャを行っていることを把握することができる。
【0144】
以上のように本実施形態の会議システム1は、複数の情報処理装置2a,2b,2cをサーバー3に接続してリモート会議を行う際、複数の情報処理装置2a,2b,2cのそれぞれを使用してリモート会議に直接参加する参加者A,B,Cに関する第1参加者情報D1を生成し、それら第1参加者情報D1を会議用画面の参加者表示領域R3に配置して各情報処理装置2a,2b,2cに表示させることができる。また、この会議システム1は、情報処理装置2を使用してリモート会議に直接参加する参加者Cと共にリモート会議に間接的に参加する参加者D,E,Fが存在する場合、それら参加者D,E,Fに関する第2参加者情報D2を生成し、それら第2参加者情報D2を第1参加者情報D1と同様に、会議用画面の参加者表示領域R3に配置して各情報処理装置2a,2b,2cへ表示させることができる。
【0145】
したがって、本実施形態の会議システム1は、情報処理装置2a,2b,2cを使用してリモート会議に直接参加する参加者A,B,Cだけでなく、情報処理装置2を使用することなくリモート会議に間接的に参加する参加者D,E,Fについても会議用画面において参加者として表示することが可能であり、それぞれ異なる拠点でリモート会議に参加する各参加者が他の参加者の全てを認識することができ、リモート会議を円滑に進めることができるようになる。つまり、本実施形態の会議システム1は、情報処理装置2a,2b,2cを使用していない参加者D,E,Fをサーバー3のリモート会議プラットフォームに取り込むことが可能であり、情報処理装置2a,2b,2cを使用してリモート会議に参加する参加者A,B,Cと、情報処理装置2a,2b,2cを使用することなくリモート会議に間接的に参加する参加者D,E,Fとを同様に取り扱うことができる構成となっている。
【0146】
また、本実施形態の会議システム1は、リモート会議に間接的に参加している参加者D,E,Fが発言すると、参加者D,E,Fのうちのいずれが発言者であるかを自動検知し、発言者として検知された第2の参加者に対応する第2参加者画像を強調表示するようにしている。そのため、リモート会議に間接的に参加している参加者D,E、Fが発言した場合であっても、リモート会議に直接参加している参加者A,B,Cは会議用画面を確認することで誰が発言しているかを把握することが可能である。
【0147】
本実施形態の会議システム1は、リモート会議に間接的に参加している参加者D,E,Fが挙手ジェスチャを行った場合、参加者D,E,Fのうちのいずれが挙手ジェスチャを行ったかを自動検知し、挙手ジェスチャを行った第2の参加者に対応する第2参加者画像を強調表示するようにしている。そのため、リモート会議に間接的に参加している参加者D,E、Fが挙手ジェスチャを行えば、リモート会議に直接参加している参加者A,B,Cは、会議用画面を視認することによって誰が発言しようとしているかを把握することが可能である。
【0148】
ところで、上記においては、情報処理装置2cに接続されているカメラ6の撮影機能がオンである場合、情報処理装置2cがカメラ6から第2の撮影画像を取得し、情報処理装置2cにおいてリモート会議に間接的に参加する参加者D,E,Fのそれぞれに対応する第2参加者情報D2を生成する例を説明した。しかし、第2参加者情報D2を生成する処理は、サーバー3で行うことも可能である。すなわち、情報処理装置2cのカメラ制御部41は、カメラ6が撮影した第2の撮影画像をそのままサーバー3に送信し、サーバー3が第2の撮影画像に基づき、参加者D,E,Fのそれぞれに対応する第2参加者情報D2を生成するのである。この場合、上述した第2参加者情報生成部42は、サーバー3に搭載されることになる。
【0149】
図14は、サーバー3において参加者D,E,Fの第2参加者情報D2を生成するフローチャートである。すなわち、この図14に示すフローチャートは、図7に示した第2のフローチャートに代わるフローチャートであり、例えば、参加者A,B,Cがサーバー3にログインしている状態でリモート会議に間接的に参加する参加者D,E,Fを参加者として追加表示する流れを示している。
【0150】
まず、拠点Pcの会議室でリモート会議に直接参加する参加者Cは、自身の情報処理装置2cを操作することによって連携アプリケーション40を起動する(ステップS50)。すると、連携アプリケーション40は、機器接続部26に接続されているカメラ6を起動し(ステップS51)、更にマイク8d,8e,8fを起動する(ステップS52)。そして連携アプリケーション40は、カメラ制御部41を機能させ、カメラ6による画像撮影を開始する(ステップS53)。これにより、情報処理装置2cは、リモート会議に間接的に参加しようとしている参加者D,E,Fを撮影した第2の撮影画像を取得する。そして連携アプリケーション40は、カメラ6から得られる第2の撮影画像をサーバー3に送信する。
【0151】
サーバー3は、情報処理装置2cから第2の撮影画像を取得すると、その第2の撮影画像に対して顔検出処理を行い、第2の撮影画像から参加者D,E,Fの顔画像を抽出する(ステップS54)。そしてサーバー3は、特定部14を機能させ、データベース4を検索して第2の参加者を特定するための参加者特定処理を実行する(ステップS55)。この参加者特定処理により、第2の撮影画像に写っている参加者D,E,Fのそれぞれを特定することができる。そして特定部14によって第2の参加者が特定されると、サーバー3は、第2参加者情報生成部42を機能させ、情報処理装置2cから得られる第2の撮影画像に基づき、参加者D,E,Fのそれぞれに対応する第2参加者情報D2を生成する(ステップS56)。このとき、第2参加者情報生成部42は、例えば、第2の撮影画像G20から抽出した参加者D,E,Fそれぞれの顔画像を、第2参加者画像として使用する。また、第2参加者情報生成部42は、参加者D,E,Fのそれぞれの顔画像に、参加者D,E,Fのそれぞれの名前を付加する。
【0152】
続いて、サーバー3は、会議用画面提供部12の表示制御部17を機能させ、参加者D,E,Fの第2参加者画像62を、参加者A,B,Cの第1参加者画像61と共に、参加者表示領域R3に配置することによって会議用画面を更新し、その更新した会議用画面を情報処理装置2a,2b,2cへ送信する(ステップS57)。情報処理装置2a,2bは、サーバー3から更新された会議用画面を取得すると、その会議用画面を表示部24に表示させる(ステップS58)。また、情報処理装置2cも、サーバー3から会議用画面を取得すると、その会議用画面を表示部24に表示させる(ステップS59)。このとき、各情報処理装置2a,2b,2cにおいて表示される会議用画面は、図9に示したものと同様である。したがって、拠点Pcとは異なる拠点Pa,Pbでリモート会議に参加している参加者A,Bは、リモート会議に参加者D,E,Fが参加したことを把握することができるようになる。
【0153】
また、上記においては、主として、情報処理装置2cにおいて参加者D,E,Fによる発言や挙手ジェスチャを検知する場合を例示した。しかし、上述した発言者検知部44やジェスチャ検知部45を含む画像解析部43の機能は、サーバー3に搭載することも可能である。この場合、情報処理装置2cのカメラ制御部41は、カメラ6で撮影した第2の撮影画像をそのままサーバー3に送信する。そしてサーバー3は、情報処理装置2から取得する第2の撮影画像に対して画像解析を行う。すなわち、サーバー3は、発言者検知部44やジェスチャ検知部45による画像解析を行い、リモート会議に間接的に参加する参加者D,E,Fのいずれかが発言しているか否か、或いは、挙手ジェスチャを行っているか否かを検知する。
【0154】
図15は、サーバー3において参加者D,E,Fのうちから発言者を検知するフローチャートである。すなわち、この図15に示すフローチャートは、図10に示した第3のフローチャートに代わるフローチャートであり、サーバー3において参加者D,E,Fのうちのいずれかを発言者として検知する流れを示している。
【0155】
情報処理装置2cは、カメラ6を起動して画像撮影を開始すると、参加者D,E,Fを撮影した第2の撮影画像をサーバー3へ送信する(ステップS60)。サーバー3は、情報処理装置2cから第2の撮影画像を取得すると、画像解析部43の発言者検知部44を機能させ、情報処理装置2cから逐次取得する第2の撮影画像に対する画像解析を開始する(ステップS61)。すなわち、サーバー3は、参加者D,E,Fがリモート会議に参加することに伴い、第2の撮影画像に基づいて参加者D,E,Fの口元の動きを解析する処理を継続的に行い、発言者であるか否かを常時判別する。その結果、発言者を検知すると、サーバー3は、情報処理装置2cに対して発言者を検知したことを通知する(ステップS62)。このとき、サーバー3は、情報処理装置2cに対し、参加者D,E,Fのうちのいずれが発言者であるかを識別可能な識別情報を付加して通知する。
【0156】
情報処理装置2cは、サーバー3から発言者が通知されると、音声取得部46の音声切替部47を機能させる。そして音声切替部47は、複数のマイク8d,8e,8fのうち、サーバー3において発言者であると検知された第2の参加者の近傍に設置されているマイクの電源をオンにし、他のマイクの電源をオフに切り替える(ステップS63)。このとき、情報処理装置2cは、装置本体のマイク22の電源もオフに切り替えるようにしても良い。
【0157】
また、サーバー3は、参加者D,E,Fのいずれかが発言者であることを検知すると、会議用画面提供部12の表示制御部17を機能させ、会議用画面を更新する(ステップS64)。すなわち、表示制御部17は、第2の参加者の中から発言者が検知された場合、発言者として検知された第2の参加者に対応する第2参加者画像を参加者表示領域R3において強調表示させる。そしてサーバー3は、更新した会議用画面G2を各情報処理装置2a,2b,2cへ送信する。情報処理装置2a,2bは、サーバー3から更新された会議用画面G2を取得すると、その会議用画面を表示部24に表示させる(ステップS65)。また、情報処理装置2cも、サーバー3から会議用画面G2を取得すると、その会議用画面G2を表示部24に表示させる(ステップS66)。これにより、拠点Pcとは異なる拠点Pa,Pbでリモート会議に参加している参加者A,Bは、リモート会議に間接的に参加している参加者D,E,Fのうちのいずれが発言しているかを把握することができる。
【0158】
次に図16は、サーバー3において参加者D,E,Fのいずれかが挙手ジェスチャを行ったことを検知するフローチャートである。すなわち、この図16に示すフローチャートは、図12に示した第4のフローチャートに代わるフローチャートであり、サーバー3において参加者D,E,Fのうちのいずれかが挙手ジェスチャを行ったことを検知する流れを示している。
【0159】
情報処理装置2cは、カメラ6を起動して画像撮影を開始すると、参加者D,E,Fを撮影した第2の撮影画像をサーバー3へ送信する(ステップS70)。サーバー3は、情報処理装置2cから第2の撮影画像を取得すると、画像解析部43の発言者検知部44を機能させ、情報処理装置2cから逐次取得する第2の撮影画像に対する画像解析を開始する(ステップS71)。すなわち、サーバー3は、参加者D,E,Fがリモート会議に参加することに伴い、第2の撮影画像に基づいて参加者D,E,Fの顔画像の周辺における手の動きを解析する処理を継続的に行い、挙手ジェスチャが行われたか否かを常時判別する。その結果、挙手ジェスチャを検知すると、サーバー3は、挙手ジェスチャを行った参加者を特定する(ステップS72)。そしてサーバー3は、会議用画面提供部12の表示制御部17を機能させ、会議用画面を更新する(ステップS73)。すなわち、表示制御部17は、挙手ジェスチャが検知された第2の参加者に対応する第2参加者画像を参加者表示領域R3において強調表示させる。そしてサーバー3は、更新した会議用画面G2を各情報処理装置2a,2b,2cへ送信する。情報処理装置2a,2bは、サーバー3から更新された会議用画面G2を取得すると、その会議用画面を表示部24に表示させる(ステップS74)。また、情報処理装置2cも、サーバー3から会議用画面G2を取得すると、その会議用画面G2を表示部24に表示させる(ステップS75)。これにより、拠点Pcとは異なる拠点Pa,Pbでリモート会議に参加している参加者A,Bは、リモート会議に間接的に参加している参加者D,E,Fのいずれかが挙手ジェスチャを行っていることを把握することができる。
【0160】
このように本実施形態の会議システム1は、サーバー3において、発言者や挙手ジェスチャを検知する構成を採用しても良い。
【0161】
(変形例)
以上、本発明の好ましい実施形態について説明したが、本発明は、上述した各実施形態に限定されるものではなく、種々の変形例を適用することができる。
【0162】
例えば、上記実施形態では、点Pcの会議室に設置されるカメラ6が情報処理装置2cに接続されており、サーバー3は、情報処理装置2cを介してカメラ6で撮影された画像を取得する形態を説明した。しかし、カメラ6は、例えば会議室に設置されるネットワーク接続機器に接続され、ネットワーク5を介してサーバー3に対して撮影画像を直接送信するものであっても構わない。この場合、上述したカメラ制御部41は、サーバー3に搭載される。そしてサーバー3は、ネットワーク5を介してカメラ6を直接制御することにより、参加者D,E,Fを撮影した第2の撮影画像を取得することができる。
【0163】
また、拠点Pcの会議室に設置される複数のマイク8d,8e,8fもネットワーク5を介してサーバー3に直接接続されるものであっても構わない。この場合、上述した音声取得部46は、サーバー3に搭載される。
【0164】
更に、拠点Pcの会議室に設置される表示装置9もネットワーク5を介してサーバー3に直接接続されるものであっても構わない。この場合、サーバー3の会議用画面提供部12は、ネットワーク5を介して表示装置9に会議用画面を直接送信することで会議室に設置されているスクリーン7に会議用画面を表示させることができる。
【0165】
また、上記実施形態では、カメラ21及びカメラ6の撮影機能がオンである場合、第1の撮影画像及び第2の撮影画像のそれぞれから抽出した参加者A,B,C,D,E,Fの顔画像に対して名前を付して会議用画面の参加者表示領域R3に表示させる例を説明した。しかし、各参加者A,B,C,D,E,Fの顔画像が表示されるのであれば、各参加者の名前を付して表示することは必須ではない。なぜなら、名前が表示されていなくても、各参加者は、会議用画面において表示される顔画像を視認することにより、他の参加者を把握することができるからである。
【0166】
その一方、カメラ21又はカメラ6の撮影機能がオフであり、各参加者の顔画像が参加者表示領域R3に表示されないのであれば、上述したように第1参加者画像61及び第2参加者画像62のそれぞれに各参加者の名前を付して表示することが好ましい。すなわち、第1参加者画像61や第2参加者画像62は、単に人物像を形取ったシルエット画像などである場合があり、そのような画像だけでは参加者を把握することが困難であることから、名前を付して表示することが好ましい。尚、カメラ21又はカメラ6の撮影機能がオフである場合、第1参加者画像61や第2参加者画像62を参加者表示領域R3には表示せず、各参加者の名前だけを参加者表示領域R3に表示する態様であっても構わない。
【0167】
また、上記実施形態では、一例として、はじめに第1参加者画像を参加者表示領域R3に表示した会議用画面を作成し、その後に、第2参加者画像を参加者表示領域R3に表示した会議用画面を作成する例を説明した。しかし、第1参加者画像及び第2参加者画像を含む会議用画面を作成する際には、必ずしも上述した2段階の処理を行う必要はない。例えば、情報処理装置2cが参加者Cに関する第1参加者情報D1と参加者D,E,Fに関する第2参加者情報D2とを同時にサーバー3へ送信した場合、サーバー3は、第1の参加者と第2の参加者との双方を含む会議用画面を作成し、その会議用画面を情報処理装置2a,2b,2cへ送信する。これにより、情報処理装置2cは、1段階の処理で第1の参加者と第2の参加者との双方を含む会議用画面を表示することができる。
【0168】
また、上記実施形態では、第1の参加者が発言した場合と第2の参加者が発言した場合とで異なる処理を行う場合を例示した。しかし、これに限られるものではなく、第1の参加者が発言した場合と第2の参加者が発言した場合とで共通の処理を行うように構成することも可能である。例えば、情報処理装置2a,2b,2cがマイク22によって第1の参加者による発言を検知した場合、情報処理装置2a,2b,2cは、第1の参加者が発言したことを示す情報を第1参加者情報D1に付加してサーバー3へ送信する。サーバー3は、その第1参加者情報D1に含まれる情報に基づき、第1の参加者が発言したことを検知できる。その結果、サーバー3は、発言した第1の参加者に対応する第1参加者画像61を強調表示することができる。
【0169】
一方、情報処理装置2cが第2の撮影画像を解析することによって第2の参加者が発言したことを検知した場合、情報処理装置2cは、第2の参加者が発言したことを示す情報を第2参加者情報D2に付加してサーバー3へ送信する。サーバー3は、その第2参加者情報D2に含まれる情報に基づき、第2の参加者が発言したことを検知できる。その結果、サーバー3は、発言した第2の参加者に対応する第2参加者画像62を強調表示することができる。
【0170】
このように第1の参加者が発言した場合と第2の参加者が発言した場合とで共通の処理を行う構成とすれば、サーバー3は、第1の参加者と第2の参加者のいずれが発言した場合であっても共通の処理を適用して会議用画面に反映させることができるため、第1の参加者と第2の参加者に対して共通の処理プログラムを適用できるという利点がある。
【0171】
また、上記実施形態では、第1の参加者による挙手ジェスチャを行った場合と第2の参加者が挙手ジェスチャを行った場合とで異なる処理を行う場合を例示した。しかし、これに限られるものではなく、第1の参加者が挙手ジェスチャを行った場合と第2の参加者が挙手ジェスチャを行った場合とで共通の処理を行うように構成することも可能である。例えば、情報処理装置2a,2b,2cが会議用画面に対する挙手操作を検知した場合、情報処理装置2a,2b,2cは、第1の参加者が挙手ジェスチャを行ったことを示す情報を第1参加者情報D1に付加してサーバー3へ送信する。サーバー3は、その第1参加者情報D1に含まれる情報に基づき、第1の参加者が挙手ジェスチャを行った検知できる。その結果、サーバー3は、挙手ジェスチャを行った第1の参加者に対応する第1参加者画像61を強調表示することができる。
【0172】
一方、情報処理装置2cが第2の撮影画像を解析することによって第2の参加者が挙手ジェスチャを行ったことを検知した場合、情報処理装置2cは、第2の参加者が挙手ジェスチャを行ったことを示す情報を第2参加者情報D2に付加してサーバー3へ送信する。サーバー3は、その第2参加者情報D2に含まれる情報に基づき、第2の参加者が挙手ジェスチャを行ったことを検知できる。その結果、サーバー3は、挙手ジェスチャを行った第2の参加者に対応する第2参加者画像62を強調表示することができる。
【0173】
このように第2の参加者が挙手ジェスチャを行った場合と第2の参加者が挙手ジェスチャを行った場合とで共通の処理を行う構成とすれば、サーバー3は、第1の参加者と第2の参加者のいずれが挙手ジェスチャを行った場合であっても共通の処理を適用して会議用画面に反映させることができるため、第1の参加者と第2の参加者に対して共通の処理プログラムを適用できるという利点がある。
【0174】
また、上記実施形態では、第2の撮影画像に含まれる参加者D,E,Fの顔画像を判定することにより、発言者を検知する例を説明した。しかし、発言者を検知する手法は、必ずしも画像解析によるものに限られない。例えば、複数のマイク8d,8e,8fのうちのいずれか1つにおいて所定レベル以上の音声入力を検知した場合、その1つのマイクの近傍に位置する参加者を発言者として特定するものであっても構わない。
【0175】
また、上記実施形態では、リモート会議に間接的に参加する参加者D,E,Fのそれぞれに割り当てられる複数のマイク8d,8e,8fを備える会議システム1を例示した。しかし、それら複数のマイク8d,8e,8fは、本実施形態の会議システム1にとって必須のものではない。
【符号の説明】
【0176】
1 会議システム
2(2a,2b,2c) 情報処理装置
3 サーバー
4 データベース
5 ネットワーク
6 カメラ(第2の撮影手段)
8a,8b,8c マイク(音声入力手段)
12 会議用画面提供部
13 音声処理部
14 特定部(特定手段)
15 第1参加者情報取得部(第1参加者情報取得手段)
16 第2参加者情報取得部(第2参加者情報取得手段)
17 表示制御部(表示制御手段)
21 カメラ(第1の撮影手段)
24 表示部(表示手段)
30 ブラウザ
31 カメラ制御部(第1撮影制御手段)
41 カメラ制御部(第2撮影制御手段)
32 第1参加者画像生成部(第1参加者画像生成手段)
42 第2参加者画像生成部(第2参加者画像生成手段)
43 画像解析部
44 発言者検知部(発言者検知手段)
45 ジェスチャ検知部(ジェスチャ検知手段)
46 音声取得部
47 音声切替部(音声切替手段)
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16