特開 2024-120350 データ処理装置、データ処理方法及びデータ処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024120350

(43)【公開日】2024-09-05

(54)【発明の名称】データ処理装置、データ処理方法及びデータ処理システム

(51)【国際特許分類】

   H04N 7/15 20060101AFI20240829BHJP

   H04N 21/2343 20110101ALI20240829BHJP

   H04N 21/233 20110101ALI20240829BHJP

【ＦＩ】

H04N7/15

H04N21/2343

H04N21/233

【審査請求】有

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023027087

(22)【出願日】2023-02-24

(71)【出願人】

【識別番号】523066772

【氏名又は名称】ＫＤＤＩアジャイル開発センター株式会社

(74)【代理人】

【識別番号】110004222

【氏名又は名称】弁理士法人創光国際特許事務所

(74)【代理人】

【識別番号】100166006

【弁理士】

【氏名又は名称】泉 通博

(74)【代理人】

【識別番号】100154070

【弁理士】

【氏名又は名称】久恒 京範

(74)【代理人】

【識別番号】100153280

【弁理士】

【氏名又は名称】寺川 賢祐

(72)【発明者】

【氏名】南 翔太郎

(72)【発明者】

【氏名】本田 悠真

(72)【発明者】

【氏名】浅川 善則

【テーマコード（参考）】

5C164

【Ｆターム（参考）】

5C164FA10

5C164GA07

5C164PA31

5C164PA41

5C164SB02P

5C164SB04P

5C164VA13P

(57)【要約】

【課題】リモート会議の臨場感を向上させる。
【解決手段】データ処理装置１は、第１拠点においてリモート会議に参加する一以上の第１参加者を撮像した第１画像データと、一以上の第１参加者の第１音声データと、複数の第２拠点からリモート会議に参加する複数のリモート参加者に対応する複数のリモート画像データと、各リモート参加者のリモート音声データと、を取得する。また、データ処理装置１は、複数のリモート画像データを合成した第１合成画像データと、第１合成画像データにおける複数のリモート参加者それぞれの位置に基づいて複数のリモート音声データを処理した処理済音声データとを生成する。そして、データ処理装置１は、第１拠点の一以上の電子機器に第１合成画像データと処理済音声データとを送信するとともに、第１画像データと第１音声データとを複数の第２拠点の複数の情報端末に送信する。
【選択図】図４

【特許請求の範囲】

【請求項1】

３以上の拠点間でリモート会議を行うシステムにおけるデータ処理装置であって、第１拠点においては一以上の電子機器を介して前記リモート会議の画像が表示され、
前記第１拠点において前記リモート会議に参加する一以上の第１参加者を撮像することにより生成された第１画像データと、前記一以上の第１参加者の第１音声データと、前記第１拠点と異なる複数の第２拠点から前記リモート会議に参加する複数のリモート参加者に対応する複数のリモート画像データと、前記複数のリモート参加者の複数のリモート音声データと、を取得する取得部と、
前記複数のリモート画像データを合成することにより第１合成画像データを生成する画像データ生成部と、
前記第１合成画像データにおける前記複数のリモート参加者それぞれの位置に基づいて複数の前記リモート音声データを処理することにより処理済音声データを生成する音声データ生成部と、
前記第１拠点において前記リモート会議に参加する前記一以上の第１参加者が前記リモート会議の視聴のために使用する一以上の電子機器に前記第１合成画像データと前記処理済音声データとを送信するとともに、前記第１画像データと前記第１音声データとを前記複数のリモート参加者が使用する複数の情報端末に送信するデータ送信部と、
を有するデータ処理装置。

【請求項2】

前記画像データ生成部は、前記複数のリモート画像データのうち１つのリモート画像データを除く一以上のリモート画像データと前記第１画像データとを合成することにより第２合成画像データを生成し、
前記データ送信部は、前記１つのリモート画像データに対応する前記リモート参加者が使用する前記情報端末に、当該リモート参加者に対応する前記１つのリモート画像データを含まない前記第２合成画像データを送信する、
請求項１に記載のデータ処理装置。

【請求項3】

前記画像データ生成部は、前記第１画像データにおいて前記第１参加者が含まれていない位置に前記複数のリモート画像データを合成することにより前記第２合成画像データを生成する、
請求項２に記載のデータ処理装置。

【請求項4】

前記画像データ生成部は、前記第１画像データと異なる領域に前記少なくとも一部のリモート画像データを合成することにより前記第２合成画像データを生成する、
請求項２に記載のデータ処理装置。

【請求項5】

前記画像データ生成部は、机の画像データの周囲の所定の範囲内の領域に前記少なくとも一部のリモート画像データを合成することにより前記第２合成画像データを生成する、
請求項４に記載のデータ処理装置。

【請求項6】

前記データ送信部は、前記第１参加者が前記リモート会議の視聴のために使用する一以上の電子機器に前記第１画像データを送信し、
前記画像データ生成部は、当該一以上の電子機器を介して取得した前記第１画像データに基づいて前記第１拠点に設置された表示装置が表示した前記第１画像データにおいて指定された位置に複数のリモート画像のデータそれぞれの少なくとも一部を合成することにより前記第２合成画像データを生成する、
請求項２に記載のデータ処理装置。

【請求項7】

前記音声データ生成部は、前記第１合成画像データにおける前記リモート画像データの位置に基づいて、前記第１拠点の第１位置に設置された第１位置スピーカに出力するための第１位置音声データと、前記第１拠点の第２位置に設置された第２位置スピーカに出力するための第２位置音声データと、を含む、前記リモート画像データに対応する前記リモート参加者の音声に対応する前記処理済音声データを生成する、
請求項１に記載のデータ処理装置。

【請求項8】

前記リモート会議の属性の設定を受け付ける設定受付部をさらに有し、
前記取得部は、前記複数のリモート参加者それぞれの撮像画像データ及びアバター画像データを取得し、
前記画像データ生成部は、前記リモート会議の属性に基づいて、前記リモート画像データとして前記撮像画像データを用いるか前記アバター画像データを用いるかを決定する、
請求項１に記載のデータ処理装置。

【請求項9】

コンピュータが実行する、
第１拠点と前記第１拠点とは異なる複数の第２拠点との間のリモート会議に第１拠点において参加する一以上の第１参加者を撮像することにより生成された第１画像データと、前記一以上の第１参加者の第１音声データと、前記複数の第２拠点から前記リモート会議に参加する複数のリモート参加者に対応する複数のリモート画像データと、前記複数のリモート参加者の複数のリモート音声データと、を取得するステップと、
前記複数のリモート画像データを合成することにより第１合成画像データを生成するステップと、
前記第１合成画像データにおける前記複数のリモート参加者それぞれの位置に基づいて複数の前記リモート音声データを処理することにより処理済音声データを生成するステップと、
前記第１拠点において前記リモート会議に参加する前記第１参加者が前記リモート会議の視聴のために使用する一以上の電子機器に前記第１合成画像データと前記処理済音声データとを送信するとともに、前記第１画像データと前記第１音声データとを前記複数のリモート参加者が使用する複数の情報端末に送信するステップと、
を有するデータ処理方法。

【請求項10】

第１拠点に設置された電子機器と、
前記第１拠点と異なる複数の第２拠点に設置された複数の情報端末と、
前記第１拠点と前記複数の第２拠点とのリモート会議に前記第１拠点において参加する一以上の第１参加者を撮像することにより生成された第１画像データと、前記一以上の第１参加者の第１音声データと、前記複数の第２拠点から前記リモート会議に参加する複数のリモート参加者に対応する複数のリモート画像データと、前記複数のリモート参加者の複数のリモート音声データと、を取得する取得部と、
前記複数のリモート画像データを合成することにより第１合成画像データを生成する画像データ生成部と、前記第１合成画像データにおける前記複数のリモート参加者それぞれの位置に基づいて複数の前記リモート音声データを処理することにより処理済音声データを生成する音声データ生成部と、
前記第１拠点において前記リモート会議に参加する前記第１参加者が前記リモート会議の視聴のために使用する一以上の前記電子機器に前記第１合成画像データと前記処理済音声データとを送信するとともに、前記第１画像データと前記第１音声データとを前記複数のリモート参加者が使用する前記複数の情報端末に送信するデータ送信部と、
を有するデータ処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、データ処理装置、データ処理方法及びデータ処理システムに関する。

【背景技術】

【0002】

従来、離れた場所にいる複数の人が会議をするためのリモート会議システムが知られている（例えば、特許文献１を参照）。従来のリモート会議システムでは、複数の会議参加者それぞれの撮像画像を仮想の会議テーブルに配置した画像を作成することにより、臨場感を高めている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－５４１９２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来のリモート会議システムでは、複数の会議参加者それぞれの個別の撮像画像が仮想の会議テーブルに配置されていたが、複数の会議参加者が実際の会議室に集まっており、一部の会議参加者が離れた拠点から会議に参加するという場合がある。このような場合に、仮想の会議テーブルの周囲に全ての拠点で撮像された画像をそのまま配置した合成画像が各会議室で表示されると、臨場感が低下してしまう。

【0005】

本発明の目的の１つは、リモート会議の臨場感を向上させることにある。

【課題を解決するための手段】

【0006】

本発明の第１の態様のデータ処理装置は、３以上の拠点間でリモート会議を行うシステムにおけるデータ処理装置であって、第１拠点においては一以上の電子機器を介して前記リモート会議の画像が表示され、前記第１拠点において前記リモート会議に参加する一以上の第１参加者を撮像することにより生成された第１画像データと、前記一以上の第１参加者の第１音声データと、前記第１拠点と異なる複数の第２拠点から前記リモート会議に参加する複数のリモート参加者に対応する複数のリモート画像データと、前記複数のリモート参加者の複数のリモート音声データと、を取得する取得部と、前記複数のリモート画像データを合成することにより第１合成画像データを生成する画像データ生成部と、前記第１合成画像データにおける前記複数のリモート参加者それぞれの位置に基づいて複数の前記リモート音声データを処理することにより処理済音声データを生成する音声データ生成部と、前記第１拠点において前記リモート会議に参加する前記一以上の第１参加者が前記リモート会議の視聴のために使用する一以上の電子機器に前記第１合成画像データと前記処理済音声データとを送信するとともに、前記第１画像データと前記第１音声データとを前記複数のリモート参加者が使用する複数の情報端末に送信するデータ送信部と、を有する。

【0007】

前記画像データ生成部は、前記複数のリモート画像データのうち１つのリモート画像データを除く一以上のリモート画像データと前記第１画像データとを合成することにより第２合成画像データを生成し、前記データ送信部は、前記１つのリモート画像データに対応する前記リモート参加者が使用する前記情報端末に、当該リモート参加者に対応する前記１つのリモート画像データを含まない前記第２合成画像データを送信してもよい。

【0008】

前記画像データ生成部は、前記第１画像データにおいて前記第１参加者が含まれていない位置に前記複数のリモート画像データを合成することにより前記第２合成画像データを生成してもよい。

【0009】

前記画像データ生成部は、前記第１画像データと異なる領域に前記少なくとも一部のリモート画像データを合成することにより前記第２合成画像データを生成してもよい。

【0010】

前記画像データ生成部は、机の画像データの周囲の所定の範囲内の領域に前記少なくとも一部のリモート画像データを合成することにより前記第２合成画像データを生成してもよい。

【0011】

前記データ送信部は、前記第１参加者が前記リモート会議の視聴のために使用する一以上の電子機器に前記第１画像データを送信し、前記画像データ生成部は、当該一以上の電子機器を介して取得した前記第１画像データに基づいて前記第１拠点に設置された表示装置が表示した前記第１画像データにおいて指定された位置に複数のリモート画像のデータそれぞれの少なくとも一部を合成することにより前記第２合成画像データを生成してもよい。

【0012】

前記音声データ生成部は、前記第１合成画像データにおける前記リモート画像データの位置に基づいて、前記第１拠点の第１位置に設置された第１位置スピーカに出力するための第１位置音声データと、前記第１拠点の第２位置に設置された第２位置スピーカに出力するための第２位置音声データと、を含む、前記リモート画像データに対応する前記リモート参加者の音声に対応する前記処理済音声データを生成してもよい。

【0013】

前記データ処理装置は、前記リモート会議の属性の設定を受け付ける設定受付部をさらに有し、前記取得部は、前記複数のリモート参加者それぞれの撮像画像データ及びアバター画像データを取得し、前記画像データ生成部は、前記リモート会議の属性に基づいて、前記リモート画像データとして前記撮像画像データを用いるか前記アバター画像データを用いるかを決定してもよい。

【0014】

本発明の第２の態様のデータ処理方法は、コンピュータが実行する、第１拠点と前記第１拠点とは異なる複数の第２拠点との間のリモート会議に第１拠点において参加する一以上の第１参加者を撮像することにより生成された第１画像データと、前記一以上の第１参加者の第１音声データと、前記複数の第２拠点から前記リモート会議に参加する複数のリモート参加者に対応する複数のリモート画像データと、前記複数のリモート参加者の複数のリモート音声データと、を取得するステップと、前記複数のリモート画像データを合成することにより第１合成画像データを生成するステップと、前記第１合成画像データにおける前記複数のリモート参加者それぞれの位置に基づいて複数の前記リモート音声データを処理することにより処理済音声データを生成するステップと、前記第１拠点において前記リモート会議に参加する前記第１参加者が前記リモート会議の視聴のために使用する一以上の電子機器に前記第１合成画像データと前記処理済音声データとを送信するとともに、前記第１画像データと前記第１音声データとを前記複数のリモート参加者が使用する複数の情報端末に送信するステップと、を有する。

【0015】

本発明の第３の態様のデータ処理システムは、第１拠点に設置された電子機器と、前記第１拠点と異なる複数の第２拠点に設置された複数の情報端末と、前記第１拠点と前記複数の第２拠点とのリモート会議に前記第１拠点において参加する一以上の第１参加者を撮像することにより生成された第１画像データと、前記一以上の第１参加者の第１音声データと、前記複数の第２拠点から前記リモート会議に参加する複数のリモート参加者に対応する複数のリモート画像データと、前記複数のリモート参加者の複数のリモート音声データと、を取得する取得部と、前記複数のリモート画像データを合成することにより第１合成画像データを生成する画像データ生成部と、前記第１合成画像データにおける前記複数のリモート参加者それぞれの位置に基づいて複数の前記リモート音声データを処理することにより処理済音声データを生成する音声データ生成部と、前記第１拠点において前記リモート会議に参加する前記第１参加者が前記リモート会議の視聴のために使用する一以上の前記電子機器に前記第１合成画像データと前記処理済音声データとを送信するとともに、前記第１画像データと前記第１音声データとを前記複数のリモート参加者が使用する前記複数の情報端末に送信するデータ送信部と、を有する。

【発明の効果】

【0016】

本発明によれば、リモート会議の臨場感を向上させることができるという効果を奏する。

【図面の簡単な説明】

【0017】

【図1】データ処理システムの概要を説明するための図である。

【図2】各拠点で表示される画像の例を模式的に示す図である。

【図3】複数の拠点間での画像及び音声のデータの流れの概要を示す図である。

【図4】データ処理装置の構成を示す図である。

【図5】第２参加者が第２画像データを合成する位置を指定する方法を説明するための図である。

【図6】第２参加者のための空席領域が作り出された例を模式的に示す図である。

【図7】リモート拠点において表示される画像の例を模式的に示す図である。

【図8】空席領域が作り出される例を模式的に示す図である。

【図9】データ処理装置１における処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0018】

［データ処理システムＳの概要］
図１は、データ処理システムＳの概要を説明するための図である。データ処理システムＳは、複数の拠点にいる複数の人がリモート会議をするためのシステムである。以下の説明において、リモート会議に参加する人を参加者という。

【0019】

図１には、第１拠点及び複数の第２拠点が示されており、これらの拠点はネットワークＮにより接続されている。ネットワークＮは、例えばインターネット又はイントラネットを含む。ネットワークＮには、データ処理装置１と各拠点の電子機器とが接続されている。ネットワークＮには、有線及び無線の少なくとも１つが含まれてよい。例えば、ネットワークＮは、有線によって構成されてもよいし、無線によって構成されてもよいし、有線区間及び無線区間の双方を含んで構成されてもよい。無線による通信には、例えば、セルラー通信、無線ＬＡＮ（local area network）通信、及び、衛星通信の少なくとも１つが含まれてよい。データ処理システムＳには、４以上の拠点が含まれていてもよい。

【0020】

第１拠点には、ルータ２１と、コンピュータ２２と、カメラ２３と、ディスプレイ２４と、スピーカ２５（スピーカ２５Ｌ及びスピーカ２５Ｒ）が設置されている。第１拠点においては、一以上の第１参加者である参加者Ａ１、Ａ２、Ａ３、Ａ４がテーブルの周囲に着席している。ルータ２１、コンピュータ２２、カメラ２３、ディスプレイ２４及びスピーカ２５は、第１拠点において参加者Ａ１、Ａ２、Ａ３、Ａ４がリモート会議を視聴するために使用する電子機器（第１電子機器に対応）である。

【0021】

本実施形態においては、カメラ２３がマイクロホンを有しており、カメラ２３が第１拠点内を撮影した第１画像に基づく第１画像データと第１拠点内の第１音声に基づく第１音声データとを生成する場合を例示するが、これらの電子機器は一体化されていてもよく、さらに多くの電子機器により同等の機能が提供されてもよい。

【0022】

複数の第２拠点のそれぞれには、コンピュータ３１（第２電子機器に対応）が設置されている。コンピュータ３１は、カメラ、マイクロホン及びスピーカを有する。複数の第２拠点のそれぞれにおいては、コンピュータ３１の前に第２参加者である参加者Ｒが着席している。コンピュータ３１は、参加者Ｒを撮影した第２画像に基づく第２画像データと参加者Ｒの第２音声に基づく第２音声データとを生成する。

【0023】

以下において、複数の参加者Ａ１、Ａ２、Ａ３、Ａ４を区別しない場合、「参加者Ａ」のように略記することがある。一方、１～ｎ（ｎは２以上の整数）の複数の第２拠点における参加者Ｒを区別する場合、「参加者Ｒ１～Ｒｎ」のように表記することがある。

【0024】

第１拠点及び第２拠点の少なくとも１つにおいて、カメラは、例えば、複数の方向から参加者Ａ又は参加者Ｒを撮影するために複数台設けられている。また、第１拠点及び第２拠点の少なくとも１つにおいて、マイクロホンは、個々の参加者Ａ又は参加者Ｒが使用するピンマイクロホンであってもよい。

【0025】

データ処理装置１は、複数の拠点間でのリモート会議をするための各種の処理を実行するコンピュータであり、例えばクラウドサーバである。詳細については後述するが、データ処理装置１は、ある拠点から送られてきた画像及び音声を他の拠点に送信する。これにより、各拠点の参加者は、他の複数の拠点の参加者の画像を見ながら、他の複数の拠点の参加者の音声を聞くことができる。例えば、複数の第２拠点のそれぞれにおけるコンピュータ３１のディスプレイには、第１拠点の参加者Ａ１～Ａ４の画像とともに、参加者Ｒ１～Ｒ４の音声がコンピュータ３１のスピーカから出力される。

【0026】

ここで、例えば第１拠点の参加者Ａ１～Ａ４と複数の第２拠点それぞれの参加者Ｒとが同じ組織（例えば部署又は会社）に属しているような場合、参加者Ｒにとっては、参加者Ａ１～Ａ４と他の参加者Ｒとがコンピュータ３１のディスプレイにおいて別々に（例えば、複数に区分された表示領域の異なる領域に）表示されていると違和感がある。

【0027】

そこで、データ処理装置１は、第１拠点から送られてきた第１画像に第２拠点（以下、「リモート拠点」とも称する）のそれぞれから送られてきた第２画像（以下、「リモート画像」とも称する）のうち、合成画像データの送信対象に該当する参加者Ｒｉ（ｉは１～ｎの何れか１人）を除いた他の参加者Ｒｊ（ｊはｊ≠ｉを満たす１～ｎの何れか１人以上）に対応する個々のリモート画像の少なくとも一部を合成する。

【0028】

データ処理装置１が、このように合成した合成画像データを参加者Ｒｉのコンピュータ３１へ送信することにより、１又は複数の参加者Ｒｊは、第１拠点の参加者Ａ１～Ａ４と一緒に第１拠点からリモート会議に参加しているかのような臨場感を得ることができる。なお、リモート画像データの少なくとも一部は、リモート画像データにおいて参加者Ｒが示されている領域のデータ（以下、「人物画像データ」とも称する）である。

【0029】

以下の説明において、リモート画像データの少なくとも一部を合成することを、リモート画像データを合成するという場合がある。また、「画像データ」は、適宜、「画像」と略称される場合がある。

【0030】

また、データ処理装置１は、例えば、仮想的な会議室の画像データ（以下、「バーチャル会議室画像データ」とも称する）を生成し、生成したバーチャル会議室画像データに、２以上のリモート拠点のそれぞれから送られてきたリモート画像の少なくとも一部（例えば、人物画像データ）を合成する。また、データ処理装置１は、リモート画像を合成したバーチャル会議室画像と、リモート拠点のそれぞれから送られてきた音声データとを、第１拠点へ送信する。

【0031】

バーチャル会議室画像データは、例えば、第１拠点の会議室内の空間を模した画像である。データ処理装置１は、例えば、１つのバーチャル会議室画像データに含まれる仮想的なテーブル（あるいは机）の周囲に複数のリモート参加者Ｒ１～Ｒｎそれぞれの人物画像データを合成（あるいは配置）する。

【0032】

このような画像の合成処理によって、第１拠点の参加者Ａは、別々のリモート拠点に位置する各リモート参加者Ｒ１～Ｒｎが１つの会議室空間に集まってリモート会議に参加しているかのように会議を行うことができる。ここで、例えば、バーチャル会議室画像を第１拠点の会議室内の空間を模した画像とすることで、第１拠点の参加者Ａと各リモート参加者Ｒ１～Ｒｎとの会議の一体感あるいは臨場感を高める効果が期待できる。

【0033】

図２は、各拠点で表示される画像の例を模式的に示す図である。図２では、便宜的に、第１拠点の参加者Ａが２人の参加者Ａ１及びＡ２である場合を想定する。図２（ａ）は、２人の参加者Ａ１及びＡ２が位置する第１拠点におけるディスプレイ２４に表示される画像を示す。図２（ｂ）は、２人のリモート参加者Ｒ１及びＲ２のうちのリモート参加者Ｒ１が位置するリモート拠点のコンピュータ３１に表示される画像（別言すると、リモート参加者Ｒ１が視聴する映像）を示す。図２（ｃ）は、リモート参加者Ｒ２が位置するリモート拠点のコンピュータ３１に表示される画像（別言すると、リモート参加者Ｒ２が視聴する映像）を示す。図２に示す表示態様は一例に過ぎず、後述するように、各種の設定又は条件によって表示態様が決定されてもよい。

【0034】

図２（ａ）に示すように、第１拠点にはリモート拠点のそれぞれにおいて参加者Ｒ１及びＲ２が撮影された各リモート画像（人物画像）が１つのバーチャル会議室画像における仮想的なテーブルＶＴの周囲に合成された画像が表示される。このような表示態様によって、第１拠点の参加者Ａ１、Ａ２は、別々のリモート拠点に位置するリモート参加者Ｒ１及びＲ２が１つのバーチャル会議室空間に集まってリモート会議に参加しているような映像を視聴できる。

【0035】

なお、バーチャル会議室画像におけるリモート参加者Ｒ１及びＲ２の合成（又は配置）位置は、例えば、設定、又は、リモート参加者Ｒｉが属する組織あるいはリモート参加者Ｒｉが所属する組織といった条件によって決定あるいは制御されてよい。個々のリモート参加者Ｒｉの属する組織に関する情報が、リモート参加者Ｒｉの人物画像と共に第１拠点のディスプレイ２４に表示されてもよい。

【0036】

図２（ｂ）に示すように、リモート参加者Ｒ１が使用するコンピュータ３１のディスプレイには、第１拠点において参加者Ａ１及びＡ２が撮影された第１画像に他のリモート拠点において他のリモート参加者Ｒ２が撮影されたリモート画像を合成した画像が表示されている。リモート参加者Ｒ２の画像は、例えば、第１拠点におけるテーブルＲＴの周囲において参加者Ａ１及びＡ２と異なる（あるいは重ならない）領域に合成されている。このような表示態様によって、リモート参加者Ｒ１は、他のリモート参加者Ｒ２が第１拠点における参加者Ａ１及びＡ２と一緒に第１拠点において会議に参加しているかのような臨場感を得ることができる。

【0037】

同様に、図２（ｃ）に示すように、リモート参加者Ｒ２が使用するコンピュータ３１のディスプレイには、第１拠点において参加者Ａ１及びＡ２が撮影された第１画像に他のリモート拠点において他の参加者Ｒ１が撮影されたリモート画像を合成した画像が表示されている。リモート参加者Ｒ１の画像は、例えば、第１拠点におけるテーブルＲＴの周囲において参加者Ａ１及びＡ２と異なる（あるいは重ならない）領域に合成されている。このような表示態様によって、リモート参加者Ｒ２は、他のリモート参加者Ｒ１が第１拠点における参加者Ａ１及びＡ２と一緒に第１拠点において会議に参加しているかのような臨場感を得ることができる。

【0038】

なお、リモート参加者Ｒ１及びＲ２の一方のリモート画像は、当該一方のリモート参加者には視聴されなくても構わないので、第１画像のテーブルＲＴの周囲においてリモート参加者Ｒ１及びＲ２の他方のリモート画像と重なる位置に合成されてもよい。例えば、図２（ｂ）において、リモート参加者Ｒ２のリモート画像は、図２（ｃ）においてリモート参加者Ｒ１のリモート画像が合成される位置に相当する位置に合成されてもよい。同様に、図２（ｃ）において、リモート参加者Ｒ１のリモート画像は、図２（ｂ）においてリモート参加者Ｒ２のリモート画像が合成される位置に相当する位置に合成されてもよい。なお、リモート参加者Ｒ１及びＲ２の表示と共に、例えば、リモート参加者Ｒ１及びＲ２のそれぞれが第１拠点には実際には居ないこと（例えば、第１拠点へのリモート参加であること）を示す情報が各拠点のディスプレイに表示されてもよい。

【0039】

［複数の拠点間でのデータの流れ］
図３は、複数の拠点間での画像及び音声のデータの流れの概要を示す図である。第１拠点のルータ２１は、カメラ２３が生成した第１画像データ及び第１音声データをデータ処理装置１に送信する。複数の第２拠点（リモート拠点）のコンピュータ３１のそれぞれは、生成したリモート画像データ及びリモート音声データ（すなわち第２画像データ及び第２音声データ）をデータ処理装置１に送信する。

【0040】

データ処理装置１は、バーチャル会議室画像データを作成し、作成したバーチャル会議室画像データにリモート画像データそれぞれの少なくとも一部を合成した第１合成画像データ、及び、リモート音声データが処理された第１処理済音声データを第１拠点に送信する。第１処理済音声データは、例えば、バーチャル会議室画像データにおけるリモート画像データの位置からリモート参加者Ｒｉの音声が聞こえるように、リモート音声データのそれぞれがリモート画像データの位置に基づいて処理されたステレオ音声データ又は三次元音声データである。

【0041】

データ処理装置１は、第１拠点から受信した第１画像データと、複数のリモート画像データとのうち、送信対象のリモート拠点におけるリモート参加者Ｒｉを除いた他の複数のリモート参加者Ｒｊのリモート画像それぞれの一部と、を合成して、リモート拠点のそれぞれに送信する第２合成画像データを作成する。

【0042】

また、データ処理装置１は、受信した第１音声データと、送信対象のリモート拠点におけるリモート参加者Ｒｉを除いた他のリモート参加者Ｒｊのリモート音声データを処理して、リモート拠点のそれぞれに送信する第２処理済音声データを作成する。第２処理済音声データは、例えば、第１画像データに合成されるリモート画像データの位置からリモート参加者Ｒｊの音声が聞こえるように、リモート音声データが処理されたステレオ音声データ又は三次元音声データである。

【0043】

データ処理装置１は、バーチャル会議室画像データに各リモート画像データが合成された第１合成画像データと、リモート音声データが処理された第１処理済音声データとを第１拠点に送信する。また、データ処理装置１は、第２合成画像データ、第２処理済音声データ、及び第１音声データを各リモート拠点に送信する。なお、データ処理装置１は、合成前の第１画像データとリモート画像データとをリモート拠点へ送信してもよい。また、データ処理装置１は、リモート画像データの位置に基づく処理前のリモート音声データをリモート拠点へ送信してもよい。

【0044】

［データ処理装置１の構成及び動作］
図４は、データ処理装置１の構成を示す図である。データ処理装置１は、通信部１１と、記憶部１２と、制御部１３と、を有する。制御部１３は、取得部１３１と、設定受付部１３４と、画像データ生成部１３５と、音声データ生成部１３６と、データ送信部１３７と、を有する。

【0045】

通信部１１は、ネットワークＮを介してルータ２１、又はコンピュータ３１との間でデータを送信するための通信インターフェースを有する。通信部１１は、ルータ２１から受信した第１画像データ及び第１音声データを取得部１３１に入力する。通信部１１は、コンピュータ３１から受信したリモート画像データ及びリモート音声データを取得部１３１に入力する。

【0046】

通信部１１は、ルータ２１、コンピュータ３１、又は他の情報端末が送信した設定データを設定受付部１３４に入力する。設定データは、例えば、リモート会議の属性、参加者の属性、又は画面に表示する画像の態様を示すデータであり、リモート会議の主催者、又はいずれかの参加者により入力されたデータである。リモート会議の主催者は、複数の参加者に含まれていてもよく、複数の参加者に含まれていなくてもよい。

【0047】

また、通信部１１は、データ送信部１３７から入力された各種のデータを各拠点に送信する。具体的には、通信部１１は、図３に示したように、合成画像のデータ及び処理済音声のデータ等を各拠点において参加者がリモート会議を視聴するために使用する一以上の電子機器に送信する。

【0048】

記憶部１２は、例えばＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及びＳＳＤ（Solid State Drive）等の記憶媒体を有する。記憶部１２は、制御部１３が実行するプログラムを記憶する。また、記憶部１２は、通信部１１が受信した各種の設定データを記憶する。さらに、記憶部１２は、各拠点から送信された画像データ及び音声データを一時的に記憶する。

【0049】

制御部１３は、例えばＣＰＵ（Central Processing Unit）を有する。制御部１３は、記憶部１２に記憶されたプログラムを実行することにより、取得部１３１、設定受付部１３４、画像データ生成部１３５、音声データ生成部１３６及びデータ送信部１３７として機能する。

【0050】

取得部１３１は、第１拠点においてリモート会議に参加する一以上の第１参加者を撮像することにより生成された第１画像データを取得する。また、取得部１３１は、第１拠点において取得された一以上の第１参加者の音声を含む第１音声データを取得する。取得部１３１は、通信部１１を介して第１画像データ及び第１音声データを取得する。取得部１３１は、第１音声データを音声データ生成部１３６に入力し、第１音声データを画像データ生成部１３５に入力する。

【0051】

また、取得部１３１は、複数のリモート拠点においてリモート会議に参加するリモート参加者のそれぞれが発した音声に基づく複数のリモート音声データと、リモート参加者のそれぞれに対応する複数のリモート画像データと、を取得する。リモート画像データは、リモート拠点においてリモート参加者を撮像することにより生成された撮像画像データであってもよく、予め作成されたリモート参加者のアバター画像データであってもよい。すなわち、取得部１３１は、リモート参加者の撮像画像データ又はアバター画像データの少なくともいずれかを取得してもよい。取得部１３１は、例えば、撮像画像データ及びアバター画像データのうち、画像データ生成部１３５から要求された方の画像データを取得する。

【0052】

また、取得部１３１は、リモート拠点において取得されたリモート参加者の音声を含む第２音声データを取得する。取得部１３１は、通信部１１を介してリモート画像データ及びリモート音声データを取得する。取得部１３１は、リモート画像データを画像データ生成部１３５に入力し、リモート音声データを音声データ生成部１３６に入力する。

【0053】

設定受付部１３４は、通信部１１を介して、リモート会議の主催者、又はいずれかの参加者により入力された設定データを取得することにより、各種の設定を受け付ける。設定受付部１３４は、不図示のキーボード及びマウス等のユーザインターフェースを介して設定を受け付けてもよい。設定受付部１３４は、例えばリモート会議の属性の設定を受け付ける。設定受付部１３４は、受け付けたリモート会議の属性を画像データ生成部１３５に通知する。

【0054】

画像データ生成部１３５は、ある拠点のディスプレイに表示される画像データとして、複数のリモート拠点から送られてきた複数のリモート画像データそれぞれの少なくとも一部を合成した第１合成画像データを生成する。第１合成画像データは、例えば、既述のバーチャル会議室画像データにリモート画像データそれぞれの少なくとも一部を合成した画像データである。画像データ生成部１３５は、生成した画像データをデータ送信部１３７に入力する。

【0055】

一例として、画像データ生成部１３５は、図２（ａ）に示したように、バーチャル会議室画像データにおける仮想的なテーブルの周囲に各リモート画像データを合成した第１合成画像データを生成する。また、画像データ生成部１３５は、複数のリモート画像のうち１つのリモート画像を除く一以上のリモート画像データと、第１拠点から送られてきた第１画像データとを合成することにより、第２合成画像データを生成する。

【0056】

一例として、画像データ生成部１３５は、図２（ｂ）に示したように、第１拠点の第１画像データ内にリモート参加者Ｒ１及びＲ２のうちリモート参加者Ｒ２のリモート画像データを合成した、リモート参加者Ｒ１向けの第２合成画像データを生成する。また、図２（ｃ）に示したように、画像データ生成部１３５は、例えば、第１拠点の第１画像データ内にリモート参加者Ｒ１及びＲ２のうちリモート参加者Ｒ１のリモート画像データを合成した、リモート参加者Ｒ２向けの第２合成画像データを生成する。

【0057】

第２合成画像データにおいて、個々のリモート画像データは、第１拠点の第１画像データにおけるテーブルの周囲の所定の範囲内の領域に合成されてよい。所定の範囲とは、例えば、第１画像データにおいてテーブル周囲の椅子が配置された領域であってよい。

【0058】

音声データ生成部１３６は、リモート会議に参加している各拠点に設置されたスピーカから出力される音声データを生成する。音声データ生成部１３６は、例えば、第１合成画像データにおけるリモート画像データそれぞれの位置に基づいて個々のリモート参加者の音声データを処理することにより、第１拠点の参加者に聞かせる音声に対応する第１処理済音声データを生成する。

【0059】

音声データ生成部１３６は、第２合成画像データにおけるリモート画像データの位置に基づいてリモート参加者の音声データを処理することにより、他のリモート参加者に聞かせる音声に対応する第２処理済音声データを生成する。音声データ生成部１３６は、第１拠点の第１参加者の音声を含み、リモート拠点のリモート参加者に聞かせるための音声データを生成してもよい。音声データ生成部１３６は生成した処理済音声データをデータ送信部１３７に入力する。

【0060】

音声データ生成部１３６は、ある拠点のスピーカから出力される音声データとして、他の複数の拠点から送られてきた複数の音声を含むマルチチャンネルの処理済音声データを生成する。マルチチャンネルの処理済音声データは、第１位置（例えば右側）スピーカと第２位置（例えば左側）スピーカから出力される第１位置音声データと第２位置音声データとを含む。マルチチャンネルの処理済音声データは、３以上の位置に対応する３以上の音声データを含んでもよい。

【0061】

一例として、音声データ生成部１３６は、第１合成画像データにおけるリモート画像の位置に基づいて、第１拠点の第１位置に設置された第１位置スピーカに出力するための第１位置音声データと、第１拠点の第２位置に設置された第２位置スピーカに出力するための第２位置音声データと、を含む第１処理済音声データを生成する。具体的には、音声データ生成部１３６は、リモート参加者のリモート画像の位置が第２位置よりも第１位置に近い場合に、第１位置音声データに含まれる当該リモート参加者の音声の割合が、第２位置音声データに含まれる当該リモート参加者の音声の割合よりも大きくなるように処理した第１処理済音声データを生成する。

【0062】

音声データ生成部１３６は、逆に、リモート参加者のリモート画像の位置が第１位置よりも第２位置に近い場合に、第２位置音声データに含まれる当該リモート参加者の音声の割合が、第１位置音声データに含まれる当該リモート参加者の音声の割合よりも大きくなるように処理した第１処理済音声データを生成する。

【0063】

なお、リモート参加者のリモート画像の位置が、第１位置及び第２位置に対してそれぞれ同等の距離である場合、音声データ生成部１３６は、第１位置音声データ及び第２位置音声データのそれぞれに含まれるリモート参加者の音声の割合が同等であるように処理した第１処理済音声データを生成してよい。

【0064】

音声データ生成部１３６は、第１合成画像データにおけるリモート画像データの位置の第１拠点における奥行方向の位置を特定した結果にさらに基づいて、第１処理済音声データを生成してもよい。一例として、図２（ｃ）に示した例の場合、リモート参加者Ｒ２のリモート画像データの位置は、他のリモート参加者Ｒ１よりも奥側なので、音声データ生成部１３６は、リモート参加者Ｒ２の音声がリモート参加者Ｒ１よりも小さくなるように処理した第１処理済音声データを生成してもよい。音声データ生成部１３６がこのような第１処理済音声データを生成することで、当該データに基づく音声を聞く参加者の臨場感が高まる。

【0065】

なお、リモート参加者のリモート画像の位置が、第２位置よりも第１位置に近いか、第１位置よりも第２位置に近いかによらず、音声データ生成部１３６は、リモート参加者の属性によって、第１位置音声データに含まれる第２参加者の音声の割合が増えるように処理した第１処理済音声データを生成してもよい。音声データ生成部１３６は、例えば、リモート参加者の声の大きさ、声質、声の通りやすさといった属性を基に、上述したような音声データの割合制御を行ってもよい。

【0066】

具体的には、音声データ生成部１３６は、バーチャル会議室画像においてリモート参加者Ｒ１が他のリモート参加者Ｒ１よりも手前側に配置されたとしても、リモート参加者Ｒ１の声の大きさが閾値未満である場合、又は声質が聞こえづらいという条件を満たす場合、リモート参加者Ｒ１の音声の割合が増えるようにしてもよい。

【0067】

上述した音声データの割合制御は、図２（ｂ）及び図２（ｃ）に示したような第１拠点の第１画像データにリモート画像データが合成される場合について、第１処理済音声データと同様に、第２処理済音声データに適用されてよい。

【0068】

データ送信部１３７は、画像データ生成部１３５から入力された画像データ及び音声データ生成部１３６から入力された音声データを、通信部１１を介して、それぞれのデータを送信するべき拠点に向けて送信する。具体的には、データ送信部１３７は、第１拠点においてリモート会議に参加する一以上の参加者がリモート会議の視聴のために使用する一以上の電子機器に第１合成画像データと第１処理済音声データとを送信する。

【0069】

また、データ送信部１３７は、第２合成画像データを個々のリモート参加者が使用する情報端末に送信する。すなわち、データ送信部１３７は、リモート参加者がリモート会議の視聴のために使用するコンピュータ３１に第２合成画像データ及び第２処理済音声データを送信する。データ送信部１３７は、リモート会議の主催者又は参加者から設定を受け付けるためのデータを各拠点に向けて送信してもよい。

【0070】

なお、上述したデータ処理装置１の機能（例えば、制御部１３の各種機能）は、複数のデータ処理装置１によって実現されてもよい。例えば、画像データの生成、音声データの生成といった各種の処理は、複数のデータ処理装置１（例えば、複数のサーバのそれぞれに搭載されたプロセッサ）によって分散して行われてもよい。

【0071】

［合成画像データの生成方法］
以下、画像データ生成部１３５が合成画像データを生成する処理の詳細を説明する。
画像データ生成部１３５は、例えば、各リモート参加者Ｒｉを配置するバーチャル会議室画像データを生成し、生成したバーチャル会議室画像データにリモート拠点におけるリモート参加者のリモート画像データそれぞれの少なくとも一部を合成することにより、図２（ａ）に例示したような、第１拠点のディスプレイ２４に表示される第１合成画像データを生成する。

【0072】

また、画像データ生成部１３５は、例えば図２（ｂ）及び図２（ｃ）に示したように、第１拠点で撮像された第１画像データにおいて一以上の第１参加者が含まれていない位置に、リモート画像データそれぞれの少なくとも一部を合成することにより、第２合成画像データを生成する。

【0073】

画像データ生成部１３５は、例えば、第１画像データにおける予め記憶部１２に記憶された顔の標準画像データとの類似度が閾値以上の領域を顔の領域として特定し、特定した領域と異なる領域にリモート画像データを合成する。画像データ生成部１３５は、参加者の身体の領域を特定し、特定した領域と異なる領域にリモート画像データを合成してもよい。

【0074】

画像データ生成部１３５がバーチャル会議室画像データ又は第１拠点の第１画像データにおいてリモート画像データを合成する位置を決定する方法は任意であり、記憶部１２に記憶された合成位置情報を参照することにより、予め決定された位置にリモート画像データを合成してもよい。画像データ生成部１３５は、例えば、第１画像データの右上又は左上にリモート画像データを合成してもよく、第１画像データの下方の領域にリモート画像データを合成してもよい。第１画像データの下方の領域に一部のリモート参加者のリモート画像データが合成された場合、第１拠点の参加者Ａに、当該一部のリモート参加者の拠点が、他のリモート参加者の拠点よりも第１拠点に近いという印象を与えやすくできる。なお、画像データ生成部１３５は、個々のリモート拠点の位置を示す情報（例えば、都道府県名あるいは住所といった情報）が個々のリモート画像と共に表示されるように合成画像データを生成してもよい。

【0075】

画像データ生成部１３５は、リモート会議の主催者又は参加者が指定した位置にリモート画像データを合成してもよい。一例として、データ送信部１３７は、第１画像データをリモート参加者が使用する情報端末であるコンピュータ３１に送信し、画像データ生成部１３５は、コンピュータ３１に表示された第１画像データに基づく画像においてリモート参加者により指定された位置にリモート画像データの少なくとも一部を合成することにより第２合成画像データを生成する。画像データ生成部１３５がこのように動作することで、リモート参加者は、自身が望ましいと思う位置に自身の画像が表示されるようにすることができる。なお、データ送信部１３７がコンピュータ３１に送信する第１画像データは、第１拠点から送信された第１画像データから一以上の第１参加者の画像以外の部分が改変された画像データであってもよい。

【0076】

図５は、リモート参加者がリモート画像データを合成する位置を指定する方法を説明するための図である。図５（ａ）は、リモート参加者Ｒ１又はＲ２のコンピュータ３１に表示される、合成位置を指定するための画面である。図５（ａ）に示す画面においては、リモート画像データを合成できる位置として、星マークＸ、星マークＹの位置が示されている。図５（ｂ）は、リモート参加者Ｒ１が図５（ａ）における星マークＸの位置を指定した場合にリモート参加者Ｒ２が使用するコンピュータ３１のディスプレイに表示される第２合成画像データである。図５（ｃ）は、リモート参加者Ｒ２が図５（ａ）における星マークＹの位置を指定した場合にリモート参加者Ｒ１が使用するコンピュータ３１のディスプレイに表示される第２合成画像データである。

【0077】

画像データ生成部１３５は、例えば、人を示す基準画像データとの類似度が閾値以上の領域を第１画像データ内で探索することにより、第１画像データにおける第１参加者の画像の領域を特定し、特定した領域以外の領域に、リモート画像データを合成できる位置を示すマークを付した画像をコンピュータ３１に表示させる。画像データ生成部１３５は、特定した領域以外の領域における、第１参加者の画像の領域の大きさと同程度の大きさの領域の中心位置に、リモート画像データを合成できる位置を示すマークを付した画像をコンピュータ３１に表示させてもよい。画像データ生成部１３５がこのようにして、第２画像データを合成できる位置をリモート参加者に提示することで、リモート参加者が適切に位置を指定することができる。

【0078】

データ送信部１３７が、第１画像データをリモート会議の主催者として登録された参加者が使用する情報端末に送信し、画像データ生成部１３５は、主催者の情報端末に表示された第１画像データに基づく画像において指定された位置にリモート画像データの少なくとも一部を合成することにより第２合成画像データを生成してもよい。画像データ生成部１３５がこのように動作することで、リモート会議の主催者が、複数の参加者の関係又はリモート会議の目的等に適した位置にリモート参加者の画像を配置することができる。

【0079】

データ送信部１３７が、第１拠点における一以上の第１参加者がリモート会議の視聴のために使用する一以上の電子機器にバーチャル会議室画像データを送信し、画像データ生成部１３５は、当該一以上の電子機器（例えばルータ２１又はコンピュータ２２）を介して取得したバーチャル会議室画像データに基づいて第１拠点に設置された表示装置であるディスプレイ２４が表示したバーチャル会議室画像において指定された位置にリモート画像データの少なくとも一部を合成することにより第１合成画像データを生成してもよい。画像データ生成部１３５がこのように動作することで、第１拠点の参加者がバーチャル会議室を見ながら、適切な位置にリモート参加者のリモート画像データを配置することが可能になる。

【0080】

ところで、リモート拠点向けの第２合成画像データにおいて、複数の第１参加者の画像の間にリモート参加者の画像を配置する方がよい場合と、リモート参加者の拠点ごとにリモート参加者の画像を表示させる領域を分ける方がよい場合とがある。一例として、画像データ生成部１３５は、第１拠点から送られてきた第１画像データに複数の第１参加者が含まれており、他の少なくとも１つのリモート拠点から送られてきたリモート画像に１人のリモート参加者が含まれている場合、図２（ｂ）及び図２（ｃ）に示したように、複数の第１参加者の間にリモート画像を配置した第２合成画像データを生成する。

【0081】

画像データ生成部１３５がこのような第２合成画像データを生成することで、第２合成画像データに基づく画像を見るリモート拠点のリモート参加者の臨場感が高まる。

【0082】

画像データ生成部１３５は、複数のリモート参加者の別に、あるいは複数のリモート参加者をグループ分けしたグループの別に、バーチャル会議室画像データを区分した領域の異なる領域にリモート画像を配置した第１合成画像データを生成してもよい。また、画像データ生成部１３５は、複数のバーチャル会議室画像データを生成し、複数のリモート画像を異なるバーチャル会議室画像データに振り分けて合成することによって第１合成画像データを生成してもよい。

【0083】

画像データ生成部１３５は、第２合成画像データにおいて、第１拠点から送られてきた第１画像データと異なる領域に少なくとも一部のリモート画像を合成してもよい。例えば、画像データ生成部１３５は、図６（ａ）及び図６（ｂ）に示すように、第１拠点の複数の参加者Ａが写っている第１画像の領域と異なる領域にリモート拠点のリモート参加者Ｒ１又はＲ２の画像を合成する。

【0084】

画像データ生成部１３５は、設定受付部１３４が受け付けた設定の内容に基づいて、図６（ａ）及び図６（ｂ）に示したように、第１拠点の複数の参加者Ａが写っている第１画像の領域と異なる領域にリモート拠点のリモート参加者Ｒ１又はＲ２の画像を配置するか、図２（ｂ）及び図２（ｃ）に示したように、第１拠点の複数の参加者Ａが写っている領域内に他の拠点の参加者の画像を配置するかを決定してもよい。複数の参加者が写っている領域は、例えば、複数の参加者の画像を含む最も小さな長円又は楕円の領域である。

【0085】

一例として、画像データ生成部１３５は、第１拠点の第１参加者Ａとリモート拠点のリモート参加者Ｒ２（又はＲ１）とが同じ部署又は企業に属している場合のように、異なる拠点の参加者を同じ領域に表示させるように設定されている場合に、図２（ｂ）（又は図２（ｃ））に示したように、第１拠点の一以上の第１参加者Ａが写っている領域内（例えば、テーブルＲＴの周囲）にリモート参加者Ｒ２（又はＲ１）のリモート画像を配置する。

【0086】

一方、画像データ生成部１３５は、第１拠点の第１参加者Ａとリモート拠点のリモート参加者Ｒ２（又はＲ１）とが異なる部署又は企業に属している場合のように、異なる拠点の参加者を同じ領域に表示させないように設定されている場合に、図６（ａ）（又は図６（ｂ））に示したように、第１拠点の一以上の第１参加者が写っている領域と異なる領域（例えば、テーブルＲＴから離れた領域）にリモート参加者Ｒ２（又はＲ１）のリモート画像を配置する。画像データ生成部１３５がこのように動作することで、各拠点の参加者の所属関係に適した態様で表示されるので、リモート拠点におけるリモート参加者における臨場感がさらに高まる。また、各拠点における参加者の関係性の視認性が向上し、例えば、会議の円滑な進行に資することが期待できる。

【0087】

［第１画像データにおいてリモート参加者のリモート画像データを合成できる位置を指定することが難しい場合］
第１画像データに多数の第１参加者が含まれている場合のように、図５（ａ）に示したような位置指定が難しい場合がある。例えば、第１拠点に対応する第１画像においてリモート参加者が位置できる候補の位置又は領域（別言すると、空席位置又は空席領域）が存在しない場合があり得る。

【0088】

このようなケースにおいて、画像データ生成部１３５は、第１拠点に対応する第１画像データの少なくとも一部を加工あるいは改変することにより、リモート参加者のための空席領域を作り出してよい。非限定的な一例として、画像データ生成部１３５は、第１画像データにおけるテーブルＲＴに対応する画像データのサイズあるいは形状を変更（例えば、長さ方向に延伸あるいは拡張）することによって、リモート参加者のリモート画像を配置可能な空席領域を仮想的に作り出してよい。

【0089】

図７は、空席領域が作り出される例を模式的に示す図である。図７（ａ）は、第１拠点におけるテーブルＲＴの周囲に５名の参加者Ａ１～Ａ５が位置しており、当該テーブルの周囲にはリモート参加者に対応するリモート画像を合成可能な位置（又は領域）の候補が存在しない例を示している。

【0090】

この場合に、画像データ生成部１３５は、例えば図７（ｂ）に示すように、第１拠点の第１画像データにおけるテーブルＲＴに対応する画像データ（以下において「テーブル画像データ」と称することがある）を、テーブルＲＴの長さ方向（矢印で示す方向）に延伸加工する。このような加工によって、テーブルＲＴの周囲にリモート参加者のリモート画像を合成可能な空席領域が仮想的に作り出される。図７（ｂ）は、テーブルＲＴを挟んで対面する２つの空席領域Ｘ１及びＹ１が作り出される例を示している。画像データ生成部１３５は、これら２つの候補である空席領域Ｘ１及びＹ１のいずれか１つを、リモート参加者の画像を合成できる位置として示す画面をリモート参加者に提示する。

【0091】

図８は、空席領域が作り出された状態の画像の例を模式的に示す例であり、第１拠点に４人の第１参加者Ａ１～Ａ４が位置する場合を想定する。図８（ａ）においては、第１拠点のテーブルＲＴに仮想的なテーブルＶＴ２が追加されており、テーブルＶＴ２の周囲に空席領域Ｘ１及びＹ１が表示されている。この画面においてリモート参加者Ｒ２が空席領域Ｘ１又はＹ１を指定することで、画像データ生成部１３５は、指定された領域にリモート参加者Ｒ２のリモート画像を合成した、図８（ｂ）に示すような第２合成画像データを生成する。

【0092】

画像データ生成部１３５によるこのような処理によって、リモート参加者のリモート画像が第１拠点において表示される第１画像に合成できないようなケースを減らすことができるため、会議の臨場感を損なわずに、リモート参加者を第１拠点に仮想的に登場させられる確率を高めることができる。

【0093】

なお、画像データ生成部１３５は、第１画像データ内に空席領域がないことを条件にして空席領域を作り出してもよいが、空席領域がある場合に空席領域を作り出してもよい。一例として、画像データ生成部１３５は、第１拠点の参加者Ａ及びリモート拠点のリモート参加者の何れかから、空席領域を増やすための指示を受けたことに応じて空席領域を作り出してもよい。

【0094】

また、画像データ生成部１３５は、第１画像データ内の空席領域の有無に依らずに、仮想的なテーブルＶＴ２を第１画像データにおいて配置してもよい。例えば、画像データ生成部１３５は、第１拠点のディスプレイ２４に表示されたテーブルＲＴに、バーチャル会議室画像における仮想的なテーブルＶＴ（例えば図２（ａ）参照）が視覚的に繋がって見えるように仮想的なテーブルＶＴ２を第１画像データに配置してよい。あるいは、画像データ生成部１３５は、例えば、ディスプレイ２４に表示されたバーチャル会議室画像におけるテーブルＲＴに、第１拠点に配置された現実のテーブルが近接して配置されているかのように見せるために仮想的なテーブルＶＴ２を第１画像データに配置してもよい。

【0095】

このような仮想テーブルＶＴ２の配置によって、第１拠点における第１参加者は、第１拠点と各リモート参加者が位置するバーチャル会議室とがあたかも１つの会議室空間において会議を行っているかのように感じることができ、会議の一体感や会議の臨場感を更に向上できる。

【0096】

［リモート参加者の撮像画像データの加工］
ところで、リモート拠点では、リモート参加者が、リモート会議に使用するラップトップＰＣのような情報端末のカメラに向かって正対している場合がある。このような場合、データ処理装置１において取得されるリモート拠点のリモート画像データは、リモート参加者を正面から撮像した画像データ（以下、「正面画像データ」も称する）である。

【0097】

このような正面画像データを第１画像データ（又は第３拠点の第３画像データ）にそのまま合成した場合、第１画像データにおいて、第１拠点における参加者の顔の向き又は身体の向きと、リモート参加者の顔の向き又は身体の向きとが一致しない可能性がある。

【0098】

例えば、第１拠点のディスプレイ２４に視線を向けた姿勢の第１参加者が含まれる第１画像データに、リモート拠点におけるリモート参加者の正面画像データをそのまま合成した場合、ディスプレイ２４から逸れた方向に視線を向けた姿勢の第２参加者が含まれる合成画像データが生成される。

【0099】

このような場合、不自然な向きに配置されたリモート参加者を含む合成画像データが、第１拠点において表示されるため、リモート会議の一体感あるいは臨場感が低下し得る。このような不自然さを低減すべく、画像データ生成部１３５は、リモート画像データを加工（例えば、変形）することにより、合成画像データにおけるリモート参加者の向きを調整してよい。

【0100】

例えば、画像データ生成部１３５は、リモート画像データにおけるリモート参加者の顔領域に対応する画像データ（以下、「顔画像データ」とも称する）を、視線方向がディスプレイ２４に向かう方向となるように変形する。一例として、画像データ生成部１３５は、リモート画像データの手前方向に視線方向が向くように顔画像データを変形する。また、画像データ生成部１３５は、例えば、リモート画像データにおけるリモート参加者の身体領域に対応する画像データ（以下、「身体画像データ」とも称する）を、第１画像データにおけるテーブルの配置方向に基づいて、当該テーブルに向かう方向に変形する。

【0101】

別言すると、画像データ生成部１３５は、第２画像データに含まれる顔画像と身体画像とに個別に（例えば、異なる）画像処理を施すことにより第２参加者の撮像画像データを変形してよい。

【0102】

以上のような第２画像データの加工処理によって、第１拠点において表示される合成画像データにおけるリモート参加者の不自然さを軽減できる。したがって、リモート会議の一体感あるいは臨場感が低下することを抑制できる。

【0103】

［撮像画像とアバター画像の利用］
各拠点に設置されたディスプレイに表示される画像には、各参加者の撮像画像が表示されてもよいが、各参加者のアバター画像が表示されてもよい。画像データ生成部１３５は、例えば設定受付部１３４が受け付けたリモート会議の主催者又は参加者による設定の内容に基づいて、各参加者の撮像画像データを含む合成画像データを生成するか、各参加者のアバター画像データを含む合成画像データを生成するかを決定する。

【0104】

画像データ生成部１３５は、ディスプレイに同時に表示される複数の拠点の複数の参加者の画像が、撮像画像又はアバター画像のいずれかに統一されるようにしてもよい。一例として、画像データ生成部１３５は、第１拠点の第１参加者の画像をアバター画像とすることが設定された場合、リモート拠点のリモート参加者の画像を撮像画像にするかアバター画像にするかの設定が行われていないとしても、第１参加者のアバター画像データが含まれる第１画像データにリモート参加者のアバター画像データを合成することにより第２合成画像データを生成する。

【0105】

一方、画像データ生成部１３５は、第１拠点の第１参加者の画像を撮像画像とすることが設定された場合、リモート拠点のリモート参加者の画像を撮像画像にするかアバター画像にするかの設定が行われていないとしても、第１参加者の撮像画像データが含まれる第１画像データにリモート参加者の撮像画像データを合成することにより第２合成画像データを生成する。このように、画像データ生成部１３５が、撮像画像データ又はアバター画像データのいずれか一方により構成される合成画像データを生成することで、一部の参加者の画像の種類が異なることによる違和感が生じることを防げる。

【0106】

画像データ生成部１３５は、設定受付部１３４を介して設定されたリモート会議の属性に基づいて、リモート画像データとして撮像画像データを用いるかアバター画像データを用いるかを決定してもよい。一例として、画像データ生成部１３５は、リモート会議の属性が社内会議である場合にリモート画像データとしてアバター画像データを使用し、リモート会議の属性が社外の人との会議である場合に撮像画像データを使用する。画像データ生成部１３５がこのように動作することで、例えば、アバター画像を表示すれば足りるリモート会議のためにリモート参加者が服装を整える必要がなくなる。

【0107】

［データ処理装置１における処理の流れ］
図９は、データ処理装置１における処理の流れを示すフローチャートである。図９に示すフローチャートは、リモート会議の主催者がリモート会議を開始する操作を行い、リモート会議を開始する要求を設定受付部１３４が取得した時点から開始している。

【0108】

リモート会議が開始すると、取得部１３１は、第１拠点の第１画像データ、複数のリモート拠点それぞれのリモート画像データを取得する（Ｓ１１）。図９には示していないが、取得部１３１は、継続的に第１画像データ、リモート画像データを取得する。

【0109】

この間、設定受付部１３４は、リモート画像データを合成する位置を指定する要求がリモート拠点のコンピュータ３１から送信されてきたか否かを監視する（Ｓ１２）。設定受付部１３４が、合成位置を指定する要求を受けたと判定した場合（Ｓ１２においてＹＥＳ）、画像データ生成部１３５は、例えば、要求の送信元に対応するリモート参加者が第１拠点の参加者と同じ組織に所属しているか否かを判定する（Ｓ１３）。

【0110】

画像データ生成部１３５は、当該リモート参加者が第１拠点の参加者と同じ組織に所属していると判定した場合（Ｓ１３においてＹＥＳ）、第１画像データに基づく位置指定画面データをリモート参加者のコンピュータ３１に送信する（Ｓ１４）。画像データ生成部１３５は、位置指定画面をコンピュータ３１に送信した後に、第２参加者が指定した位置を示す情報をコンピュータ３１から取得した場合、当該情報が示す位置を第１画像データにおけるリモート画像（すなわち第２画像）の合成位置に決定する（Ｓ１５）。

【0111】

Ｓ１２において所定の期間にわたって合成位置を指定する要求が送られてこない場合（Ｓ１２においてＮＯ）、画像データ生成部１３５は、リモート参加者の指示によることなく第１画像におけるリモート画像（すなわち第２画像）の合成位置を決定する（Ｓ１５）。一例として、画像データ生成部１３５は、リモート参加者が第１拠点の参加者と同じ組織に所属している場合に、第１画像データにおいてリモート参加者の画像データが含まれている領域内の位置（例えば、第１拠点のテーブルＲＴの周囲の位置）をリモート画像データの合成位置に決定する。リモート参加者が第１拠点の参加者と同じ組織に所属していない場合、画像データ生成部１３５は、第１画像データにおいて第１参加者の画像が含まれていない領域内の位置（例えば、第１拠点のテーブルＲＴから離れた位置）をリモート画像データの合成位置に決定する。

【0112】

続いて、画像データ生成部１３５は、各リモート参加者Ｒｉのリモート画像をバーチャル会議室画像に合成した第１合成画像データを生成すると共に、第１画像データにおける合成位置にリモート画像データを配置することにより、第２合成画像データを生成する（Ｓ１６）。また、音声データ生成部１３６は、リモート画像データの合成位置に基づいて処理済音声データを生成する（Ｓ１７）。データ送信部１３７は、画像データ生成部１３５が生成した合成画像データ、及び音声データ生成部１３６が生成した処理済音声データを、各データに対応する拠点に送信する（Ｓ１８）。なお、合成画像データの生成（Ｓ１６）は、処理済音声データの生成（Ｓ１７）よりも後に行われてもよいし、処理済音声データの生成（Ｓ１７）と並行して行われてもよい。

【0113】

設定受付部１３４がリモート会議を終了するための指示をリモート会議の主催者から受けていない場合（Ｓ１９においてＮＯ）、取得部１３１は、第１画像データ、複数のリモート画像データ（すなわち第２画像データ）を取得し（Ｓ２０）、画像データ生成部１３５、音声データ生成部１３６及びデータ送信部１３７は、Ｓ１６からＳ１８までの処理を繰り返す。設定受付部１３４がリモート会議を終了するための指示をリモート会議の主催者から受けた場合（Ｓ１９においてＹＥＳ）、制御部１３は処理を終了する。

【0114】

［変形例１］
以上の説明においては、複数のリモート拠点のそれぞれにおいてリモート参加者が１名であることを想定したが、１つのリモート拠点に複数のリモート参加者が存在していてもよい。この場合、画像データ生成部１３５は、複数のリモート参加者に対応する複数のリモート画像データそれぞれの一部を、第１画像データにおける一以上の第１参加者に対応する位置と異なる位置に合成する。

【0115】

また、第１拠点の参加者とリモート拠点の一部又は全部の参加者とが同じ組織に属しており、個々のリモート拠点に表示される画像において、第１拠点の一以上の第１参加者とリモート拠点の一以上のリモート参加者とが混在した状態で表示される方がよいという場合もある。このような場合、画像データ生成部１３５は、第１画像データ及びリモート画像データから、一以上の第１参加者の画像データと一以上のリモート参加者の画像データとを抽出し、抽出した複数の画像データを合成することにより、リモート拠点に送信する合成画像データを生成してもよい。

【0116】

［データ処理装置１による効果］
以上説明したように、画像データ生成部１３５は、第１拠点及び複数のリモート拠点のそれぞれに一以上の参加者がいるリモート会議において、複数のリモート拠点のそれぞれにおいて撮影された複数のリモート画像をバーチャル会議室画像に合成することにより第１合成画像データを生成する。また、音声データ生成部１３６は、合成画像データにおけるリモート画像データの位置に基づいてリモート参加者の音声を処理することにより処理済音声データを生成する。そして、データ送信部１３７は、合成画像データ及び処理済音声データを第１拠点における第１参加者が視聴できるように、第１拠点の一以上の電子機器に送信する。データ処理装置１がこのように構成されていることで、第１拠点の第１参加者は、複数のリモート拠点それぞれのリモート参加者がバーチャル会議室画像に集まって第１参加者と一緒にリモート会議に参加しているような臨場感を得ることができる。

【0117】

上述した実施の形態において、「画像データ」には２次元データに限られず３次元データ（例えば、参加者を立体的に表すホログラムデータ）が含まれてもよい。例えば、３次元ホログラフィ技術によって参加者を立体的に表示（あるいは投影）する場合に、上述した実施の形態において説明したような画像処理が適用されてもよい。

【0118】

上述した実施の形態において、「拠点」という用語は、例えば、「ベース」、「スペース」、「会議室」、あるいは「部屋」といった、リモート会議に参加する人が位置する場所を意味する用語に読み替えられてもよい。「組織」という用語は、例えば、「団体」、「グループ」、「チーム」、あるいは「サークル」といった人の集まり（集団）を意味する用語に読み替えられてもよい。また、「送信」という用語は、例えば、「出力」に読み替えられてよく、「（画像データの）合成」という用語は、例えば、「重畳」に読み替えられてもよい。「特定」という用語は、例えば、「検出」あるいは「識別」に読み替えられてもよい。

【0119】

また、上述した実施の形態に例示した構成について使用した「～部」という用語は、例えば、「～手段」、「～回路」、あるいは「～デバイス」といった他の用語に互いに読み替えられてもよい。

【0120】

また、上述した実施の形態において、「第１」、「第２」、「第３」といった用語は、２以上の要素間を区別するために便宜的に用いられ、当該用語が参照する要素の物理量、優劣、あるいは順序を限定しない。

【0121】

なお、本発明により、国連が主導する持続可能な開発目標（SDGs）の目標９「産業と技術革新の基盤をつくろう」に貢献することが可能となる。

【0122】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。

【符号の説明】

【0123】

１ データ処理装置
１１ 通信部
１２ 記憶部
１３ 制御部
２１ ルータ
２２ コンピュータ
２３ カメラ
２４ ディスプレイ
２５ スピーカ
３１ コンピュータ
１３１ 取得部
１３４ 設定受付部
１３５ 画像データ生成部
１３６ 音声データ生成部
１３７ データ送信部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】