特開 2024-120348 データ処理装置、データ処理方法及びデータ処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024120348

(43)【公開日】2024-09-05

(54)【発明の名称】データ処理装置、データ処理方法及びデータ処理システム

(51)【国際特許分類】

   H04N 7/15 20060101AFI20240829BHJP

   H04N 21/233 20110101ALI20240829BHJP

   H04N 21/2343 20110101ALI20240829BHJP

【ＦＩ】

H04N7/15

H04N21/233

H04N21/2343

【審査請求】有

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2023027085

(22)【出願日】2023-02-24

(71)【出願人】

【識別番号】523066772

【氏名又は名称】ＫＤＤＩアジャイル開発センター株式会社

(74)【代理人】

【識別番号】110004222

【氏名又は名称】弁理士法人創光国際特許事務所

(74)【代理人】

【識別番号】100166006

【弁理士】

【氏名又は名称】泉 通博

(74)【代理人】

【識別番号】100154070

【弁理士】

【氏名又は名称】久恒 京範

(74)【代理人】

【識別番号】100153280

【弁理士】

【氏名又は名称】寺川 賢祐

(72)【発明者】

【氏名】南 翔太郎

(72)【発明者】

【氏名】本田 悠真

(72)【発明者】

【氏名】浅川 善則

【テーマコード（参考）】

5C164

【Ｆターム（参考）】

5C164FA10

5C164GA07

5C164PA31

5C164PA41

5C164SB02P

5C164SB04P

5C164VA13P

(57)【要約】

【課題】リモート会議の臨場感を向上させる。
【解決手段】データ処理装置１は、第１拠点においてリモート会議に参加する一以上の第１参加者の第１画像データと、第２拠点においてリモート会議に参加する第２参加者の音声および第２参加者に対応する第２画像データと、を取得する。また、データ処理装置１は、第１画像データに第２画像データの少なくとも一部を合成することにより第１合成画像データを生成し、第１合成画像データにおける第２画像データの少なくとも一部の位置に基づいて第２参加者の音声を処理することにより第１処理済音声データを生成する。さらに、データ処理装置１は、第３拠点においてリモート会議に参加する一以上の第３参加者がリモート会議の視聴のために使用する一以上の電子機器に第１合成画像データと第１処理済音声データとを送信する。
【選択図】図４

【特許請求の範囲】

【請求項1】

３以上の拠点間でリモート会議を行うシステムにおけるデータ処理装置であって、
第１拠点において前記リモート会議に参加する一以上の第１参加者を撮像することにより生成された第１画像データを取得する第１取得部と、
第２拠点において前記リモート会議に参加する第２参加者の音声と、前記第２参加者に対応する第２画像データと、を取得する第２取得部と、
前記第１画像データに前記第２画像データの少なくとも一部を合成することにより第１合成画像データを生成する画像データ生成部と、
前記第１合成画像データにおける前記第２画像データの少なくとも一部の位置に基づいて前記第２参加者の音声を処理することにより第１処理済音声データを生成する音声データ生成部と、
第３拠点において前記リモート会議に参加する一以上の第３参加者が前記リモート会議の視聴のために使用する一以上の電子機器に前記第１合成画像データと前記第１処理済音声データとを送信するデータ送信部と、
を有するデータ処理装置。

【請求項2】

前記第３拠点において前記リモート会議に参加する前記一以上の第３参加者を撮像することにより生成された第３画像データを取得する第３取得部をさらに有し、
前記画像データ生成部は、前記第３画像データに前記第２画像データの少なくとも一部を合成することにより第２合成画像データをさらに生成し、
前記データ送信部は、前記一以上の第１参加者が前記リモート会議の視聴のために使用する一以上の電子機器に前記第２合成画像データと前記第２参加者の音声データとをさらに送信する、
請求項１に記載のデータ処理装置。

【請求項3】

前記画像データ生成部は、前記第１画像データと前記第３画像データとを合成した第３合成画像データをさらに生成し、
前記データ送信部は、前記第３合成画像データを前記第２参加者が使用する情報端末に送信する、
請求項２に記載のデータ処理装置。

【請求項4】

前記画像データ生成部は、前記第１画像データにおいて前記一以上の第１参加者が含まれていない位置に前記第２画像データの少なくとも一部を合成することにより前記第１合成画像データを生成する、
請求項１に記載のデータ処理装置。

【請求項5】

前記データ送信部は、前記第１画像データを前記第２参加者が使用する情報端末に送信し、
前記画像データ生成部は、前記情報端末に表示された前記第１画像データに基づく画像において指定された位置に前記第２画像データの少なくとも一部を合成することにより前記第１合成画像データを生成する、
請求項１に記載のデータ処理装置。

【請求項6】

前記データ送信部は、前記第１画像データを前記リモート会議の主催者として登録された参加者が使用する情報端末に送信し、
前記画像データ生成部は、前記情報端末に表示された前記第１画像データに基づく画像において指定された位置に前記第２画像データの少なくとも一部を合成することにより前記第１合成画像データを生成する、
請求項１に記載のデータ処理装置。

【請求項7】

前記データ送信部は、前記一以上の第１参加者が前記リモート会議の視聴のために使用する一以上の電子機器に前記第１画像データを送信し、
前記画像データ生成部は、当該一以上の電子機器を介して取得した前記第１画像データに基づいて前記第１拠点に設置された表示装置が表示した前記第１画像データに基づく画像において指定された位置に前記第２画像データの少なくとも一部を合成することにより前記第１合成画像データを生成する、
請求項１に記載のデータ処理装置。

【請求項8】

前記データ送信部は、前記一以上の第３参加者が前記リモート会議の視聴のために使用する一以上の電子機器に前記第１画像データを送信し、
前記画像データ生成部は、当該一以上の電子機器を介して取得した前記第１画像データに基づいて前記第３拠点に設置された表示装置が表示した前記第１画像データに基づく画像において指定された位置に前記第２画像データの少なくとも一部を合成することにより前記第１合成画像データを生成する、
請求項１に記載のデータ処理装置。

【請求項9】

前記音声データ生成部は、前記第１合成画像データにおける前記第２画像データの少なくとも一部の位置に基づいて、前記第３拠点の第１位置に設置された第１位置スピーカに出力するための第１位置音声データと、前記第３拠点の第２位置に設置された第２位置スピーカに出力するための第２位置音声データと、を含む前記第１処理済音声データを生成する、
請求項１に記載のデータ処理装置。

【請求項10】

前記リモート会議の属性の設定を受け付ける設定受付部をさらに有し、
前記第２取得部は、前記第２参加者の撮像画像データ又はアバター画像データの少なくともいずれかを取得し、
前記画像データ生成部は、前記リモート会議の属性に基づいて、前記第２画像データとして前記撮像画像データを用いるか前記アバター画像データを用いるかを決定する、
請求項１に記載のデータ処理装置。

【請求項11】

コンピュータが実行する、
第１拠点においてリモート会議に参加する一以上の第１参加者を撮像することにより生成された第１画像データを取得するステップと、
第２拠点において前記リモート会議に参加する第２参加者の音声と、前記第２参加者に対応する第２画像データと、を取得するステップと、
前記第１画像データに前記第２画像データの少なくとも一部を合成することにより第１合成画像データを生成するステップと、
前記第１合成画像データにおける前記第２画像データの少なくとも一部の位置に基づいて前記第２参加者の音声を処理することにより第１処理済音声データを生成するステップと、
第３拠点において前記リモート会議に参加する一以上の第３参加者が前記リモート会議の視聴のために使用する一以上の電子機器に前記第１合成画像データと前記第１処理済音声データとを送信するステップと、
を有するデータ処理方法。

【請求項12】

３以上の拠点間でリモート会議を行うデータ処理システムであって、
第１拠点に設置された第１電子機器と、
第２拠点に設置された第２電子機器と、
第３拠点に設置された第３電子機器と、
前記第１拠点において前記リモート会議に参加する一以上の第１参加者を撮像することにより生成された第１画像データを前記第１電子機器から取得する第１取得部と、
前記第２拠点において前記リモート会議に参加する第２参加者の音声と、前記第２参加者に対応する第２画像データと、を前記第２電子機器から取得する第２取得部と、
前記第１画像データに前記第２画像データの少なくとも一部を合成することにより第１合成画像データを生成する画像データ生成部と、
前記第１合成画像データにおける前記第２画像データの少なくとも一部の位置に基づいて前記第２参加者の音声を処理することにより第１処理済音声データを生成する音声データ生成部と、
第３拠点において前記リモート会議に参加する一以上の第３参加者が前記リモート会議の視聴のために使用する一以上の前記第３電子機器に前記第１合成画像データと前記第１処理済音声データとを送信するデータ送信部と、
を有するデータ処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、データ処理装置、データ処理方法及びデータ処理システムに関する。

【背景技術】

【0002】

従来、離れた場所にいる複数の人が会議をするためのリモート会議システムが知られている（例えば、特許文献１を参照）。従来のリモート会議システムでは、複数の会議参加者それぞれの撮像画像を仮想の会議テーブルに配置した画像を作成することにより、臨場感を高めている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－５４１９２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来のリモート会議システムでは、複数の会議参加者それぞれの個別の撮像画像が仮想の会議テーブルに配置されていたが、一部の会議参加者が実際の会議室に集まっており、一部の会議参加者が離れた拠点から会議に参加するという場合がある。このような場合に、仮想の会議テーブルの周囲に、それぞれの拠点で撮像された画像をそのまま配置すると、臨場感が低下してしまう。

【0005】

本発明の目的の１つは、リモート会議の臨場感を向上させることにある。

【課題を解決するための手段】

【0006】

本発明の第１の態様のデータ処理装置は、３以上の拠点間でリモート会議を行うシステムにおけるデータ処理装置であって、第１拠点において前記リモート会議に参加する一以上の第１参加者を撮像することにより生成された第１画像データを取得する第１取得部と、第２拠点において前記リモート会議に参加する第２参加者の音声と、前記第２参加者に対応する第２画像データと、を取得する第２取得部と、前記第１画像データに前記第２画像データの少なくとも一部を合成することにより第１合成画像データを生成する画像データ生成部と、前記第１合成画像データにおける前記第２画像データの少なくとも一部の位置に基づいて前記第２参加者の音声を処理することにより第１処理済音声データを生成する音声データ生成部と、第３拠点において前記リモート会議に参加する一以上の第３参加者が前記リモート会議の視聴のために使用する一以上の電子機器に前記第１合成画像データと前記第１処理済音声データとを送信するデータ送信部と、を有する。

【0007】

前記データ処理装置は、前記第３拠点において前記リモート会議に参加する前記一以上の第３参加者を撮像することにより生成された第３画像データを取得する第３取得部をさらに有し、前記画像データ生成部は、前記第３画像データに前記第２画像データの少なくとも一部を合成することにより第２合成画像データをさらに生成し、前記データ送信部は、前記一以上の第１参加者が前記リモート会議の視聴のために使用する一以上の電子機器に前記第２合成画像データと前記第２参加者の音声データとをさらに送信してもよい。

【0008】

前記画像データ生成部は、前記第１画像データと前記第３画像データとを合成した第３合成画像データをさらに生成し、前記データ送信部は、前記第３合成画像データを前記第２参加者が使用する情報端末に送信してもよい。

【0009】

前記画像データ生成部は、前記第１画像データにおいて前記一以上の第１参加者が含まれていない位置に前記第２画像データの少なくとも一部を合成することにより前記第１合成画像データを生成してもよい。

【0010】

前記データ送信部は、前記第１画像データを前記第２参加者が使用する情報端末に送信し、前記画像データ生成部は、前記情報端末に表示された前記第１画像データに基づく画像において指定された位置に前記第２画像データの少なくとも一部を合成することにより前記第１合成画像データを生成してもよい。

【0011】

前記データ送信部は、前記第１画像データを前記リモート会議の主催者として登録された参加者が使用する情報端末に送信し、前記画像データ生成部は、前記情報端末に表示された前記第１画像データに基づく画像において指定された位置に前記第２画像データの少なくとも一部を合成することにより前記第１合成画像データを生成してもよい。

【0012】

前記データ送信部は、前記一以上の第１参加者が前記リモート会議の視聴のために使用する一以上の電子機器に前記第１画像データを送信し、前記画像データ生成部は、当該一以上の電子機器を介して取得した前記第１画像データに基づいて前記第１拠点に設置された表示装置が表示した前記第１画像データに基づく画像において指定された位置に前記第２画像データの少なくとも一部を合成することにより前記第１合成画像データを生成してもよい。

【0013】

前記データ送信部は、前記一以上の第３参加者が前記リモート会議の視聴のために使用する一以上の電子機器に前記第１画像データを送信し、前記画像データ生成部は、当該一以上の電子機器を介して取得した前記第１画像データに基づいて前記第３拠点に設置された表示装置が表示した前記第１画像データに基づく画像において指定された位置に前記第２画像データの少なくとも一部を合成することにより前記第１合成画像データを生成してもよい。

【0014】

前記音声データ生成部は、前記第１合成画像データにおける前記第２画像データの少なくとも一部の位置に基づいて、前記第３拠点の第１位置に設置された第１位置スピーカに出力するための第１位置音声データと、前記第３拠点の第２位置に設置された第２位置スピーカに出力するための第２位置音声データと、を含む前記第１処理済音声データを生成してもよい。

【0015】

前記リモート会議の属性の設定を受け付ける設定受付部をさらに有し、前記第２取得部は、前記第２参加者の撮像画像データ又はアバター画像データの少なくともいずれかを取得し、前記画像データ生成部は、前記リモート会議の属性に基づいて、前記第２画像データとして前記撮像画像データを用いるか前記アバター画像データを用いるかを決定してもよい。

【0016】

本発明の第２の態様のデータ処理方法は、コンピュータが実行する、第１拠点においてリモート会議に参加する一以上の第１参加者を撮像することにより生成された第１画像データを取得するステップと、第２拠点において前記リモート会議に参加する第２参加者の音声と、前記第２参加者に対応する第２画像データと、を取得するステップと、前記第１画像データに前記第２画像データの少なくとも一部を合成することにより第１合成画像データを生成するステップと、前記第１合成画像データにおける前記第２画像データの少なくとも一部の位置に基づいて前記第２参加者の音声を処理することにより第１処理済音声データを生成するステップと、第３拠点において前記リモート会議に参加する一以上の第３参加者が前記リモート会議の視聴のために使用する一以上の電子機器に前記第１合成画像データと前記第１処理済音声データとを送信するステップと、を有する。

【0017】

本発明の第３の態様のデータ処理システムは、３以上の拠点間でリモート会議を行うデータ処理システムであって、第１拠点に設置された第１電子機器と、第２拠点に設置された第２電子機器と、第３拠点に設置された第３電子機器と、前記第１拠点において前記リモート会議に参加する一以上の第１参加者を撮像することにより生成された第１画像データを前記第１電子機器から取得する第１取得部と、前記第２拠点において前記リモート会議に参加する第２参加者の音声と、前記第２参加者に対応する第２画像データと、を前記第２電子機器から取得する第２取得部と、前記第１画像データに前記第２画像データの少なくとも一部を合成することにより第１合成画像データを生成する画像データ生成部と、前記第１合成画像データにおける前記第２画像データの少なくとも一部の位置に基づいて前記第２参加者の音声を処理することにより第１処理済音声データを生成する音声データ生成部と、第３拠点において前記リモート会議に参加する一以上の第３参加者が前記リモート会議の視聴のために使用する一以上の前記第３電子機器に前記第１合成画像データと前記第１処理済音声データとを送信するデータ送信部と、を有する。

【発明の効果】

【0018】

本発明によれば、リモート会議の臨場感を向上させることができるという効果を奏する。

【図面の簡単な説明】

【0019】

【図1】データ処理システムの概要を説明するための図である。

【図2】各拠点で表示される画像の例を模式的に示す図である。

【図3】複数の拠点間での画像及び音声のデータの流れの概要を示す図である。

【図4】データ処理装置の構成を示す図である。

【図5】第２参加者が第２画像データを合成する位置を指定する方法を説明するための図である。

【図6】空席領域が作り出される例を模式的に示す図である。

【図7】空席領域が作り出された状態の画像の例を模式的に示す図である。

【図8】データ処理装置１における処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0020】

［データ処理システムＳの概要］
図１は、データ処理システムＳの概要を説明するための図である。データ処理システムＳは、複数の拠点にいる複数の人がリモート会議をするためのシステムである。以下の説明において、リモート会議に参加する人を参加者という。

【0021】

図１には、第１拠点、第２拠点及び第３拠点が示されており、これらの拠点はネットワークＮにより接続されている。ネットワークＮは、例えばインターネット又はイントラネットを含む。ネットワークＮには、データ処理装置１と各拠点の電子機器とが接続されている。ネットワークＮには、有線及び無線の少なくとも１つが含まれてよい。例えば、ネットワークＮは、有線によって構成されてもよいし、無線によって構成されてもよいし、有線区間及び無線区間の双方を含んで構成されてもよい。無線による通信には、例えば、セルラー通信、無線ＬＡＮ（local area network）通信、及び、衛星通信の少なくとも１つが含まれてよい。データ処理システムＳには、４以上の拠点が含まれていてもよい。

【0022】

第１拠点には、ルータ２１と、コンピュータ２２と、カメラ２３と、ディスプレイ２４と、スピーカ２５（スピーカ２５Ｌ及びスピーカ２５Ｒ）が設置されている。第１拠点においては、一以上の第１参加者である参加者Ａ１、Ａ２、Ａ３、Ａ４がテーブルの周囲に着席している。ルータ２１、コンピュータ２２、カメラ２３、ディスプレイ２４及びスピーカ２５は、第１拠点において参加者Ａ１、Ａ２、Ａ３、Ａ４がリモート会議を視聴するために使用する電子機器（第１電子機器に対応）である。

【0023】

本実施形態においては、カメラ２３がマイクロホンを有しており、カメラ２３が第１拠点内を撮影した第１画像に基づく第１画像データと第１拠点内の第１音声に基づく第１音声データとを生成する場合を例示するが、これらの電子機器は一体化されていてもよく、さらに多くの電子機器により同等の機能が提供されてもよい。

【0024】

第２拠点には、コンピュータ３１（第２電子機器に対応）が設置されている。コンピュータ３１は、カメラ、マイクロホン及びスピーカを有する。第２拠点においては、コンピュータ３１の前に第２参加者である参加者Ｂが着席している。コンピュータ３１は、参加者Ｂを撮影した第２画像に基づく第２画像データと参加者Ｂの第２音声に基づく第２音声データとを生成する。

【0025】

第３拠点には、ルータ４１と、コンピュータ４２と、カメラ４３と、ディスプレイ４４と、スピーカ４５（スピーカ４５Ｌ及びスピーカ４５Ｒ）が設置されている。第３拠点においては、参加者Ｃ１、Ｃ２、Ｃ３、Ｃ４がテーブルの周囲に着席している。ルータ４１、コンピュータ４２、カメラ４３、ディスプレイ４４及びスピーカ４５は、第３拠点において一以上の第３参加者である参加者Ｃ１、Ｃ２、Ｃ３、Ｃ４がリモート会議を視聴するために使用する電子機器（第３電子機器に対応）である。

【0026】

本実施形態においては、カメラ４３がマイクロホンを有しており、カメラ４３が第３拠点内を撮影した第３画像に基づく第３画像データと第３拠点内の第３音声に基づく第３音声データとを生成する場合を例示するが、これらの電子機器は一体化されていてもよく、さらに多くの電子機器により同等の機能が提供されてもよい。

【0027】

以下において、複数の参加者Ａ１、Ａ２、Ａ３、Ａ４を区別しない場合、「参加者Ａ」のように略記することがある。同様に、複数の参加者Ｃ１、Ｃ２、Ｃ３、Ｃ４を区別しない場合、「参加者Ｃ」のように略記することがある。

【0028】

第１拠点、第２拠点及び第３拠点の少なくとも１つにおいて、カメラは、例えば、複数の方向から参加者Ａ、Ｂ又はＣを撮影するために複数台設けられている。また、第１拠点、第２拠点及び第３拠点の少なくとも１つにおいて、マイクロホンは、個々の参加者Ａ、Ｂ又はＣが使用するピンマイクロホンであってもよい。

【0029】

データ処理装置１は、複数の拠点間でのリモート会議をするための各種の処理を実行するコンピュータであり、例えばクラウドサーバである。詳細については後述するが、データ処理装置１は、ある拠点から送られてきた画像及び音声を他の拠点に送信する。これにより、各拠点の参加者は、他の複数の拠点の参加者の画像を見ながら、他の複数の拠点の参加者の音声を聞くことができる。例えば、第３拠点に設置されたディスプレイ４４には、第１拠点の参加者Ａ１～Ａ４の画像とともに、第２拠点の参加者Ｂの画像が表示され、参加者Ａ１～Ａ４の音声と参加者Ｂの音声がスピーカ４５から出力される。

【0030】

ここで、例えば第１拠点の参加者Ａ１～Ａ４と第２拠点の参加者Ｂとが同じ組織（例えば部署又は会社）に属しており、参加者Ｃ１～Ｃ４が他の組織に属しているような場合、参加者Ｃ１～Ｃ４にとっては、参加者Ａ１～Ａ４と参加者Ｂとがディスプレイ４４において別々に（例えば、複数に区分された表示領域の異なる領域に）表示されていると違和感がある。そこで、データ処理装置１は、第１拠点から送られてきた第１画像に第２拠点から送られてきた第２画像データの少なくとも一部を合成することにより、参加者Ｂが第１拠点の参加者Ａ１～Ａ４と一緒に第１拠点からリモート会議に参加しているかのごとく見えるようにする。第２画像データの少なくとも一部は、第２画像データにおいて参加者Ｂが示されている領域のデータである。以下の説明において、第２画像データの少なくとも一部を合成することを、第２画像データを合成するという場合がある。また、「画像データ」は、適宜、「画像」と略称される場合がある。

【0031】

図２は、各拠点で表示される画像の例を模式的に示す図である。図２（ａ）は第１拠点のディスプレイ２４に表示される画像、図２（ｂ）は第２拠点のコンピュータ３１に表示される画像、図２（ｃ）は第３拠点のディスプレイ４４に表示される画像である。図２は、第２拠点の参加者Ｂが第１拠点の参加者Ａ１～Ａ４と同じ組織に属している場合に各拠点に表示される画像を示している。図２に示す表示態様は一例に過ぎず、後述するように、各種の設定又は条件によって表示態様が決定されてもよい。

【0032】

図２（ａ）に示すように、第１拠点には第３拠点で参加者Ｃ１～Ｃ４が撮影された第３画像に、第２拠点で参加者Ｂが撮影された第２画像が合成された画像が表示される。参加者Ｂは参加者Ｃ１～Ｃ４と異なる組織に属しているため、参加者Ｂは、参加者Ｃ１～Ｃ４が着席しているテーブルから離れた位置に表示されている。このような表示態様によって、第１拠点の参加者Ａ１～Ａ４は、参加者Ｂが参加者Ｃ１～Ｃ４の属する組織と同じ組織には属していないことを直感的に理解できる。なお、参加者Ｂの表示と共に、例えば、参加者Ｂが参加者Ｃ１～Ｃ４の属する組織とは異なる組織に属していることを示す情報が第１拠点のディスプレイ２４に表示されてもよい。

【0033】

図２（ｂ）に示すように、第２拠点には、第１拠点で参加者Ａ１～Ａ４が撮影された第１画像と第３拠点で参加者Ｃ１～Ｃ４が撮影された第３画像とが、それぞれ異なる領域に表示されている。このように表示されることで、参加者Ｂは、第１拠点の様子と第３拠点の様子を同時に見ることができる。

【0034】

図２（ｃ）に示すように、第３拠点には、第１拠点で参加者Ａ１～Ａ４が撮影された第１画像に、第２拠点で参加者Ｂが撮影された第２画像が合成された画像が表示される。参加者Ｂは参加者Ａ１～Ａ４と同じ組織に属しているため、参加者Ｂは、参加者Ａ１～Ａ４が着席しているテーブルの周囲に着席しているかのように表示されている。このような画像が第３拠点で表示されることで、参加者Ｃ１～Ｃ４は、参加者Ｂが第１拠点で参加者Ａ１～Ａ４と一緒にリモート会議に参加しているかのような臨場感を得ることができる。なお、参加者Ｂの表示と共に、例えば、参加者Ｂが第１拠点には実際には居ないこと（例えば、第１拠点へのリモート参加であること）を示す情報が第３拠点のディスプレイ４４に表示されてもよい。

【0035】

［複数の拠点間でのデータの流れ］
図３は、複数の拠点間での画像及び音声のデータの流れの概要を示す図である。第１拠点のルータ２１は、カメラ２３が生成した第１画像データ及び第１音声データをデータ処理装置１に送信する。第２拠点のコンピュータ３１は、生成した第２画像データ及び第２音声データをデータ処理装置１に送信する。第３拠点のルータ４１は、カメラ４３が生成した第３画像データ及び第３音声データをデータ処理装置１に送信する。

【0036】

データ処理装置１は、受信した第１画像データ、第２画像データ及び第３画像データの一部を合成して、各拠点に送信する合成画像データを作成する。また、データ処理装置１は、受信した第１音声データ、第２音声データ又は第３音声データを処理して、各拠点に送信する処理済音声データを作成する。処理済音声データは、例えば図２（ｃ）において、第１画像データに合成される第２画像データの位置から参加者Ｂの音声が聞こえるように第２音声が処理されたステレオ音声データ又は三次元音声データである。なお、図２（ａ）の例において、参加者Ｂはテーブルから離れた位置に表示されるため、参加者Ｂの第２音声データに対して第２画像データの合成位置に基づく音声処理を行わない方が、第１拠点の第１参加者Ａ１～Ａ４にとって自然である。したがって、データ処理装置１は、参加者Ｂの第２音声データに対して第２画像データの合成位置に基づく音声処理を行わない。

【0037】

データ処理装置１は、第１画像データに第２画像データが合成された第１合成画像データ、第２音声データが処理された第１処理済音声データ、及び第１音声データを第３拠点に送信する。データ処理装置１は、第１画像データ、第１音声データ、第３画像データ及び第３音声データを第２拠点に送信する。データ処理装置１は、第３画像データに第２画像データが合成された第２合成画像データ、第２音声データ、及び第３音声データを第１拠点に送信する。なお、データ処理装置１は、第３画像データにおける第２画像データの合成位置によっては、第１処理済音声データと同様に、第２音声データを合成位置に基づいて処理した第２処理済音声データを第１拠点に送信してもよい。例えば、参加者Ｂの第２画像データが、第３拠点の第３画像データにおいて、図２（ｃ）の例と同様に、第１拠点の第１画像データにおける合成位置と同等の位置に合成される場合、データ処理装置１は、第３画像データにおける第２画像データの合成位置に基づいて処理した第２処理済音声データを第１拠点に送信する。

【0038】

［データ処理装置１の構成及び動作］
図４は、データ処理装置１の構成を示す図である。データ処理装置１は、通信部１１と、記憶部１２と、制御部１３と、を有する。制御部１３は、第１取得部１３１と、第２取得部１３２と、第３取得部１３３と、設定受付部１３４と、画像データ生成部１３５と、音声データ生成部１３６と、データ送信部１３７と、を有する。第１取得部１３１、第２取得部１３２、及び、第３取得部１３３の一部又は全部は、１つの取得部に統合されてもよい。

【0039】

通信部１１は、ネットワークＮを介してルータ２１、コンピュータ３１又はルータ４１との間でデータを送信するための通信インターフェースを有する。通信部１１は、ルータ２１から受信した第１画像データ及び第１音声データを第１取得部１３１に入力する。通信部１１は、コンピュータ３１から受信した第２画像データ及び第２音声データを第２取得部１３２に入力する。通信部１１は、ルータ４１から受信した第３画像データ及び第３音声データを第３取得部１３３に入力する。

【0040】

通信部１１は、ルータ２１、コンピュータ３１、ルータ４１又は他の情報端末が送信した設定データを設定受付部１３４に入力する。設定データは、例えば、リモート会議の属性、参加者の属性、又は画面に表示する画像の態様を示すデータであり、リモート会議の主催者、又はいずれかの参加者により入力されたデータである。リモート会議の主催者は、複数の参加者に含まれていてもよく、複数の参加者に含まれていなくてもよい。

【0041】

また、通信部１１は、データ送信部１３７から入力された各種のデータを各拠点に送信する。具体的には、通信部１１は、図３に示したように、合成画像のデータ及び処理済音声又は未処理の音声のデータ等を各拠点において参加者がリモート会議を視聴するために使用する一以上の電子機器に送信する。

【0042】

記憶部１２は、例えばＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及びＳＳＤ（Solid State Drive）等の記憶媒体を有する。記憶部１２は、制御部１３が実行するプログラムを記憶する。また、記憶部１２は、通信部１１が受信した各種の設定データを記憶する。さらに、記憶部１２は、各拠点から送信された画像データ及び音声データを一時的に記憶する。

【0043】

制御部１３は、例えばＣＰＵ（Central Processing Unit）を有する。制御部１３は、記憶部１２に記憶されたプログラムを実行することにより、第１取得部１３１、第２取得部１３２、第３取得部１３３、設定受付部１３４、画像データ生成部１３５、音声データ生成部１３６及びデータ送信部１３７として機能する。

【0044】

第１取得部１３１は、第１拠点においてリモート会議に参加する一以上の第１参加者を撮像することにより生成された第１画像データを取得する。また、第１取得部１３１は、第１拠点において取得された一以上の第１参加者の音声を含む第１音声データを取得する。第１取得部１３１は、通信部１１を介して第１画像データ及び第１音声データを取得する。第１取得部１３１は、第１画像データを音声データ生成部１３６に入力し、第１音声データを画像データ生成部１３５に入力する。

【0045】

第２取得部１３２は、第２拠点においてリモート会議に参加する第２参加者の第２音声データと、第２参加者に対応する第２画像データと、を取得する。第２画像データは、第２拠点において第２参加者を撮像することにより生成された撮像画像データであってもよく、予め作成された第２参加者のアバター画像データであってもよい。すなわち、第２取得部１３２は、第２参加者の撮像画像データ又はアバター画像データの少なくともいずれかを取得してもよい。第２取得部１３２は、例えば、撮像画像データ及びアバター画像データのうち、画像データ生成部１３５から要求された方の画像データを取得する。

【0046】

また、第２取得部１３２は、第２拠点において取得された第２参加者の音声を含む第２音声データを取得する。第２取得部１３２は、通信部１１を介して第２画像データ及び第２音声データを取得する。第２取得部１３２は、第２画像データを画像データ生成部１３５に入力し、第２音声データを音声データ生成部１３６に入力する。

【0047】

第３取得部１３３は、第３拠点においてリモート会議に参加する一以上の第３参加者を撮像することにより生成された第３画像データを取得する。また、第３取得部１３３は、第３拠点において取得された一以上の第３参加者の音声を含む第３音声データを取得する。第３取得部１３３は、通信部１１を介して第３画像データ及び第３音声データを取得する。第３取得部１３３は、第３画像データを画像データ生成部１３５に入力し、第３音声データを音声データ生成部１３６に入力する。

【0048】

設定受付部１３４は、通信部１１を介して、リモート会議の主催者、又はいずれかの参加者により入力された設定データを取得することにより、各種の設定を受け付ける。設定受付部１３４は、不図示のキーボード及びマウス等のユーザインターフェースを介して設定を受け付けてもよい。設定受付部１３４は、例えばリモート会議の属性の設定を受け付ける。設定受付部１３４は、受け付けたリモート会議の属性を画像データ生成部１３５に通知する。

【0049】

画像データ生成部１３５は、リモート会議に参加している各拠点に設置されたディスプレイに表示される画像データを生成する。画像データ生成部１３５は、ある拠点のディスプレイに表示される画像データとして、他の複数の拠点から送られてきた複数の画像データの少なくとも一部を合成した合成画像データを生成する。画像データ生成部１３５は生成した合成画像データをデータ送信部１３７に入力する。

【0050】

一例として、画像データ生成部１３５は、図２（ｃ）に示したように、第１拠点の第１画像データ内に第２拠点の第２参加者の第２画像データを合成した第１合成画像データを生成する。画像データ生成部１３５は、図２（ａ）に示したように、第３拠点の第３画像データ内に第２拠点の第２参加者の第２画像データを合成した第２合成画像データを生成する。さらに、画像データ生成部１３５は、図２（ｂ）に示したように、第１拠点の第１画像データと第３拠点の第２画像データとを合成した第２拠点用の第３合成画像データを生成する。

【0051】

音声データ生成部１３６は、リモート会議に参加している各拠点に設置されたスピーカから出力される音声データを生成する。音声データ生成部１３６は、例えば、第１合成画像データにおける第２画像データの位置に基づいて第２参加者の音声を処理することにより、第３拠点の参加者に聞かせる音声に対応する第１処理済音声データを生成する。

【0052】

音声データ生成部１３６は、第２合成画像データにおける第２画像データの位置に基づいて第２参加者の音声を処理することにより、第１拠点の参加者に聞かせる音声に対応する第２処理済音声データを生成してもよいし、第２参加者の音声を処理せずに出力してもよい。例えば図２（ａ）に示したように、第２合成画像データにおいて第２参加者Ｂの第２画像データが第３拠点の第３参加者Ｃ１～Ｃ４から離れた位置に合成される場合、音声データ生成部１３６は、参加者Ｂの第２音声データに対して第２画像データの合成位置に基づく音声処理を適用しない。一方、第２合成画像データにおいて参加者Ｂの第２画像データが、図２（ｃ）の例と同様に、第３拠点の第３参加者Ｃ１～Ｃ４の着席するテーブルの周囲の位置に合成される場合、音声データ生成部１３６は、参加者Ｂの第２音声データに対して第２画像データの合成位置に基づく音声処理を適用する。音声データ生成部１３６は、第１拠点の第１参加者の音声と第３拠点の第３参加者の音声とを含み、第２拠点の第２参加者に聞かせるための音声データを生成してもよい。音声データ生成部１３６は生成した第１処理済音声データをデータ送信部１３７に入力する。

【0053】

音声データ生成部１３６は、ある拠点のスピーカから出力される音声データとして、他の複数の拠点から送られてきた複数の音声を含むマルチチャンネルの処理済音声データを生成する。マルチチャンネルの処理済音声データは、第１位置（例えば右側）スピーカと第２位置（例えば左側）スピーカから出力される第１位置音声データと第２位置音声データとを含む。マルチチャンネルの処理済音声データは、３以上の位置に対応する３以上の音声データを含んでもよい。

【0054】

一例として、音声データ生成部１３６は、第１合成画像データにおける第２画像の位置に基づいて、第３拠点の第１位置に設置された第１位置スピーカに出力するための第１位置音声データと、第３拠点の第２位置に設置された第２位置スピーカに出力するための第２位置音声データと、を含む第１処理済音声データを生成する。具体的には、音声データ生成部１３６は、第２参加者の第２画像の位置が第２位置よりも第１位置に近い場合に、第１位置音声データに含まれる第２参加者の音声の割合が、第２位置音声データに含まれる第２参加者の音声の割合よりも大きくなるように処理した第１処理済音声データを生成する。

【0055】

音声データ生成部１３６は、逆に、第２参加者の第２画像の位置が第１位置よりも第２位置に近い場合に、第２位置音声データに含まれる第２参加者の音声の割合が、第１位置音声データに含まれる第２参加者の音声の割合よりも大きくなるように処理した第１処理済音声データを生成する。なお、第２参加者の第２画像の位置が、第１位置及び第２位置に対してそれぞれ同等の距離である場合、音声データ生成部１３６は、第１位置音声データ及び第２位置音声データのそれぞれに含まれる第２参加者の音声の割合が同等であるように処理した第１処理済音声データを生成してよい。

【0056】

音声データ生成部１３６は、第１合成画像データにおける第２画像データの位置の第１拠点における奥行方向の位置を特定した結果にさらに基づいて、第１処理済音声データを生成してもよい。一例として、図２（ｃ）に示した例の場合、第２参加者の第２画像データの位置は、第１参加者Ａ１～Ａ４よりも奥側なので、音声データ生成部１３６は、第２参加者Ｂの音声が第１参加者Ａ１～Ａ４の音声よりも小さくなるように処理した第１処理済音声データを生成してもよい。音声データ生成部１３６がこのような第１処理済音声データを生成することで、当該データに基づく音声を聞く参加者の臨場感が高まる。

【0057】

なお、第２参加者の第２画像の位置が、第２位置よりも第１位置に近いか、第１位置よりも第２位置に近いかによらず、音声データ生成部１３６は、第２参加者の属性によって、第１位置音声データに含まれる第２参加者の音声の割合が増えるように処理した第１処理済音声データを生成してもよい。音声データ生成部１３６は、例えば、第２参加者の声の大きさ、声質、声の通りやすさといった属性を基に、上述したような音声データの割合制御を行ってもよい。具体的には、音声データ生成部１３６は、第２参加者が第１参加者よりも手前側にいるとしても、第２参加者の声の大きさが閾値未満である場合、又は声質が聞こえづらいという条件を満たす場合、第２参加者の音声の割合が増えるようにしてもよい。

【0058】

データ送信部１３７は、画像データ生成部１３５から入力された画像データ及び音声データ生成部１３６から入力された音声データを、通信部１１を介して、それぞれのデータを送信するべき拠点に向けて送信する。具体的には、データ送信部１３７は、第３拠点においてリモート会議に参加する一以上の第３参加者がリモート会議の視聴のために使用する一以上の電子機器に第１合成画像データと第１処理済音声データとを送信する。

【0059】

データ送信部１３７は、一以上の第１参加者がリモート会議の視聴のために使用する一以上の電子機器に第２合成画像データと、第２音声データ又は第２処理済音声データとをさらに送信してもよい。データ送信部１３７は、第３合成画像データを第２参加者が使用する情報端末に送信してもよい。すなわち、データ送信部１３７は、第２参加者がリモート会議の視聴のために使用するコンピュータ３１に第１画像データ、第１音声データ、第３画像データ及び第３音声データを送信してもよい。データ送信部１３７は、リモート会議の主催者又は参加者から設定を受け付けるためのデータを各拠点に向けて送信してもよい。

【0060】

なお、上述したデータ処理装置１の機能（例えば、制御部１３の各種機能）は、複数のデータ処理装置１によって実現されてもよい。例えば、画像データの生成、音声データの生成といった各種の処理は、複数のデータ処理装置１（例えば、複数のサーバのそれぞれに搭載されたプロセッサ）によって分散して行われてもよい。

【0061】

［合成画像データの生成方法］
以下、画像データ生成部１３５が合成画像データを生成する処理の詳細を説明する。
画像データ生成部１３５は、例えば、第１拠点の一以上の第１参加者が写っている第１画像データに第２拠点の第２参加者の第２画像データの少なくとも一部を合成することにより、第３拠点のディスプレイに表示される第１合成画像データを生成する。画像データ生成部１３５は、例えば図２（ｃ）に示したように、第１画像において一以上の第１参加者が含まれていない位置に第２画像データの少なくとも一部を合成することにより第１合成画像データを生成する。

【0062】

画像データ生成部１３５は、例えば、第１画像データにおける予め記憶部１２に記憶された顔の標準画像データとの類似度が閾値以上の領域を顔の領域として特定し、特定した領域と異なる領域に第２画像データを合成する。画像データ生成部１３５は、参加者の身体の領域を特定し、特定した領域と異なる領域に第２画像データを合成してもよい。

【0063】

画像データ生成部１３５が第２画像データを合成する位置を決定する方法は任意であり、記憶部１２に記憶された合成位置情報を参照することにより、予め決定された位置に第２画像データを合成してもよい。画像データ生成部１３５は、例えば、第１画像データの右上又は左上に第２画像データを合成してもよく、第１画像データの下方の領域に第２画像データを合成してもよい。第１画像データの下方の領域に第２画像データが合成された場合、第３拠点の第３参加者が、第２参加者が第１拠点の第１参加者よりも第３拠点に近いという印象を受けやすくなる。

【0064】

画像データ生成部１３５は、リモート会議の主催者又は参加者が指定した位置に第２画像データを合成してもよい。一例として、データ送信部１３７は、第１画像データを第２参加者が使用する情報端末であるコンピュータ３１に送信し、画像データ生成部１３５は、コンピュータ３１に表示された第１画像データに基づく画像において第２参加者により指定された位置に第２画像データの少なくとも一部を合成することにより第１合成画像データを生成する。画像データ生成部１３５がこのように動作することで、第２参加者は、自身が望ましいと思う位置に自身の画像が表示されるようにすることができる。なお、データ送信部１３７がコンピュータ３１に送信する第１画像データは、第１拠点から送信された第１画像データから一以上の第１参加者の画像以外の部分が改変された画像データであってもよい。

【0065】

図５は、第２参加者が第２画像データを合成する位置を指定する方法を説明するための図である。図５（ａ）は、第２拠点のコンピュータ３１に表示される、合成位置を指定するための画面である。図５（ａ）に示す画面においては、第２画像データを合成できる位置として、星マークＸ、星マークＹの位置が示されている。図５（ｂ）は、第２参加者が図５（ａ）における星マークＸの位置を指定した場合に第３拠点のディスプレイ４４に表示される第１合成画像データである。図５（ｃ）は、第２参加者が図５（ａ）における星マークＹの位置を指定した場合に第３拠点のディスプレイ４４に表示される第２合成画像データである。

【0066】

画像データ生成部１３５は、例えば、人を示す基準画像データとの類似度が閾値以上の領域を第１画像データ内で探索することにより、第１画像データにおける第１参加者の画像の領域を特定し、特定した領域以外の領域に、第２画像データを合成できる位置を示すマークを付した画像をコンピュータ３１に表示させる。画像データ生成部１３５は、特定した領域以外の領域における、第１参加者の画像の領域の大きさと同程度の大きさの領域の中心位置に、第２画像データを合成できる位置を示すマークを付した画像をコンピュータ３１に表示させてもよい。画像データ生成部１３５がこのようにして、第２画像データを合成できる位置を第２参加者に提示することで、第２参加者が適切に位置を指定することができる。

【0067】

データ送信部１３７が、第１画像データをリモート会議の主催者として登録された参加者が使用する情報端末に送信し、画像データ生成部１３５は、主催者の情報端末に表示された第１画像データに基づく画像において指定された位置に第２画像データの少なくとも一部を合成することにより第１合成画像データを生成してもよい。画像データ生成部１３５がこのように動作することで、リモート会議の主催者が、複数の参加者の関係又はリモート会議の目的等に適した位置に第２参加者の画像を配置することができる。

【0068】

データ送信部１３７が、一以上の第１参加者がリモート会議の視聴のために使用する一以上の電子機器に第１画像データを送信し、画像データ生成部１３５は、当該一以上の電子機器（例えばルータ２１又はコンピュータ２２）を介して取得した第１画像データに基づいて第１拠点に設置された表示装置であるディスプレイ２４が表示した第１画像において指定された位置に第２画像データの少なくとも一部を合成することにより第１合成画像データを生成してもよい。画像データ生成部１３５がこのように動作することで、第１拠点の参加者が第１画像データに基づく画像を見ながら席を移動して、適切な位置に第２画像データを配置することが可能になる。

【0069】

データ送信部１３７が、一以上の第３参加者がリモート会議の視聴のために使用する一以上の電子機器に第１画像データを送信し、画像データ生成部１３５は、当該一以上の電子機器（例えばルータ４１又はコンピュータ４２）を介して取得した第１画像データに基づいて第３拠点に設置された表示装置であるディスプレイ４４が表示した第１画像データに基づく画像において指定された位置に第２画像データの少なくとも一部を合成することにより第１合成画像データを生成してもよい。画像データ生成部１３５がこのように動作することで、第１合成画像データに基づく画像を見る第３参加者にとって見やすい位置に第２画像データを配置することが可能になる。

【0070】

ところで、ある拠点の複数の参加者の画像の間に他の拠点の参加者の画像を配置する方がよい場合と、拠点ごとに参加者の画像を表示させる領域を分ける方がよい場合とがある。一例として、画像データ生成部１３５は、第１拠点から送られてきた第１画像データに複数の第１参加者が含まれており、他の少なくとも１つの拠点（例えば第２拠点）から送られてきた第２画像データに１人の第２参加者が含まれている場合、図２（ｃ）に示したように、複数の第１参加者の間に第２参加者の画像を配置した第１合成画像データを生成する。

【0071】

画像データ生成部１３５は、複数の参加者が参加し得る拠点として第１拠点が登録されている場合に、複数の第１参加者の間に第２参加者の画像を配置した第１合成画像データを生成してもよい。画像データ生成部１３５がこのような第１合成画像データを生成することで、第１合成画像データに基づく画像を見る第３拠点の第３参加者の臨場感が高まる。

【0072】

画像データ生成部１３５は、第１拠点から送られてきた第１画像データに複数の第１参加者が含まれており、かつ第３拠点から送られてきた第３画像データに複数の第３参加者が含まれている場合、図２（ｂ）に示したように、第１画像データと第３画像データとを異なる領域に配置した画像データを生成する。画像データ生成部１３５は、第１拠点及び第３拠点のそれぞれが、複数の参加者が参加し得る拠点として登録されている場合に、第１画像データと第３画像データとを異なる領域に配置した画像データを生成してもよい。

【0073】

画像データ生成部１３５は、第３拠点から送られてきた第３画像データに複数の第３参加者が含まれており、他の少なくとも１つの拠点（例えば第２拠点）から送られてきた第２画像データに１人の第２参加者が含まれている場合、図２（ａ）に示したように、第１拠点のディスプレイに表示される画像データとして、第２参加者の第２画像データを第３画像データに合成することにより第２合成画像データを生成する。

【0074】

画像データ生成部１３５は、設定受付部１３４が受け付けた設定の内容に基づいて、図２（ａ）に示したように、ある拠点の複数の参加者が写っている領域と異なる領域に他の拠点の参加者の画像を配置するか、ある拠点の複数の参加者が写っている領域内に他の拠点の参加者の画像を配置するかを決定してもよい。複数の参加者が写っている領域は、例えば、複数の参加者の画像を含む最も小さな長円又は楕円の領域である。

【0075】

一例として、画像データ生成部１３５は、第１拠点の第１参加者と第２拠点の第２参加者とが同じ部署又は企業に属している場合のように、異なる拠点の参加者を同じ領域に表示させるように設定されている場合に、第１拠点の一以上の第１参加者が写っている領域内に第２参加者の第２画像を配置する。一方、画像データ生成部１３５は、第３拠点の第３参加者と第２拠点の第２参加者とが異なる部署又は企業に属している場合のように、異なる拠点の参加者を同じ領域に表示させないように設定されている場合に、第３拠点の一以上の第３参加者が写っている領域と異なる領域に第２参加者の第２画像を配置する。画像データ生成部１３５がこのように動作することで、各拠点の参加者の所属関係に適した態様で表示されるので、臨場感がさらに高まる。また、各拠点における参加者の関係性の視認性が向上し、例えば、会議の円滑な進行に資することが期待できる。

【0076】

［第２参加者の第２画像データを合成できる位置を指定することが難しい場合］
第１画像データに多数の第１参加者が含まれている場合のように、図５（ａ）に示したような位置指定が難しい場合がある。例えば、第１拠点に対応する第１画像において第２参加者が位置できる候補の位置又は領域（別言すると、空席位置又は空席領域）が存在しない場合があり得る。

【0077】

このようなケースにおいて、画像データ生成部１３５は、第１拠点に対応する第１画像データの少なくとも一部を加工あるいは改変することにより、第２参加者のための空席領域を作り出してよい。非限定的な一例として、画像データ生成部１３５は、第１画像データ又は第３画像データにおけるテーブルに対応する画像データのサイズあるいは形状を変更（例えば、長さ方向に延伸あるいは拡張）することによって、第２参加者の第２画像を配置可能な空席領域を仮想的に作り出してよい。

【0078】

図６は、空席領域が作り出される例を模式的に示す図である。図６（ａ）は、第３拠点におけるテーブルの周囲に５名の参加者Ａ１～Ａ５が位置しており、当該テーブルの周囲には第２参加者に対応する第２画像を合成可能な位置（又は領域）の候補が存在しない例を示している。

【0079】

この場合に、画像データ生成部１３５は、例えば図６（ｂ）に示すように、第１拠点の第１画像データにおけるテーブルに対応する画像データ（以下において「テーブル画像データ」と称することがある）を、テーブルの長さ方向（矢印で示す方向）に延伸加工する。このような加工によって、テーブル周囲に第２参加者の第２画像を合成可能な空席領域が仮想的に作り出される。図６（ｂ）は、テーブルを挟んで対面する２つの空席領域Ｘ１及びＹ１が作り出される例を示している。画像データ生成部１３５は、これら２つの候補である空席領域Ｘ１及びＹ１のいずれか１つを、第２参加者の画像を合成できる位置として示す画面を第２参加者に提示する。

【0080】

図７は、空席領域が作り出された状態の画像の例を模式的に示す例である。図７（ａ）においては、第１拠点のテーブルＴ１に仮想的なテーブルＴ２が追加されており、テーブルＴ２の周囲に空席領域Ｘ１及びＹ１が表示されている。この画面において第２参加者が空席領域Ｘ１又はＹ１を指定することで、画像データ生成部１３５は、指定された領域に第２参加者の第２画像を合成した、図７（ｂ）に示すような第１合成画像データを生成する。

【0081】

画像データ生成部１３５によるこのような処理によって、第２参加者の第２画像が第３拠点において表示される第３画像に合成できないようなケースを減らすことができるため、会議の臨場感を損なわずに、第２参加者を第３拠点に仮想的に登場させられる確率を高めることができる。

【0082】

なお、画像データ生成部１３５は、第１画像データ内に空席領域がないことを条件にして空席領域を作り出してもよいが、空席領域がある場合に空席領域を作り出してもよい。一例として、画像データ生成部１３５は、いずれかの参加者から、空席領域を増やすための指示を受けたことに応じて空席領域を作り出してもよい。

【0083】

また、画像データ生成部１３５は、第１画像データ内の空席領域の有無に依らずに、仮想的なテーブルＴ２を第１画像データにおいて配置してもよい。例えば、画像データ生成部１３５は、第３拠点のディスプレイ４４に表示されたテーブルＴ１に、第３拠点に配置された現実のテーブルが視覚的に繋がって見えるように仮想的なテーブルＴ２を第１画像データに配置してよい。あるいは、画像データ生成部１３５は、例えば、ディスプレイ４４に表示されたテーブルＴ１に、第３拠点に配置された現実のテーブルが近接して配置されているかのように見せるために仮想的なテーブルＴ２を第１画像データに配置してもよい。

【0084】

このような仮想テーブルＴ２の配置によって、第３拠点における参加者は、第１拠点と第３拠点とがあたかも１つの会議室空間において会議を行っているかのように感じることができ、会議の一体感や会議の臨場感を更に向上できる。

【0085】

［第２参加者の撮像画像データの加工］
ところで、第２拠点では、第２参加者が、リモート会議に使用するラップトップＰＣのような情報端末のカメラに向かって正対している場合がある。このような場合、データ処理装置１において取得される第２拠点の第２画像データは、第２参加者を正面から撮像した画像データ（以下、「正面画像データ」も称する）である。

【0086】

このような正面画像データを第１画像データ（又は第３拠点の第３画像データ）にそのまま合成した場合、第１画像データ（又は第３画像データ）において、第１拠点（又は第３拠点）における参加者の顔の向き又は身体の向きと、第２参加者の顔の向き又は身体の向きとが一致しない可能性がある。

【0087】

例えば、第１拠点のディスプレイ２４に視線を向けた姿勢の第１参加者が含まれる第１画像データに、第２拠点における第２参加者の正面画像データをそのまま合成した場合、ディスプレイ２４から逸れた方向に視線を向けた姿勢の第２参加者が含まれる合成画像データが生成される。第３拠点の第３画像データに第２参加者の正面画像データが合成される場合も同様である。

【0088】

このような場合、不自然な向きに配置された第２参加者を含む合成画像データが、第３拠点又は第１拠点において表示されるため、リモート会議の一体感あるいは臨場感が低下し得る。このような不自然さを低減すべく、画像データ生成部１３５は、第２画像データを加工（例えば、変形）することにより、合成画像データにおける第２参加者の向きを調整してよい。

【0089】

例えば、画像データ生成部１３５は、第２画像データにおける第２参加者の顔領域に対応する画像データ（以下、「顔画像データ」とも称する）を、視線方向がディスプレイ２４（又はディスプレイ４４）に向かう方向となるように変形する。一例として、画像データ生成部１３５は、第２画像データの手前方向に視線方向が向くように顔画像データを変形する。また、画像データ生成部１３５は、例えば、第２画像データにおける第２参加者の身体領域に対応する画像データ（以下、「身体画像データ」とも称する）を、第１画像データ（又は第３画像データ）におけるテーブルの配置方向に基づいて、当該テーブルに向かう方向に変形する。

【0090】

別言すると、画像データ生成部１３５は、第２画像データに含まれる顔画像と身体画像とに個別に（例えば、異なる）画像処理を施すことにより第２参加者の撮像画像データを変形してよい。

【0091】

以上のような第２画像データの加工処理によって、第１拠点（又は第３拠点）において表示される合成画像データにおける第２参加者の不自然さを軽減できる。したがって、リモート会議の一体感あるいは臨場感が低下することを抑制できる。

【0092】

［撮像画像とアバター画像の利用］
各拠点に設置されたディスプレイに表示される画像には、各参加者の撮像画像が表示されてもよいが、各参加者のアバター画像が表示されてもよい。画像データ生成部１３５は、例えば設定受付部１３４が受け付けたリモート会議の主催者又は参加者による設定の内容に基づいて、各参加者の撮像画像データを含む合成画像データを生成するか、各参加者のアバター画像データを含む合成画像データを生成するかを決定する。

【0093】

画像データ生成部１３５は、ディスプレイに同時に表示される複数の拠点の複数の参加者の画像が、撮像画像又はアバター画像のいずれかに統一されるようにしてもよい。一例として、画像データ生成部１３５は、第１拠点の第１参加者の画像をアバター画像とすることが設定された場合、第２拠点の第２参加者の画像を撮像画像にするかアバター画像にするかの設定が行われていないとしても、第１参加者のアバター画像データが含まれる第１画像データに第２参加者のアバター画像データを合成することにより第１合成画像データを生成する。

【0094】

一方、画像データ生成部１３５は、第１拠点の第１参加者の画像を撮像画像とすることが設定された場合、第２拠点の第２参加者の画像を撮像画像にするかアバター画像にするかの設定が行われていないとしても、第１参加者の撮像画像データが含まれる第１画像データに第２参加者の撮像画像データを合成することにより第１合成画像データを生成する。このように、画像データ生成部１３５が、撮像画像データ又はアバター画像データのいずれか一方により構成される合成画像データを生成することで、一部の参加者の画像の種類が異なることによる違和感が生じることを防げる。

【0095】

画像データ生成部１３５は、設定受付部１３４を介して設定されたリモート会議の属性に基づいて、第２画像データとして撮像画像データを用いるかアバター画像データを用いるかを決定してもよい。一例として、画像データ生成部１３５は、リモート会議の属性が社内会議である場合に第２画像データとしてアバター画像データを使用し、リモート会議の属性が社外の人との会議である場合に撮像画像データを使用する。画像データ生成部１３５がこのように動作することで、例えば、アバター画像を表示すれば足りるリモート会議のために第２参加者が服装を整える必要がなくなる。

【0096】

［データ処理装置１における処理の流れ］
図８は、データ処理装置１における処理の流れを示すフローチャートである。図８に示すフローチャートは、リモート会議の主催者がリモート会議を開始する操作を行い、リモート会議を開始する要求を設定受付部１３４が取得した時点から開始している。

【0097】

リモート会議が開始すると、第１取得部１３１から第３取得部１３３は、第１画像データ、第２画像データ、第３画像データを取得する（Ｓ１１）。図８には示していないが、第１取得部１３１から第３取得部１３３は、継続的に第１画像データ、第２画像データ、第３画像データを取得する。

【0098】

この間、設定受付部１３４は、第２画像データを合成する位置を指定する要求が第２拠点のコンピュータ３１から送信されてきたか否かを監視する（Ｓ１２）。設定受付部１３４が、合成位置を指定する要求を受けたと判定した場合（Ｓ１２においてＹＥＳ）、画像データ生成部１３５は、第２参加者が第１拠点の参加者と同じ組織に所属しているか否かを判定する（Ｓ１３）。

【0099】

画像データ生成部１３５は、第２参加者が第１拠点の参加者と同じ組織に所属していると判定した場合（Ｓ１３においてＹＥＳ）、第１画像データに基づく位置指定画面データを第２拠点のコンピュータ３１に送信する（Ｓ１４）。画像データ生成部１３５は、第２参加者が第１拠点の参加者と同じ組織に所属しておらず第３拠点の参加者と同じ組織に所属していると判定した場合（Ｓ１３においてＮＯ）、第３画像データに基づく位置指定画面を第２拠点のコンピュータ３１に送信する（Ｓ１５）。画像データ生成部１３５は、位置指定画面をコンピュータ３１に送信した後に、第２参加者が指定した位置を示す情報をコンピュータ３１から取得した場合、当該情報が示す位置を第２画像の合成位置に決定する（Ｓ１６）。

【0100】

Ｓ１２において所定の期間にわたって合成位置を指定する要求が送られてこない場合（Ｓ１２においてＮＯ）、画像データ生成部１３５は、第２参加者の指示によることなく第２画像データの合成位置を決定する（Ｓ１６）。一例として、画像データ生成部１３５は、第２参加者が第１拠点の参加者と同じ組織に所属している場合に、第１画像データにおいて第１参加者の画像データが含まれていない領域内の位置を第２画像データの合成位置に決定し、第２参加者が第３拠点の参加者と同じ組織に所属している場合に、第３画像データにおいて第３参加者の画像が含まれていない領域内の位置を第２画像データの合成位置に決定する。

【0101】

続いて、画像データ生成部１３５は、第１画像データ又は第３画像データにおける合成位置に第２画像データを配置することにより、合成画像データを生成する（Ｓ１７）。また、音声データ生成部１３６は、第１画像データにおける第２画像データの合成位置に基づいて処理済音声データを生成する（Ｓ１８）。一方、音声データ生成部１３６は、第３画像データにおける第２画像データの合成位置に基づいた音声処理は行わずに第２参加者の未処理の音声データを出力する。なお、第１参加者、第２参加者、及び、第３参加者の全てが同じ組織に所属している場合、画像データ生成部１３５は、第１画像データ及び第３画像データの双方に第２画像データを合成してもよい。この場合、音声データ生成部１３６は、第１画像データ及び第３画像データにおける第２画像データそれぞれの合成位置に基づいて処理済音声データを生成する。データ送信部１３７は、画像データ生成部１３５が生成した合成画像データ、及び音声データ生成部１３６が生成した処理済音声データあるいは未処理の音声データを、各データに対応する拠点に送信する（Ｓ１９）。なお、合成画像データの生成（Ｓ１７）は、処理済音声データの生成（Ｓ１８）よりも後に行われてもよいし、処理済音声データの生成（Ｓ１８）と並行して行われてもよい。

【0102】

設定受付部１３４がリモート会議を終了するための指示をリモート会議の主催者から受けていない場合（Ｓ２０においてＮＯ）、第１取得部１３１から第３取得部１３３は、第１画像データ、第２画像データ、第３画像データを取得し（Ｓ２１）、画像データ生成部１３５、音声データ生成部１３６及びデータ送信部１３７は、Ｓ１７からＳ１９までの処理を繰り返す。設定受付部１３４がリモート会議を終了するための指示をリモート会議の主催者から受けた場合（Ｓ２０においてＹＥＳ）、制御部１３は処理を終了する。

【0103】

［変形例１］
以上の説明においては、第２拠点が１つだけであり、第２参加者が１名だけであったが、第２拠点が複数存在してもよく、第２拠点に複数の第２参加者がいてもよい。この場合、画像データ生成部１３５は、複数の第２参加者に対応する複数の第２画像データそれぞれの一部を、第１画像データにおける一以上の第１参加者に対応する位置と異なる位置、又は、第３画像データにおける一以上の第３参加者に対応する位置と異なる位置に合成する。

【0104】

また、第１拠点の参加者と第３拠点の参加者とが同じ組織に属しており、第２拠点に表示される画像において、第１拠点の一以上の第１参加者と第３拠点の一以上の第３参加者とが混在した状態で表示される方がよいという場合もある。このような場合、画像データ生成部１３５は、第１画像データ及び第３画像データから、一以上の第１参加者の画像データと一以上の第３参加者の画像データとを抽出し、抽出した複数の画像データを合成することにより、第２拠点に送信する合成画像データを生成してもよい。

【0105】

［データ処理装置１による効果］
以上説明したように、画像データ生成部１３５は、第１拠点、第２拠点、第３拠点に参加者がいるリモート会議において、第１拠点で撮影された一以上の第１参加者の画像データを含む第１画像データに、第２拠点で撮影された第２参加者の第２画像データの少なくとも一部を合成することにより合成画像データを生成する。また、音声データ生成部１３６は、合成画像データにおける第２画像データの位置に基づいて第２参加者の音声を処理することにより処理済音声データを生成する。そして、データ送信部１３７は、合成画像データ及び処理済音声データを第３拠点における第３参加者が視聴できるように、第３拠点の一以上の電子機器に送信する。データ処理装置１がこのように構成されていることで、第３拠点の第３参加者は、第１拠点の一以上の第１参加者と一緒に第２参加者がリモート会議に参加しているような臨場感を得ることができる。

【0106】

上述した実施の形態において、「画像データ」には２次元データに限られず３次元データ（例えば、参加者を立体的に表すホログラムデータ）が含まれてもよい。例えば、３次元ホログラフィ技術によって参加者を立体的に表示（あるいは投影）する場合に、上述した実施の形態において説明したような画像処理が適用されてもよい。

【0107】

上述した実施の形態において、「拠点」という用語は、例えば、「ベース」、「スペース」、「会議室」、あるいは「部屋」といった、リモート会議に参加する人が位置する場所を意味する用語に読み替えられてもよい。「組織」という用語は、例えば、「団体」、「グループ」、「チーム」、あるいは「サークル」といった人の集まり（集団）を意味する用語に読み替えられてもよい。また、「送信」という用語は、例えば、「出力」に読み替えられてよく、「（画像データの）合成」という用語は、例えば、「重畳」に読み替えられてもよい。「特定」という用語は、例えば、「検出」あるいは「識別」に読み替えられてもよい。

【0108】

また、上述した実施の形態に例示した構成について使用した「～部」という用語は、例えば、「～手段」、「～回路」、あるいは「～デバイス」といった他の用語に互いに読み替えられてもよい。

【0109】

また、上述した実施の形態において、「第１」、「第２」、「第３」といった用語は、２以上の要素間を区別するために便宜的に用いられ、当該用語が参照する要素の物理量、優劣、あるいは順序を限定しない。

【0110】

なお、本発明により、国連が主導する持続可能な開発目標（SDGs）の目標９「産業と技術革新の基盤をつくろう」に貢献することが可能となる。

【0111】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。

【符号の説明】

【0112】

１ データ処理装置
１１ 通信部
１２ 記憶部
１３ 制御部
２１ ルータ
２２ コンピュータ
２３ カメラ
２４ ディスプレイ
２５ スピーカ
３１ コンピュータ
４１ ルータ
４２ コンピュータ
４３ カメラ
４４ ディスプレイ
４５ スピーカ
１３１ 第１取得部
１３２ 第２取得部
１３３ 第３取得部
１３４ 設定受付部
１３５ 画像データ生成部
１３６ 音声データ生成部
１３７ データ送信部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】