特開 2024-120351 データ処理装置、データ処理方法及びデータ処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024120351

(43)【公開日】2024-09-05

(54)【発明の名称】データ処理装置、データ処理方法及びデータ処理システム

(51)【国際特許分類】

   H04N 7/15 20060101AFI20240829BHJP

   H04N 21/2343 20110101ALI20240829BHJP

【ＦＩ】

H04N7/15

H04N21/2343

【審査請求】有

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2023027088

(22)【出願日】2023-02-24

(71)【出願人】

【識別番号】523066772

【氏名又は名称】ＫＤＤＩアジャイル開発センター株式会社

(74)【代理人】

【識別番号】110004222

【氏名又は名称】弁理士法人創光国際特許事務所

(74)【代理人】

【識別番号】100166006

【弁理士】

【氏名又は名称】泉 通博

(74)【代理人】

【識別番号】100154070

【弁理士】

【氏名又は名称】久恒 京範

(74)【代理人】

【識別番号】100153280

【弁理士】

【氏名又は名称】寺川 賢祐

(72)【発明者】

【氏名】南 翔太郎

(72)【発明者】

【氏名】本田 悠真

(72)【発明者】

【氏名】浅川 善則

【テーマコード（参考）】

5C164

【Ｆターム（参考）】

5C164FA10

5C164GA07

5C164PA31

5C164PA41

5C164SB02P

5C164SB04S

5C164VA13P

(57)【要約】

【課題】リモート会議の臨場感を向上させる。
【解決手段】複数の拠点間でリモート会議を行うシステムにおけるデータ処理装置１は、リモート会議に参加する複数の参加者を示す、複数の拠点に対応する複数の拠点画像データを取得し、複数の拠点ごとに、複数の拠点の数に対応する形状に複数の他の拠点に対応する拠点画像データを変形することにより複数の変形画像データを生成する。そして、データ処理装置１は、複数の拠点の数に対応する位置に複数の変形画像データが配置された合成画像データを生成し、複数の拠点に対応する一以上の電子機器に、複数の拠点それぞれに対応する合成画像データを送信する。
【選択図】図６

【特許請求の範囲】

【請求項1】

複数の拠点間でリモート会議を行うシステムにおけるデータ処理装置であって、
前記リモート会議に参加する複数の参加者を示す、前記複数の拠点に対応する複数の拠点画像データを取得する画像データ取得部と、
前記複数の拠点ごとに、前記複数の拠点の数に対応する形状に複数の他の拠点に対応する前記拠点画像データを変形することにより複数の変形画像データを生成し、前記複数の拠点の数に対応する位置に前記複数の変形画像データが配置された合成画像データを生成する画像データ生成部と、
前記複数の拠点に対応する一以上の電子機器に、前記複数の拠点それぞれに対応する前記合成画像データを送信するデータ送信部と、
を有するデータ処理装置。

【請求項2】

前記画像データ生成部は、前記複数の拠点の数から１を減算した数の前記複数の変形画像データが配置された前記合成画像データを生成する、
請求項１に記載のデータ処理装置。

【請求項3】

前記画像データ生成部は、前記複数の拠点の数から１を減算した数の前記複数の変形画像データが左右対称に配置された前記合成画像データを生成する、
請求項２に記載のデータ処理装置。

【請求項4】

前記画像データ生成部は、前記合成画像データを送信する対象となる拠点以外の複数の拠点に対応する前記複数の拠点画像データに基づく前記複数の変形画像データが配置された前記合成画像データを生成する、
請求項１に記載のデータ処理装置。

【請求項5】

前記画像データ生成部は、前記拠点画像データに含まれる顔画像データと身体画像データとにそれぞれ異なる画像処理を施すことにより前記複数の変形画像データを生成する、
請求項１に記載のデータ処理装置。

【請求項6】

前記画像データ生成部は、前記複数の拠点それぞれに対応する机画像データの配置方向に基づいて前記身体画像データを変形することにより前記複数の変形画像データを生成する、
請求項５に記載のデータ処理装置。

【請求項7】

前記リモート会議への参加者から、前記複数の拠点から選択した拠点の設定を受け付ける設定受付部をさらに有し、
前記画像データ生成部は、当該参加者に対応する参加者画像データを、当該参加者が選択した拠点に対応する前記拠点画像データに合成することにより前記合成画像データを生成する、
請求項１に記載のデータ処理装置。

【請求項8】

前記複数の拠点の数の設定を受け付ける設定受付部をさらに有し、
前記画像データ生成部は、前記設定受付部が受け付けた前記複数の拠点の数に対応する形状に前記拠点画像データを変形することにより前記複数の変形画像データを生成する、
請求項１から７のいずれか１項に記載のデータ処理装置。

【請求項9】

前記複数の拠点において集音された音声に基づく複数の拠点音声データを取得する音声データ取得部と、
前記合成画像データにおける前記複数の変形画像データそれぞれの位置に基づいて前記複数の拠点音声データを処理することにより処理済音声データを生成する音声データ生成部と、
をさらに有し、
前記データ送信部は、前記複数の拠点に対応する一以上の電子機器に、前記複数の拠点それぞれと異なる複数の拠点で集音された音声に対応する複数の前記処理済音声データを送信する、
請求項１に記載のデータ処理装置。

【請求項10】

前記音声データ生成部は、前記複数の拠点の少なくともいずれかの第１位置に設置された第１位置スピーカに出力するための第１位置音声データと、前記複数の拠点の少なくともいずれかの第２位置に設置された第２位置スピーカに出力するための第２位置音声データと、を含む前記処理済音声データを生成する、
請求項９に記載のデータ処理装置。

【請求項11】

コンピュータが実行する、
複数の拠点間でリモート会議を行うシステムにおける前記リモート会議に参加する複数の参加者を示す、前記複数の拠点に対応する複数の拠点画像データを取得するステップと、
前記複数の拠点ごとに、前記複数の拠点の数に対応する形状に複数の他の拠点に対応する前記拠点画像データを変形することにより複数の変形画像データを生成するステップと、
前記複数の拠点の数に対応する位置に前記複数の変形画像データが配置された合成画像データを生成するステップと、
前記複数の拠点に対応する一以上の電子機器に、前記複数の拠点それぞれに対応する前記合成画像データを送信するステップと、
を有するデータ処理方法。

【請求項12】

複数の拠点間でリモート会議を行うデータ処理システムであって、
前記複数の拠点のそれぞれに設置された一以上の電子機器と、
前記リモート会議に参加する複数の参加者を示す、前記複数の拠点に対応する複数の拠点画像データを取得する画像データ取得部と、
前記複数の拠点ごとに、前記複数の拠点の数に対応する形状に複数の他の拠点に対応する前記拠点画像データを変形することにより複数の変形画像データを生成し、前記複数の拠点の数に対応する位置に前記複数の変形画像データが配置された合成画像データを生成する画像データ生成部と、
前記複数の拠点に対応する前記一以上の電子機器に、前記複数の拠点それぞれに対応する前記合成画像データを送信するデータ送信部と、
を有するデータ処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、データ処理装置、データ処理方法及びデータ処理システムに関する。

【背景技術】

【0002】

従来、離れた場所にいる複数の人が会議をするためのリモート会議システムが知られている（例えば、特許文献１を参照）。従来のリモート会議システムでは、複数の会議参加者それぞれの撮像画像を仮想の会議テーブルに配置した画像を作成することにより、臨場感を高めている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－５４１９２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来のリモート会議システムでは、複数の会議参加者それぞれの個別の撮像画像が仮想の会議テーブルに配置されていたが、複数の拠点の会議室のそれぞれに複数の参加者が集まっているという場合がある。このような場合に、仮想の会議テーブルの周囲に各拠点で撮像された画像をそのまま配置した合成画像が各会議室で表示されると、臨場感が低下してしまう。

【0005】

本発明の目的の１つは、リモート会議の臨場感を向上させることにある。

【課題を解決するための手段】

【0006】

本発明の第１の態様のデータ処理装置は、複数の拠点間でリモート会議を行うシステムにおけるデータ処理装置であって、前記リモート会議に参加する複数の参加者を示す、前記複数の拠点に対応する複数の拠点画像データを取得する画像データ取得部と、前記複数の拠点ごとに、前記複数の拠点の数に対応する形状に複数の他の拠点に対応する前記拠点画像データを変形することにより複数の変形画像データを生成し、前記複数の拠点の数に対応する位置に前記複数の変形画像データが配置された合成画像データを生成する画像データ生成部と、前記複数の拠点に対応する一以上の電子機器に、前記複数の拠点それぞれに対応する前記合成画像データを送信するデータ送信部と、を有する。

【0007】

前記画像データ生成部は、前記複数の拠点の数から１を減算した数の前記複数の変形画像データが配置された前記合成画像データを生成してもよい。

【0008】

前記画像データ生成部は、前記複数の拠点の数から１を減算した数の前記複数の変形画像データが左右対称に配置された前記合成画像データを生成してもよい。

【0009】

前記画像データ生成部は、前記合成画像データを送信する対象となる拠点以外の複数の拠点に対応する前記複数の拠点画像データに基づく前記複数の変形画像データが配置された前記合成画像データを生成してもよい。

【0010】

前記画像データ生成部は、前記拠点画像データに含まれる顔画像データと身体画像データとにそれぞれ異なる画像処理を施すことにより前記複数の変形画像データを生成してもよい。

【0011】

前記画像データ生成部は、前記複数の拠点それぞれに対応する机画像データの配置方向に基づいて前記身体画像データを変形することにより前記複数の変形画像データを生成してもよい。

【0012】

前記データ処理装置は、前記リモート会議への参加者から、前記複数の拠点から選択した拠点の設定を受け付ける設定受付部をさらに有し、前記画像データ生成部は、当該参加者に対応する参加者画像データを、当該参加者が選択した拠点に対応する前記拠点画像データに合成することにより前記合成画像データを生成してもよい。

【0013】

前記データ処理装置は、前記複数の拠点の数の設定を受け付ける設定受付部をさらに有し、前記画像データ生成部は、前記設定受付部が受け付けた前記複数の拠点の数に対応する形状に前記拠点画像データを変形することにより前記複数の変形画像データを生成してもよい。

【0014】

前記データ処理装置は、前記複数の拠点において集音された音声に基づく複数の拠点音声データを取得する音声データ取得部と、前記合成画像データにおける前記複数の変形画像データそれぞれの位置に基づいて前記複数の拠点音声データを処理することにより処理済音声データを生成する音声データ生成部と、をさらに有し、前記データ送信部は、前記複数の拠点に対応する一以上の電子機器に、前記複数の拠点それぞれと異なる複数の拠点で集音された音声に対応する複数の前記処理済音声データを送信してもよい。

【0015】

前記音声データ生成部は、前記複数の拠点の少なくともいずれかの第１位置に設置された第１位置スピーカに出力するための第１位置音声データと、前記複数の拠点の少なくともいずれかの第２位置に設置された第２位置スピーカに出力するための第２位置音声データと、を含む前記処理済音声データを生成してもよい。

【0016】

本発明の第２の態様のデータ処理方法は、コンピュータが実行する、複数の拠点間でリモート会議を行うシステムにおける前記リモート会議に参加する複数の参加者を示す、前記複数の拠点に対応する複数の拠点画像データを取得するステップと、前記複数の拠点ごとに、前記複数の拠点の数に対応する形状に複数の他の拠点に対応する前記拠点画像データを変形することにより複数の変形画像データを生成するステップと、前記複数の拠点の数に対応する位置に前記複数の変形画像データが配置された合成画像データを生成するステップと、前記複数の拠点に対応する一以上の電子機器に、前記複数の拠点それぞれに対応する前記合成画像データを送信するステップと、を有する。

【0017】

本発明の第３の態様のデータ処理システムは、複数の拠点間でリモート会議を行うデータ処理システムであって、前記複数の拠点のそれぞれに設置された一以上の電子機器と、前記リモート会議に参加する複数の参加者を示す、前記複数の拠点に対応する複数の拠点画像データを取得する画像データ取得部と、前記複数の拠点ごとに、前記複数の拠点の数に対応する形状に複数の他の拠点に対応する前記拠点画像データを変形することにより複数の変形画像データを生成し、前記複数の拠点の数に対応する位置に前記複数の変形画像データが配置された合成画像データを生成する画像データ生成部と、前記複数の拠点に対応する前記一以上の電子機器に、前記複数の拠点それぞれに対応する前記合成画像データを送信するデータ送信部と、を有する。

【発明の効果】

【0018】

本発明によれば、リモート会議の臨場感を向上させるという効果を奏する。

【図面の簡単な説明】

【0019】

【図1】データ処理システムの概要を説明するための図である。

【図2】個々の拠点において参加者がカメラによって撮像される様子を上方から見たときの模式的な平面図である。

【図3】個々の拠点画像データにおけるテーブルを拠点数に対応したレイアウトで仮想的に配置した様子を上方から見たときの模式的な平面図である。

【図4】図３に例示したテーブルレイアウトにて或る拠点で表示される画面の一例を模式的に示す図である。

【図5】複数の拠点間での画像及び音声のデータの流れの概要を示す図である。

【図6】データ処理装置の構成を示す図である。

【図7】リモート参加者が画像データを合成する位置を指定する方法を説明するための図である。

【図8】リモート参加者の画像データが合成される位置の候補を説明するための模式的な図である。

【図9】リモート参加者のための空席領域が作り出される例を模式的に示す図である。

【図10】データ処理装置１における処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0020】

［データ処理システムＳの概要］
図１は、データ処理システムＳの概要を説明するための図である。データ処理システムＳは、複数の拠点にいる複数の人がリモート会議をするためのシステムである。以下の説明において、リモート会議に参加する人を参加者という。

【0021】

図１には、複数の拠点である第１拠点、第２拠点、・・・、第ｎ拠点（ｎは３以上の整数）が示されており、これらの拠点はネットワークＮにより接続されている。ネットワークＮは、例えばインターネット又はイントラネットを含む。ネットワークＮには、データ処理装置１と各拠点の電子機器とが接続されている。ネットワークＮには、有線及び無線の少なくとも１つが含まれてよい。例えば、ネットワークＮは、有線によって構成されてもよいし、無線によって構成されてもよいし、有線区間及び無線区間の双方を含んで構成されてもよい。無線による通信には、例えば、セルラー通信、無線ＬＡＮ（local area network）通信、及び、衛星通信の少なくとも１つが含まれてよい。

【0022】

以下において、第１拠点～第ｎ拠点の拠点番号を「ｉ」（ｉは１～ｎの何れか１つ）で表し、かつ、当該拠点番号ｉの第ｉ拠点に位置する参加者の人数を１以上の整数である「ｊ」で表すこととして、個々の拠点（第ｉ拠点）の参加者を「Ａｉ－ｊ」と表記することがある。また、或る拠点（ｉ）における個々の参加者（ｊ）を区別しない場合、「参加者Ａｉ」のように略記することがあり、個々の拠点（ｉ）及び個々の参加者（ｊ）の双方を区別しない場合、「参加者Ａ」のように略記することがある。

【0023】

第ｉ拠点には、ルータ２１－ｉと、コンピュータ２２－ｉと、カメラ２３－ｉと、ディスプレイ２４－ｉと、スピーカ２５－ｉ（スピーカ２５Ｌ－ｉ及びスピーカ２５Ｒ－ｉ）が設置されている。第ｉ拠点においては、例示的に、一以上の参加者Ａｉ－１、Ａｉ－２、Ａｉ－３、Ａｉ－４がテーブルの周囲に着席している。ルータ２１－ｉ、コンピュータ２２－ｉ、カメラ２３－ｉ、ディスプレイ２４－ｉ及びスピーカ２５－ｉは、第ｉ拠点において参加者Ａｉ－１、Ａｉ－２、Ａｉ－３、Ａｉ－４がリモート会議を視聴するために使用する電子機器（第ｉ電子機器に対応）である。

【0024】

以下において、個々の拠点におけるコンピュータ２２－ｉ、カメラ２３－ｉ、ディスプレイ２４－ｉ、及び、スピーカ２５－ｉといった電子機器を区別しない場合、コンピュータ２２、カメラ２３、ディスプレイ２４、及び、スピーカ２５のように拠点番号ｉの付記を略すことがある。

【0025】

本実施形態においては、カメラ２３－ｉがマイクロホンを有しており、カメラ２３－ｉが第ｉ拠点内を撮影した第ｉ画像に基づく第ｉ画像データと第ｉ拠点内の第ｉ音声に基づく第ｉ音声データとを生成する場合を例示するが、これらの電子機器は一体化されていてもよく、さらに多くの電子機器により同等の機能が提供されてもよい。

【0026】

例えば、第ｉ拠点において、カメラ、マイクロホン及びスピーカを有するコンピュータ２２の前に一以上の参加者Ａｉが着席しており、コンピュータ２２が、当該参加者Ａｉを撮影した第ｉ画像に基づく第ｉ画像データと当該参加者Ａの第ｉ音声に基づく第ｉ音声データとを生成してもよい。

【0027】

なお、図１においては、第１拠点～第ｎ拠点のそれぞれが同等の構成あるいは配置を有するものとして記載するが、第１拠点～第ｎ拠点の一部又は全部が異なる構成あるいは配置であってもよい。また、第１拠点～第ｎ拠点の一部又は全部において、リモート会議に参加する参加者Ａの人数は異なっていてもよい。別言すると、個々の拠点（ｉ）において参加者Ａの人数（ｊ）は同じでもよいし異なっていてもよい。また、第ｉ拠点のそれぞれにおいてカメラ２３－ｉによって撮像された画像データを以下において「第ｉ拠点画像データ」あるいは単に「拠点画像データ」と称することがある。また、「画像データ」は、適宜、「画像」と略称される場合がある。

【0028】

第１拠点～第ｎ拠点の少なくとも１つにおいて、カメラ２３は、例えば、複数の方向から参加者Ａを撮影するために複数台設けられている。また、第１拠点～第ｎ拠点の少なくとも１つにおいて、マイクロホンは、個々の参加者Ａが使用するピンマイクロホンであってもよい。

【0029】

データ処理装置１は、複数の拠点間でのリモート会議をするための各種の処理を実行するコンピュータであり、例えばクラウドサーバである。詳細については後述するが、データ処理装置１は、ある拠点から送られてきた画像及び音声を他の拠点に送信する。これにより、各拠点の参加者は、他の複数の拠点の参加者の画像を見ながら、他の複数の拠点の参加者の音声を聞くことができる。

【0030】

例えば、第ｉ拠点において、ディスプレイ２４－ｉには、第ｉ拠点を除いた他の複数の第ｋ拠点（ｋは、ｋ≠ｉを満たす１～ｎの何れか１つ以上である）の参加者Ａｋの画像が表示され、参加者Ａｋの音声がスピーカ２５－ｉから出力される。

【0031】

図２は、個々の拠点において参加者がカメラ２３によって撮像される様子を上方から見たときの模式的な平面図である。図２（ａ）は、或る拠点においてテーブルＴｉ（ｉは既述の拠点番号を表す）に向かって３人の参加者Ａｉ－１、Ａｉ－２、及び、Ａｉ－３が着席しており、テーブルＴｉと各参加者Ａｉとを含む空間が、撮像方向を各参加者Ａｉに向かう方向に設置されたカメラ２３によって撮像される様子を示す。図２（ｂ）は、図２（ａ）に示したように、カメラ２３によってテーブルＴｉと各参加者Ａｉとが撮像された拠点画像の一例を示す。

【0032】

ここで、例えば、第ｋ拠点それぞれの拠点画像データが、第ｉ拠点のディスプレイ２４－ｉにおいて別々に（例えば、複数（ｎ－１）個に区分された表示領域の異なる領域に）そのまま表示されるとリモート会議の一体感あるいは臨場感が低下する。そこで、データ処理装置１は、例えば、第ｉ拠点を除いた複数の第ｋ拠点のそれぞれから送られてきた複数（ｎ－１個）の拠点画像データを変形して合成する。

【0033】

非限定的な一例として、データ処理装置１は、第ｉ拠点に位置する参加者Ａｉにとって、他の第ｋ拠点に位置する参加者Ａｋが、第ｋ拠点におけるそれぞれのテーブル（又は机）を１つの会議室空間において特定のレイアウトに配置した状態で参加しているかのごとく見えるように各拠点画像データを変形して合成する。

【0034】

図３は、個々の拠点画像データにおけるテーブルを拠点数ｎに対応したレイアウトで仮想的に配置した様子を上方から見たときの模式的な平面図である。図３（ａ）は、拠点数ｎ＝３の場合に、３つの拠点のテーブルＴ１～Ｔ３が三角形のレイアウトで配置された例を示す。図３（ｂ）は、ｎ＝４の場合に、４つの拠点のテーブルＴ１～Ｔ４が四角形のレイアウトで配置された例を示す。

【0035】

図４は、図３に例示したテーブルレイアウトにて第１拠点のディスプレイ２４－１に表示される画面の一例を模式的に示す図である。図４（ａ）は、図３（ａ）に例示した三角形のテーブルレイアウトにおいて第２拠点のテーブルＴ２及び第３拠点のテーブルＴ３のそれぞれに第２拠点の参加者Ａ２－１、Ａ２－２、Ａ２－３及び第３拠点の参加者Ａ３－１、Ａ３－２が着席してリモート会議に参加している様子を示す。

【0036】

図４（ｂ）は、図３（ｂ）に例示した四角形のテーブルレイアウトにおいて、第２拠点のテーブルＴ２に第２拠点の参加者Ａ２－１、Ａ２－２、Ａ２－３が着席し、第３拠点のテーブルＴ３に第３拠点の参加者Ａ３－１、Ａ３－２が着席し、第４拠点のテーブルＴ４に、第４拠点の参加者Ａ４－１、Ａ４－２、Ａ４－３が着席して、リモート会議に参加している様子を示す。なお、第１拠点を除いた他の第ｋ拠点においても、同様の表示態様にて第ｋ拠点を除いた各拠点の参加者Ａの様子がディスプレイ２４に表示される。

【0037】

このような表示態様によって、第ｉ拠点の参加者Ａｉは、他の複数の拠点ｋにおける参加者Ａｋと、あたかも１つの会議室において拠点数ｎに応じたレイアウトで配置されたテーブルに集まって会議を行っているかのような感覚を得ることができる。したがって、リモート会議に参加する各参加者の一体感あるいは臨場感を向上できる。

【0038】

そのため、データ処理装置１は、例えば、ｎ個の拠点ごとに、拠点数ｎに対応する形状に他の複数（ｎ－１個）の拠点に対応する拠点画像データを変形して合成することによって、図４に例示したようなテーブルレイアウトを含む合成画像データを生成し、生成した合成画像データを送信対象の第ｉ拠点のコンピュータ２２へ送信する。

【0039】

なお、データ処理装置１は、合成画像データの送信対象である第ｉ拠点において参加者Ａｉを撮像した画像データの少なくとも一部を他の拠点ｋの拠点画像データと合成してもよい。例えば図４において点線で示したように、第ｉ拠点のディスプレイ２４－ｉには、第ｉ拠点においてリモート会議に参加する参加者Ａｉの姿（例えば、テーブルＴｉの周囲に着席した状態での後ろ姿）を撮像した画像データの少なくとも一部が、他の拠点ｋの画像データを変形した変形画像データに合成されてもよい。

【0040】

この際、参加者Ａｉの後ろ姿と共にテーブルＴｉの撮像画像データの少なくとも一部が他の拠点ｋに対応する変形画像データに合成されてもよい。参加者Ａｉの後ろ姿を撮像するために、第ｉ拠点には参加者Ａｉを背後の方向から撮像するカメラが参加者Ａｉを正面方向から撮像するカメラ２３とは別に設置されていてもよい。

【0041】

以上のように、データ処理装置１は、拠点数ｎに対応して複数の拠点の複数の拠点画像データを変形することにより変形画像データを生成し、各変形画像データを合成することにより合成画像データを生成する。

【0042】

なお、拠点画像データを変形あるいは合成する対象は、拠点画像データそれぞれの少なくとも一部であってよい。例えば、個々の拠点画像データにおいて参加者Ａ及びテーブルＴｉの含まれる部分的な領域が変形あるいは合成の対象とされてもよいし、拠点画像データの全部が変形あるいは合成の対象とされてもよい。また、図４に示した表示態様は、一例に過ぎず、後述するように、各種の設定又は条件によって表示態様が決定されてもよい。

【0043】

［複数の拠点間でのデータの流れ］
図５は、複数の拠点間での画像及び音声のデータの流れの概要を示す図である。第ｉ拠点のルータ２１－ｉは、カメラ２３－ｉが生成した第ｉ拠点画像データ及び第ｉ拠点音声データをデータ処理装置１に送信する。

【0044】

データ処理装置１は、受信した拠点数ｎに対応するｎ個の拠点画像データそれぞれの少なくとも一部を、例えば図４に例示したように拠点数ｎに対応する形状に変形することによりｎ－１個（ｎ個でもよい）の変形画像データを生成し、拠点数ｎに対応する位置（例えば図４に例示したテーブルレイアウトによって規定される位置）に個々の変形画像データが配置された合成画像データを生成する。

【0045】

また、データ処理装置１は、第ｉ拠点から受信した第ｉ拠点音声データを処理して、他の第ｋ拠点に送信する第ｋ処理済音声データを作成する。第ｋ処理済音声データは、例えば、第ｋ拠点へ送信される第ｋ合成画像データにおいて第ｉ拠点に対応する変形画像データが合成（あるいは配置）される位置から第ｉ拠点の参加者Ａｉの音声が他の第ｋ拠点の参加者Ａｋに聞こえるように音声が処理されたステレオ音声データ又は三次元音声データである。データ処理装置１は、合成画像データと処理済音声とを対応する個々の拠点に送信する。

【0046】

［データ処理装置１の構成及び動作］
図６は、データ処理装置１の構成を示す図である。データ処理装置１は、通信部１１と、記憶部１２と、制御部１３と、を有する。制御部１３は、取得部１３１と、取得部１３２と、設定受付部１３４と、画像データ生成部１３５と、音声データ生成部１３６と、データ送信部１３７と、を有する。取得部１３１及び１３２は、１つの取得部に統合されていてもよい。また、取得部１３１及び１３２のそれぞれは、拠点数ｎに対応してｎ個だけ設けられていてもよいし、ｎ個の取得部１３１の一部あるいはｎ個の取得部１３２の一部が１つの取得部に統合されてもよい。

【0047】

通信部１１は、ネットワークＮを介してルータ２１、コンピュータ２２又はルータ２１との間でデータを送信するための通信インターフェースを有する。通信部１１は、ルータ２１から受信した拠点画像データを取得部１３１に入力し、ルータ２１から受信した拠点音声データを取得部１３２に入力する。

【0048】

通信部１１は、ルータ２１、コンピュータ２２、又は他の情報端末が送信した設定データを設定受付部１３４に入力する。設定データは、例えば、拠点数ｎ、リモート会議の属性、参加者の属性、又は画面に表示する画像の態様を示すデータであり、リモート会議の主催者、又はいずれかの参加者により入力されたデータである。リモート会議の主催者は、複数の参加者に含まれていてもよく、複数の参加者に含まれていなくてもよい。図４に例示したような拠点数ｎに対応した変形画像データの配置（又は合成）位置を決定するデータは、例えば、「画面に表示する画像の態様を示すデータ」に含まれる。

【0049】

また、通信部１１は、データ送信部１３７から入力された各種のデータを各拠点に送信する。具体的には、通信部１１は、図５に示したように、合成画像データ及び処理済音声のデータ等を各拠点において参加者がリモート会議を視聴するために使用する一以上の電子機器に送信する。

【0050】

記憶部１２は、例えばＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及びＳＳＤ（Solid State Drive）等の記憶媒体を有する。記憶部１２は、制御部１３が実行するプログラムを記憶する。また、記憶部１２は、通信部１１が受信した各種の設定データを記憶する。さらに、記憶部１２は、各拠点から送信された拠点画像データ及び拠点音声データを一時的に記憶する。既述の設定データが、記憶部１２に記憶されてもよい。

【0051】

制御部１３は、例えばＣＰＵ（Central Processing Unit）を有する。制御部１３は、記憶部１２に記憶されたプログラムを実行することにより、取得部１３１、取得部１３２、設定受付部１３４、画像データ生成部１３５、音声データ生成部１３６及びデータ送信部１３７として機能する。

【0052】

取得部１３１は、複数の拠点のそれぞれからリモート会議に参加する複数の参加者を示す、複数の拠点に対応する複数の拠点画像データを、通信部１１を介して取得する。取得部１３２は、複数の拠点のそれぞれにおいてマイクロホンによって集音された音声に基づく複数の拠点音声データを、通信部１１を介して取得する。取得部１３１は、拠点画像データを画像データ生成部１３５に入力し、取得部１３２は、拠点音声データを音声データ生成部１３６に入力する。

【0053】

なお、取得部１３１において取得される拠点画像データには、参加者を撮像することにより生成された撮像画像データに限らず、例えば、予め作成された参加者のアバター画像データが含まれてもよい。すなわち、取得部１３１は、参加者の撮像画像データ又はアバター画像データの少なくともいずれかを取得してもよい。取得部１３１は、例えば、撮像画像データ及びアバター画像データのうち、画像データ生成部１３５から要求された方の画像データを取得する。

【0054】

設定受付部１３４は、通信部１１を介して、リモート会議の主催者、又はいずれかの参加者により入力された設定データを取得することにより、各種の設定を受け付ける。設定受付部１３４は、不図示のキーボード及びマウス等のユーザインターフェースを介して設定を受け付けてもよい。設定受付部１３４は、例えば、拠点数ｎ等の設定を受け付ける。また、設定受付部１３４は、リモート会議への参加者から、複数の拠点から選択した拠点の設定を受け付けてもよい。設定受付部１３４は、受け付けた設定データを画像データ生成部１３５に通知する。

【0055】

画像データ生成部１３５は、リモート会議に参加している各拠点に設置されたディスプレイ２４－ｉに表示される画像データを生成する。画像データ生成部１３５は、ある拠点のディスプレイ２４－ｉに表示される画像データとして、他の複数の拠点（第ｋ拠点）から送られてきた複数の拠点画像データそれぞれの少なくとも一部を拠点数ｎに対応する形状に変形することにより複数（例えば、ｎ－１個）の変形画像データを生成し、拠点数ｎに対応する位置（図４に例示したテーブルレイアウトによって規定される位置）に個々の変形画像データが配置された合成画像データを生成する。

【0056】

別言すると、画像データ生成部１３５は、複数の拠点の数（ｎ）から１を減算した数（例えば、合成画像データを送信する対象となる拠点以外の複数の拠点）に対応する複数の拠点画像データに基づく複数の変形画像データの複数の変形画像データが配置された合成画像データを生成する。

【0057】

一例として、画像データ生成部１３５は、合成画像データを送信する対象の拠点ｉを除いたｎ－１個の他の拠点ｋの拠点画像データを変形して合成することによって、図４に例示したようなテーブルレイアウトを含む合成画像データを生成する。画像データ生成部１３５は、上述のように生成した合成画像データをデータ送信部１３７に入力する。

【0058】

なお、画像データ生成部１３５は、図４に例示したように、複数の拠点の数（ｎ）から１を減算した数の複数の変形画像データを左右対称に配置した合成画像データを生成する。これにより、変形画像データを左右非対称に配置する場合に比して、データ処理装置１の処理負荷の軽減が期待でき、また、合成画像データを視聴する参加者にとって、ディスプレイ２４に表示される他の参加者の見易さを向上することが期待できる。ただし、合成画像データにおける複数の変形画像データの配置は、左右対称に限られず、左右非対称の配置を含め、リモート会議の一体感あるいは臨場感を向上し得る他の表示態様の配置に決定されてもよい。

【0059】

音声データ生成部１３６は、リモート会議に参加している各拠点に設置されたスピーカから出力される音声データを生成する。音声データ生成部１３６は、例えば、合成画像データにおける複数の変形画像データそれぞれの位置に基づいて複数の拠点音声データを処理することにより処理済音声データを生成する。音声データ生成部１３６は、生成した処理済音声データをデータ送信部１３７に入力する。

【0060】

音声データ生成部１３６は、ある拠点（第ｉ拠点）のスピーカ２５－ｉから出力される音声データとして、他の複数の拠点（第ｋ拠点）から送られてきた複数の音声を含むマルチチャンネルの処理済音声データを生成する。マルチチャンネルの処理済音声データは、第１位置（例えば右側）スピーカ２５Ｒ－ｉから出力される第１位置音声データと、第２位置（例えば左側）スピーカ２５Ｌ－ｉから出力される第２位置音声データとを含む。マルチチャンネルの処理済音声データは、３以上の位置に対応する３以上の音声データを含んでもよい。

【0061】

なお、マルチチャンネルの音声出力に用いられるスピーカ２５Ｒ－ｉ及び２５Ｌ－ｉは、複数の拠点の全部において設置されている場合もあるし、複数の拠点の一部に限って設置されている場合もある。後者の場合、音声データ生成部１３６は、例えば、複数の拠点のうち、マルチチャンネルの音声出力に非対応の拠点に対して、非マルチチャンネルの音声データを選択的に送信する。複数の拠点のうちの何れの拠点がマルチチャンネルの音声出力に非対応の拠点であるかを特定するデータは、例えば、既述の設定データとして設定される。

【0062】

マルチチャンネルの音声出力の一例として、音声データ生成部１３６は、合成画像データに合成される複数の変形画像データそれぞれの位置に基づいて、第ｉ拠点の第１位置に設置された第１位置スピーカに出力するための第１位置音声データと、第ｉ拠点の第２位置に設置された第２位置スピーカに出力するための第２位置音声データと、を含む処理済音声データを生成する。具体的には、音声データ生成部１３６は、一以上の参加者を含む変形画像データの位置が第２位置よりも第１位置に近い場合に、第１位置音声データに含まれる参加者の音声の割合が、第２位置音声データに含まれる参加者の音声の割合よりも大きくなるように処理した処理済音声データを生成する。

【0063】

音声データ生成部１３６は、逆に、一以上の参加者を含む変形画像データの位置が第１位置よりも第２位置に近い場合に、第２位置音声データに含まれる第２参加者の音声の割合が、第１位置音声データに含まれる第２参加者の音声の割合よりも大きくなるように処理した処理済音声データを生成する。なお、一以上の参加者を含む変形画像データの位置が、第１位置及び第２位置に対してそれぞれ同等の距離である場合、音声データ生成部１３６は、第１位置音声データ及び第２位置音声データのそれぞれに含まれる参加者の音声の割合が同等であるように処理した処理済音声データを生成してよい。

【0064】

音声データ生成部１３６は、合成画像データにおける変形画像データそれぞれの位置の対応する拠点における奥行方向の位置を特定した結果にさらに基づいて、処理済音声データを生成してもよい。一例として、図４（ａ）に示した例の場合、第２拠点における参加者Ａ２－１～Ａ２－３を含む変形画像データの位置は、第１参加者Ａ２－１～Ａ２－３よりも奥側なので、音声データ生成部１３６は、参加者Ａ２－１～Ａ２－３の音声が第１参加者Ａ１～Ａ３の音声よりも小さくなるように処理した処理済音声データを生成してもよい。

【0065】

同様に、第３拠点における参加者Ａ３－１及びＡ３－２を含む変形画像データの位置は、第１参加者Ａ２－１～Ａ２－３よりも奥側なので、音声データ生成部１３６は、参加者Ａ３－１及びＡ３－２の音声が第１参加者Ａ１～Ａ３の音声よりも小さくなるように処理した処理済音声データを生成してもよい。

【0066】

また、音声データ生成部１３６は、１つの変形画像データに含まれる個々の参加者の位置の対応する拠点における奥行方向の位置を特定した結果にさらに基づいて、処理済音声データを生成してもよい。一例として、図４（ａ）に示した例の場合、第３拠点における参加者Ａ３－１及びＡ３－３を含む変形画像データにおいて、参加者Ａ３－２は、参加者Ａ３－１よりも奥側なので、音声データ生成部１３６は、参加者Ａ３－２の音声が参加者Ａ３－１の音声よりも小さくなるように処理した処理済音声データを生成してもよい。他の拠点に対応する変形画像データに含まれる参加者についても、変形画像データにおける位置関係に基づいて、上述したような音声処理が適用されてよい。

【0067】

音声データ生成部１３６が以上のような処理済音声データを生成することで、当該データに基づく音声を聞く参加者の臨場感が高まる。

【0068】

なお、変形画像データの位置あるいは変形画像データにおける参加者の位置が、第２位置よりも第１位置に近いか、第１位置よりも第２位置に近いかによらず、音声データ生成部１３６は、個々の参加者の属性によって、第１位置音声データに含まれる参加者の音声の割合が増えるように処理した処理済音声データを生成してもよい。音声データ生成部１３６は、例えば、参加者の声の大きさ、声質、声の通りやすさといった属性を基に、上述したような音声データの割合制御を行ってもよい。具体的には、音声データ生成部１３６は、図４（ａ）に示した例において、参加者Ａ３－１が参加者Ａ３－２よりも手前側にいるとしても、参加者Ａ３－１の声の大きさが閾値未満である場合、又は声質が聞こえづらいという条件を満たす場合、参加者Ａ３－１の音声の割合が増えるようにしてもよい。

【0069】

データ送信部１３７は、画像データ生成部１３５から入力された画像データ及び音声データ生成部１３６から入力された音声データを、通信部１１を介して、それぞれのデータを送信するべき拠点に向けて送信する。例えば、データ送信部１３７は、複数の拠点に対応する一以上の電子機器に、複数の拠点それぞれに対応する合成画像データを送信する。また、データ送信部１３７は、複数の拠点に対応する一以上の電子機器に、複数の拠点それぞれと異なる複数の拠点で集音された音声に対応する複数の処理済音声データを送信する。

【0070】

なお、上述したデータ処理装置１の機能（例えば、制御部１３の各種機能）は、複数のデータ処理装置１によって実現されてもよい。例えば、画像データの生成、音声データの生成といった各種の処理は、複数のデータ処理装置１（例えば、複数のサーバのそれぞれに搭載されたプロセッサ）によって分散して行われてもよい。

【0071】

［合成画像データの生成方法］
以下、画像データ生成部１３５が合成画像データを生成する処理の詳細を説明する。
画像データ生成部１３５は、例えば、合成画像データを送信する対象の拠点ｉを除いたｎ－１個の他の拠点ｋの拠点画像データを変形して合成することによって、拠点ｉのディスプレイ２４－ｉに表示される合成画像データを生成する。画像データ生成部１３５は、例えば図４に示したように、個々の変形画像において一以上の参加者が含まれていない位置に変形画像データそれぞれの少なくとも一部を合成することにより合成画像データを生成する。

【0072】

ここで、画像データ生成部１３５は、例えば、拠点画像データそれぞれに含まれる顔画像データと身体画像データとにそれぞれ異なる画像処理を施すことにより複数の変形画像を生成する。画像データ生成部１３５は、例えば、拠点画像データにおける予め記憶部１２に記憶された顔の標準画像データとの類似度が閾値以上の領域を顔の領域に対応する顔画像データとして特定する。また、画像データ生成部１３５は、例えば、拠点画像データにおける予め記憶部１２に記憶された身体の標準画像データとの類似度が閾値以上の領域を身体の領域に対応する身体画像データとして特定する。

【0073】

そして、画像データ生成部１３５は、例えば、複数の拠点それぞれに対応するテーブルの画像データの配置方向に基づいて、顔画像データ及び身体画像データの一方又は双方を変形することにより複数の変形画像データを生成する。例えば、画像データ生成部１３５は、拠点画像データにおける参加者の顔画像データを、視線方向がディスプレイ２４に向かう方向となるように変形する。

【0074】

一例として、画像データ生成部１３５は、図４（ａ）に示したように、第２拠点の参加者Ａ２及び第３拠点の参加者Ａ３の視線方向が手前方向に向くように顔画像データを変形する。また、画像データ生成部１３５は、例えば、第２拠点の参加者Ａ２及び第３拠点の参加者Ａ３の身体画像データを、それぞれ、第２拠点におけるテーブルＴ２の配置方向及び第３拠点におけるテーブルＴ３の配置方向に基づいて、テーブルＴ２及びＴ３に向かう方向に変形する。

【0075】

以上のように、画像データ生成部１３５が、拠点画像データに含まれる顔画像と身体画像とに個別に（例えば、異なる）画像処理を施すことにより変形画像データを生成することで、複数の変形画像データを加工せずに合成した場合に参加者の視線方向や向きが不自然になることを低減できる。したがって、リモート会議の一体感あるいは臨場感が低下することを抑制できる。

【0076】

なお、第１拠点～第ｎ拠点とは異なる更に他の拠点からリモート会議に参加する別のリモート参加者が存在する場合、画像データ生成部１３５は、リモート会議の主催者又はリモート参加者が指定した位置に、当該リモート参加者に対応する参加者画像データを、当該リモート参加者が選択した拠点に対応する拠点画像データに合成することにより合成画像データを生成してもよい。一例として、データ送信部１３７は、設定受付部１３４を通じて複数の拠点のうちリモート参加者が選択した拠点における一以上の電子機器へ当該拠点に対応する拠点画像データを送信する。画像データ生成部１３５は、電子機器において表示された拠点画像データにおいてリモート参加者が指定した位置に参加者画像データの少なくとも一部を合成することに合成画像データを生成する。

【0077】

画像データ生成部１３５がこのように動作することで、リモート参加者は、自身が望ましいと思う拠点における位置に自身の画像が表示されるようにすることができる。なお、データ送信部１３７がコンピュータ２２に送信する拠点画像データは、対応する拠点から送信された拠点画像データから一以上のリモート参加者の画像以外の部分が改変された画像データであってもよい。

【0078】

図７は、第１拠点～第ｎ拠点とは異なる更に他の拠点からリモート会議に参加する別のリモート参加者が自身の参加者画像データを合成する位置を指定する方法を説明するための図である。図７（ａ）は、第１拠点から第３拠点のうちからリモート参加者が第２拠点を選択した場合に、第１拠点のコンピュータ２２に表示される、合成位置を指定するための画面である。図７（ａ）に示す画面においては、参加者画像データを合成できる位置として、星マークＸの位置が示されている。

【0079】

図７（ｂ）は、第１拠点から第３拠点のうちからリモート参加者が第３拠点を選択した場合に、リモート参加者が指定した第１拠点のコンピュータ２２に表示される、合成位置を指定するための画面である。図７（ｂ）に示す画面においては、参加者画像データを合成できる位置として、星マークＹの位置が示されている。

【0080】

図７（ａ）及び図７（ｂ）に示した画像データが図４（ａ）に示したように変形及び合成された場合、合成画像における参加者画像データを合成できる位置は、例えば図７（ｃ）において星マークＸ及びＹが示す位置となり、これらの位置の何れかにリモート参加者の参加者画像データが合成されることになる。なお、図７（ａ）及び図７（ｂ）において、参加者画像データを合成できる位置の候補は、拠点画像データのそれぞれにおいて１つずつ示されているが、例えばテーブル周囲の空席状況に応じて、１つの拠点画像データにつき２以上の候補が示される場合もある。

【0081】

画像データ生成部１３５は、例えば、人を示す基準画像データとの類似度が閾値以上の領域を拠点画像データ内で探索することにより、拠点画像データにおける参加者の画像の領域を特定し、特定した領域以外の領域に、参加者画像データを合成できる位置を示すマークを付した画像をコンピュータ２２に表示させる。画像データ生成部１３５は、特定した領域以外の領域における、参加者の画像の領域の大きさと同程度の大きさの領域の中心位置に、参加者画像データを合成できる位置を示すマークを付した画像をコンピュータ２２に表示させてもよい。画像データ生成部１３５がこのようにして、参加者画像データを合成できる位置を参加者に提示することで、参加者が適切に位置を指定することができる。

【0082】

データ送信部１３７が、一以上の拠点画像データをリモート会議の主催者として登録された参加者が使用する情報端末に送信し、画像データ生成部１３５は、主催者の情報端末に表示された拠点画像データに基づく画像において指定された位置に画像データの少なくとも一部を合成することにより合成画像データを生成してもよい。画像データ生成部１３５がこのように動作することで、リモート会議の主催者が、複数の拠点間の関係、複数の参加者の関係又はリモート会議の目的等に適した位置に参加者の画像を配置することができる。

【0083】

データ送信部１３７が、第ｉ拠点において一以上の参加者がリモート会議の視聴のために使用する一以上の電子機器に第ｉ拠点画像データを送信し、画像データ生成部１３５は、当該一以上の電子機器（例えばルータ２１－ｉ又はコンピュータ２２－ｉ）を介して取得した第ｉ拠点画像データに基づいて第ｉ拠点に設置された表示装置であるディスプレイ２４－ｉが表示した第ｉ拠点画像において指定された位置に第ｉ拠点の参加者の画像データの少なくとも一部を合成することにより合成画像データを生成してもよい。画像データ生成部１３５がこのように動作することで、第ｉ拠点の参加者が第ｉ拠点画像データに基づく画像を見ながら席を移動して、適切な位置に第ｋ拠点の参加者画像データを配置することが可能になる。

【0084】

データ送信部１３７が、第ｋ拠点において一以上の参加者がリモート会議の視聴のために使用する一以上の電子機器に第ｉ拠点画像データを送信し、画像データ生成部１３５は、当該一以上の電子機器（例えばルータ２１－ｋ又はコンピュータ２２－ｋ）を介して取得した第ｉ拠点画像データに基づいて第ｋ拠点に設置された表示装置であるディスプレイ２４－ｋが表示した第ｉ拠点画像データに基づく画像において指定された位置に第ｋ拠点の参加者の画像データの少なくとも一部を合成することにより合成画像データを生成してもよい。画像データ生成部１３５がこのように動作することで、合成画像データに基づく画像を見る第ｋ拠点の参加者にとって見やすい位置に第ｋ拠点の参加者画像データを配置することが可能になる。

【0085】

なお、画像データ生成部１３５は、設定受付部１３４が受け付けた設定の内容に基づいて、ある拠点の複数の参加者が写っている領域と異なる領域に他の拠点の参加者の画像を配置してもよい。複数の参加者が写っている領域は、例えば、複数の参加者の画像を含む最も小さな長円又は楕円の領域である。

【0086】

一例として、画像データ生成部１３５は、図８（ａ）及び図８（ｂ）に示すような第２拠点において表示される合成画像データにおいて、参加者Ｂを第２拠点又は第３拠点の参加者Ａが表示される領域から情報に離れた領域に参加者Ｂの画像データを配置する。ここで、参加者Ｂは、当該合成画像データが表示される拠点を除いた複数の拠点の何れかにおける参加者であってもよいし、更に別の拠点の参加者であってもよい。便宜的に、「参加者Ｂ」を「リモート参加者Ｂ」と表記することがある。

【0087】

参加者Ｂと第２拠点又は第３拠点の参加者Ａとが同じ部署又は企業に属している場合のように、異なる拠点の参加者を同じ領域に表示させるように設定されている場合、画像データ生成部１３５は、図７に例示したように、参加者Ｂが選択した拠点の一以上の参加者Ａが写っている領域内に参加者Ｂの画像を配置する。

【0088】

例えば、参加者Ｂが第３拠点の参加者Ａ３－ｉの所属する部署又は企業と同じ部署又は企業に所属しており、参加者Ｂが自身の画像データの配置位置に第３拠点（例えば図７（ｃ）の星マークＹの位置）を選択し指定した場合、参加者Ｂは、第３拠点の参加者Ａ３－ｊが着席しているテーブルＴ３の周囲に着席しているかのように表示される。

【0089】

このような画像が第１拠点において表示されることで、参加者Ａ１－ｊは、参加者Ｂが第３拠点において参加者Ａ３－ｊと一緒にリモート会議に参加しているかのような臨場感を得ることができる。なお、参加者Ｂの表示と共に、例えば、参加者Ｂが第３拠点には実際には居ないこと（例えば、第３拠点へのリモート参加であること）を示す情報が第１拠点のディスプレイ２４に表示されてもよい。

【0090】

一方、参加者Ｂと第２拠点又は第３拠点の参加者Ａとが異なる部署又は企業に属している場合のように、異なる拠点の参加者を同じ領域に表示させないように設定されている場合、画像データ生成部１３５は、図８に示すように、第２拠点又は第３拠点の一以上の参加者Ａが写っている領域と異なる領域（例えば、合成画像データの上部）に参加者Ｂの画像を配置する。

【0091】

なお、図８において、点線枠で示した領域は、参加者Ｂが配置される候補領域に相当し、候補領域は、合成される変形画像データの数（別言すると、拠点数から１を減算した数）に対応して設定されてよい。

【0092】

例えば、図８（ａ）は、拠点数３から１を減算した２つの領域が、参加者Ｂを配置する領域（又は位置）の候補に設定されており、そのうちの１つ（右側の実線枠を参照）が参加者Ｂの画像データを配置する領域に指定された例を示す。

【0093】

図８（ｂ）は、拠点数４から１を減算した３つの領域が、参加者Ｂを配置する領域（又は位置）の候補に設定されており、そのうちの１つ（一番右側の実線枠を参照）が参加者Ｂの画像データを配置する領域に指定された例を示す。

【0094】

図８に示すように、参加者Ｂが参加者Ａの着席しているテーブルから離れた位置に表示されることで、第１拠点の参加者Ａ１～Ａ３は、参加者Ｂが他の拠点の参加者Ａの属する組織と同じ組織には属していないことを直感的に理解できる。なお、参加者Ｂの表示と共に、例えば、参加者Ｂが他の拠点の参加者Ａの属する組織とは異なる組織に属していることを示す情報が第１拠点のディスプレイ２４に表示されてもよい。

【0095】

図８において、参加者Ｂの画像データを配置する領域は、合成画像データにおける変形画像データの配置位置と、当該変形画像データに含まれる参加者Ａと参加者Ｂとの関係に基づいて決定されてもよい。例えば、図８（ａ）において、参加者Ｂは、第３拠点の参加者Ａ３－ｉとは異なる部署又は企業に所属するが、第３拠点の参加者Ａ３－ｉが所属する部署又は企業と関連する部署又は企業に属していることがある。

【0096】

このような場合、画像データ生成部１３５は、図８（ａ）の右側上方に実線枠で示したように、合成画像データにおいて第３拠点に対応する変形画像データの配置位置の上方に参加者Ｂの画像データを配置すると決定してよい。参加者Ｂが、第２拠点の参加者Ａ２－ｉが所属する部署又は企業と関連する部署又は企業に属している場合、画像データ生成部１３５は、図８（ａ）の左側上方に点線枠で示したように、合成画像データにおいて第２拠点に対応する変形画像データの配置位置の上方に配置すると決定してよい。

【0097】

同様に、図８（ｂ）の例において、画像データ生成部１３５は、合成画像データの上部における３つの拠点に対応する３つの候補領域のうち、参加者Ｂと関連のある拠点に対応する変形画像データの配置位置の上方に位置する候補領域を、参加者Ｂの画像データを配置する領域に決定してよい。

【0098】

画像データ生成部１３５が以上のように動作することで、各拠点の参加者の所属関係に適した態様で合成画像データが表示されるので、臨場感がさらに高まる。また、各拠点における参加者の関係性の視認性が向上し、例えば、会議の円滑な進行に資することが期待できる。

【0099】

［リモート参加者Ｂの画像データを合成できる位置を指定することが難しい場合］
拠点画像データに多数の参加者Ａが含まれている場合のように、図７に示したような位置指定が難しい場合がある。例えば図７（ｂ）に示したような第３拠点に対応する拠点画像データにおいて、リモート参加者Ｂが位置できる候補の位置又は領域（別言すると、空席位置又は空席領域）が存在しない場合があり得る。

【0100】

このようなケースにおいて、画像データ生成部１３５は、第３拠点に対応する拠点画像データの少なくとも一部を加工あるいは改変することにより、リモート参加者Ｂのための空席領域を作り出してよい。非限定的な一例として、画像データ生成部１３５は、第３拠点テーブルに対応する画像データのサイズあるいは形状を変更（例えば、長さ方向に延伸あるいは拡張）することによって、リモート参加者の画像を配置可能な空席領域を仮想的に作り出してよい。

【0101】

図９は、空席領域が作り出された状態の画像の例を模式的に示す例である。図９（ａ）においては、第３拠点のテーブルＴ３に仮想的なテーブルＶ３が追加されており、テーブルＶ３の周囲に空席領域Ｙ１が表示されている。この画面においてリモート参加者Ｂが空席領域Ｙ１を指定することで、画像データ生成部１３５は、図９（ｂ）に示すように、指定された領域にリモート参加者Ｂの画像を合成した合成画像データを生成する。

【0102】

画像データ生成部１３５によるこのような処理によって、リモート参加者Ｂの画像が第１拠点において表示される画像に合成できないようなケースを減らすことができるため、会議の臨場感を損なわずに、リモート参加者を第３拠点に仮想的に登場させられる確率を高めることができる。

【0103】

なお、画像データ生成部１３５は、拠点画像データ内に空席領域がないことを条件にして空席領域を作り出してもよいが、空席領域がある場合に空席領域を作り出してもよい。一例として、画像データ生成部１３５は、いずれかの参加者から、空席領域を増やすための指示を受けたことに応じて空席領域を作り出してもよい。

【0104】

また、画像データ生成部１３５は、拠点画像データ内の空席領域の有無に依らずに、仮想的なテーブルを拠点画像データにおいて配置してもよい。例えば、画像データ生成部１３５は、第ｉ拠点のディスプレイ２４－ｉに表示された合成画像データにおける複数の第ｋ拠点それぞれのテーブルＴｋの少なくとも１つに、第１拠点に配置されたテーブルＴｉが視覚的に繋がって見えるように仮想的なテーブルを合成画像データに配置してよい。

【0105】

代替的あるいは追加的に、画像データ生成部１３５は、例えば、第ｉ拠点のディスプレイ２４－ｉに表示された、複数の第ｋ拠点それぞれのテーブルＴｋの少なくとも１つに、第ｉ拠点に設置されたテーブルＴｉが近接して配置されているかのように見せるために仮想的なテーブルを合成画像データに配置してもよい。

【0106】

このような仮想的なテーブルの配置によって、第ｉ拠点における参加者は、第ｉ拠点と、第ｉ拠点とは異なる他の複数の第ｋ拠点とが、あたかも１つの会議室空間において会議を行っているかのように感じることができ、会議の一体感や会議の臨場感を更に向上できる。

【0107】

［撮像画像とアバター画像の利用］
各拠点に設置されたディスプレイ２４に表示される画像には、各参加者の撮像画像が表示されてもよいが、各参加者のアバター画像が表示されてもよい。画像データ生成部１３５は、例えば設定受付部１３４が受け付けたリモート会議の主催者又は参加者による設定の内容に基づいて、各参加者の撮像画像データを含む合成画像データを生成するか、各参加者のアバター画像データを含む合成画像データを生成するかを決定する。

【0108】

画像データ生成部１３５は、各拠点のディスプレイ２４のそれぞれに表示される参加者の画像が、撮像画像又はアバター画像のいずれかに統一されるようにしてもよい。一例として、画像データ生成部１３５は、第ｉ拠点の参加者の画像をアバター画像とすることが設定された場合、他の複数の第ｋ拠点それぞれにおける参加者Ａｋの画像を撮像画像にするかアバター画像にするかの設定が行われていないとしても、第ｉ拠点における参加者Ａｉのアバター画像データが含まれる画像データに第ｋ拠点における参加者Ａｋのアバター画像データを合成することにより合成画像データを生成する。

【0109】

一方、画像データ生成部１３５は、第ｉ拠点の参加者Ａｉの画像を撮像画像とすることが設定された場合、他の第ｋ拠点の参加者Ａｋの画像を撮像画像にするかアバター画像にするかの設定が行われていないとしても、第ｉ拠点の参加者の撮像画像データが含まれる画像データに第ｋ拠点の参加者Ａｋの撮像画像データを合成することにより合成画像データを生成する。このように、画像データ生成部１３５が、撮像画像データ又はアバター画像データのいずれか一方により構成される合成画像データを生成することで、一部の参加者の画像の種類が異なることによる違和感が生じることを防げる。

【0110】

画像データ生成部１３５は、設定受付部１３４を介して設定されたリモート会議の属性に基づいて、拠点画像データ（又は変形画像データ）に合成される画像データとして撮像画像データを用いるかアバター画像データを用いるかを決定してもよい。一例として、画像データ生成部１３５は、リモート会議の属性が社内会議である場合に合成される画像データとしてアバター画像データを使用し、リモート会議の属性が社外の人との会議である場合に撮像画像データを使用する。画像データ生成部１３５がこのように動作することで、例えば、アバター画像を表示すれば足りるリモート会議のために第２参加者が服装を整える必要がなくなる。

【0111】

［データ処理装置１における処理の流れ］
図１０は、データ処理装置１における処理の流れを示すフローチャートである。図１０に示すフローチャートは、リモート会議の主催者がリモート会議を開始する操作を行い、リモート会議を開始する要求を設定受付部１３４が取得した時点から開始している。

【0112】

リモート会議が開始すると、設定受付部１３４は、拠点数ｎの設定を受け付ける（Ｓ１０）。拠点数ｎの設定は、例えば、リモート会議を開始する要求と共に受信されてもよいし、当該要求とは異なるメッセージによって受信されてもよい。

【0113】

拠点数ｎの設定受付に応じて、取得部１３１が、ｎ個の拠点のそれぞれから拠点画像データを取得し、取得部１３２が、ｎ個の拠点のそれぞれから拠点音声データを取得する（Ｓ１１）。図１０には示していないが、取得部１３１及び取得部１３２は、それぞれ、継続的に拠点画像データ及び拠点音声データを取得する。

【0114】

拠点画像データは、画像データ生成部１３５へ入力され、拠点音声データは、音声データ生成部１３６に入力される。画像データ生成部１３５は、設定受付部１３４が受け付けた拠点数ｎに対応する形状に拠点画像データを変形することにより複数の変形画像データを生成する（Ｓ１２）。例えば、拠点数ｎ＝３の場合、図３（ａ）及び図４（ａ）に示したように、三角形のテーブルレイアウトに対応して個々の拠点画像データを変形し、拠点数ｎ＝４の場合、図３（ｂ）及び図４（ｂ）に示したように、四角形のテーブルレイアウトに対応して個々の拠点画像データを変形する。

【0115】

この間、設定受付部１３４は、画像データ生成部１３５において合成される複数の変形画像データの何れかについて参加者画像データを合成する位置を指定する要求を受信したか否かを監視する（Ｓ１３）。設定受付部１３４が、合成位置を指定する要求を受けたと判定した場合（Ｓ１３においてＹＥＳ）、画像データ生成部１３５は、参加者画像データを合成する対象の拠点画像データに基づく位置指定画面を、要求送信元の電子機器へ送信する（Ｓ１４）。画像データ生成部１３５は、位置指定画面の送信後に、参加者が指定した位置を示す情報を要求送信元の電子機器から取得した場合、当該情報が示す位置を参加者画像データの合成位置に決定する（Ｓ１５）。

【0116】

Ｓ１３において所定の期間にわたって合成位置を指定する要求が送られてこない場合（Ｓ１３においてＮＯ）、画像データ生成部１３５は、複数の変形画像データの合成位置を決定する（Ｓ１５）。一例として、拠点数ｎ＝３の場合、画像データ生成部１３５は、合成画像データの表示先拠点を除いた（ｎ－１＝２）拠点の変形画像データを、三角形のテーブルレイアウトの２つの辺に相当する位置に合成すると決定する。拠点数ｎ＝４の場合、画像データ生成部１３５は、合成画像データの表示先拠点を除いた（ｎ－１＝３）拠点の変形画像データを、四角形のテーブルレイアウトの３つの辺に相当する位置に合成すると決定する。

【0117】

その後、画像データ生成部１３５は、決定した合成位置にｎ－１個の変形画像データを配置することにより、合成画像データを生成する（Ｓ１６）。また、音声データ生成部１３６は、各変形画像データの合成位置に基づいて処理済音声データを生成する（Ｓ１７）。データ送信部１３７は、画像データ生成部１３５が生成した合成画像データ、及び音声データ生成部１３６が生成した処理済音声データを、各データに対応する拠点に送信する（Ｓ１８）。なお、合成画像データの生成（Ｓ１６）は、処理済音声データの生成（Ｓ１７）よりも後に行われてもよいし、処理済音声データの生成（Ｓ１７）と並行して行われてもよい。

【0118】

設定受付部１３４がリモート会議を終了するための指示をリモート会議の主催者から受けていない場合（Ｓ１９においてＮＯ）、取得部１３１及び取得部１３２は、それぞれ、拠点画像データ及び拠点音声データを取得し（Ｓ２０）、画像データ生成部１３５、音声データ生成部１３６及びデータ送信部１３７は、Ｓ１６からＳ１８までの処理を繰り返す。設定受付部１３４がリモート会議を終了するための指示をリモート会議の主催者から受けた場合（Ｓ１９においてＹＥＳ）、制御部１３は処理を終了する。

【0119】

［変形例１］
以上の説明において、設定受付部１３４が受け付けた拠点数ｎの設定と、取得部１３１によって取得される拠点画像データの数との間に不一致が生じることが想定され得る。このような不一致が生じた場合、例えば、制御部１３は、拠点数ｎの設定を行った設定元の電子機器宛に通信部１１を介して拠点数ｎの設定確認を促すエラーメッセージを送信してもよい。追加的あるいは代替的に、制御部１３は、拠点数ｎに対応した数の拠点画像データがデータ処理装置１において受信されていないことを示すメッセージを、該当する拠点の電子機器宛に送信してもよい。

【0120】

このような処理によって、拠点数ｎの設定と、データ処理装置１において取得される拠点画像データの数との間に不一致が生じた場合でも、拠点数ｎの設定の見直し、あるいは該当拠点における電子機器の不具合の有無の確認などを適宜に促すことができるため、所期の拠点数ｎによるリモート会議を正常に開始できる確率を高めることができる。

【0121】

［データ処理装置１による効果］
以上説明したように、データ処理装置１は、複数の拠点に対応する複数の拠点画像データを取得し、拠点ごとに、複数の拠点の数に対応する形状に複数の他の拠点に対応する拠点画像データを変形することにより複数の変形画像データを生成する。また、データ処理装置１は、複数の拠点の数に対応する位置に複数の変形画像データが配置された合成画像データを生成し、複数の拠点に対応する一以上の電子機器に、複数の拠点それぞれに対応する合成画像データを送信する。したがって、個々の拠点の参加者は、他の拠点の参加者と一緒にリモート会議に参加しているような一体感あるいは臨場感を得ることができる。

【0122】

上述した実施の形態において、「画像データ」には２次元データに限られず３次元データ（例えば、参加者を立体的に表すホログラムデータ）が含まれてもよい。例えば、３次元ホログラフィ技術によって参加者を立体的に表示（あるいは投影）する場合に、上述した実施の形態において説明したような画像処理が適用されてもよい。

【0123】

上述した実施の形態において、「拠点」という用語は、例えば、「ベース」、「スペース」、「会議室」、あるいは「部屋」といった、リモート会議に参加する人が位置する場所を意味する用語に読み替えられてもよい。「組織」という用語は、例えば、「団体」、「グループ」、「チーム」、あるいは「サークル」といった人の集まり（集団）を意味する用語に読み替えられてもよい。また、「送信」という用語は、例えば、「出力」に読み替えられてよく、「（画像データの）合成」という用語は、例えば、「重畳」に読み替えられてもよい。「特定」という用語は、例えば、「検出」あるいは「識別」に読み替えられてもよい。

【0124】

また、上述した実施の形態に例示した構成について使用した「～部」という用語は、例えば、「～手段」、「～回路」、あるいは「～デバイス」といった他の用語に互いに読み替えられてもよい。

【0125】

また、上述した実施の形態において、「第１」、「第２」、「第３」といった用語は、２以上の要素間を区別するために便宜的に用いられ、当該用語が参照する要素の物理量、優劣、あるいは順序を限定しない。

【0126】

なお、本発明により、国連が主導する持続可能な開発目標（SDGs）の目標９「産業と技術革新の基盤をつくろう」に貢献することが可能となる。

【0127】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。

【符号の説明】

【0128】

１ データ処理装置
１１ 通信部
１２ 記憶部
１３ 制御部
２１－１～２１－ｎ ルータ
２２－１～２２－ｎ コンピュータ
２３－１～２３－ｎ カメラ
２４－１～２４－ｎ ディスプレイ
２５－１～２５－ｎ スピーカ
１３１ 取得部
１３２ 取得部
１３４ 設定受付部
１３５ 画像データ生成部
１３６ 音声データ生成部
１３７ データ送信部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】