特開 2023-86246 通信システム及び通信方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023086246

(43)【公開日】2023-06-22

(54)【発明の名称】通信システム及び通信方法

(51)【国際特許分類】

   H04N 7/14 20060101AFI20230615BHJP

【ＦＩ】

H04N7/14 140

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2021200627

(22)【出願日】2021-12-10

(71)【出願人】

【識別番号】591114445

【氏名又は名称】株式会社乃村工藝社

(71)【出願人】

【識別番号】392026693

【氏名又は名称】株式会社ＮＴＴドコモ

(74)【代理人】

【識別番号】100141427

【弁理士】

【氏名又は名称】飯村 重樹

(72)【発明者】

【氏名】高野 次郎

(72)【発明者】

【氏名】西川 雅博

(72)【発明者】

【氏名】吉武 聡一

(72)【発明者】

【氏名】金原 彩季

(72)【発明者】

【氏名】望月 美那

(72)【発明者】

【氏名】宮本 直弥

(72)【発明者】

【氏名】徳保 佑希

(72)【発明者】

【氏名】森永 康夫

【テーマコード（参考）】

5C164

【Ｆターム（参考）】

5C164FA10

5C164GA07

5C164UB81S

5C164VA05P

5C164VA07P

5C164VA21S

(57)【要約】      （修正有）

【課題】オンライン環境を意識させない没入感が得られるコミュニケーションを実現可能なシステム及び方法を提供する。
【解決手段】通信システム１０は、第１設備１に配備される立体的な投影面を有する第１スクリーン２１と、第２設備２に配備される立体的な投影面を有する第２スクリーン３１と、第１設備内の映像を取得する第１映像取得手段２２及び取得した映像を第２設備２の第２スクリーン３１に投影する第２投影手段３３を有するとともに、第２設備内の映像を取得する第２映像取得手段３２及び取得した映像を第１設備１の第１スクリーン２１に投影する第１投影手段２３を有する映像処理部と、第１設備内の音声を収音する第１収音手段２４及び収音した音声を第２設備内で拡声する第２拡声手段２６を有するとともに、第２設備内の音声を収音する第２収音手段３４及び収音した音声を第１設備内で拡声する第１拡声手段２６を有する音声処理部と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

第１設備と第２設備との間で通信が可能な通信システムであって、
前記第１設備に配備される立体的な投影面を有する第１スクリーンと、
前記第２設備に配備される立体的な投影面を有する第２スクリーンと、
前記第１設備内の映像を取得する第１映像取得手段及び該第１映像取得手段で取得した前記第１設備内の前記映像を前記第２設備の前記第２スクリーンに投影する第２投影手段を有するとともに、前記第２設備内の映像を取得する第２映像取得手段及び該第２映像取得手段で取得した前記第２設備内の前記映像を前記第１設備の前記第１スクリーンに投影する第１投影手段を有する映像処理部と、
前記第１設備内の音声を収音する第１収音手段及び該第１収音手段で収音した前記第１設備内の前記音声を前記第２設備内で拡声する第２拡声手段を有するとともに、前記第２設備内の音声を収音する第２収音手段及び該第２収音手段で収音した前記第２設備内の音声を前記第１設備内で拡声する第１拡声手段を有する音声処理部と、
を備える通信システム。

【請求項2】

前記第１スクリーン及び前記第２スクリーンは、複数の投影面によって立体的に形成される、
請求項１に記載の通信システム。

【請求項3】

前記第１スクリーン及び前記第２スクリーンの複数の前記投影面は、
正面視で略矩形の正面、該正面の上縁から下方に折曲する上面、前記正面の下縁から上方に折曲する下面、前記正面の両側縁から前方に折曲して前記上面及び前記下面と連続する両側面を備える、
請求項２に記載の通信システム。

【請求項4】

前記第１映像取得手段が前記第１スクリーンの前記正面の中央位置に配置され、前記第２映像取得手段が前記第２スクリーンの前記正面の中央位置に配置される、
請求項３に記載の通信システム。

【請求項5】

前記第１スクリーンの複数の前記投影面に投影される前記第２設備内の映像及び前記第２スクリーンの複数の前記投影面に投影される前記第１設備内の映像のそれぞれの画角が調整される、
請求項２～４のいずれか１項に記載の通信システム。

【請求項6】

前記第１設備を使用する複数のユーザごとに前記第１収音手段及び前記第１拡声手段がそれぞれ配置され、前記第２設備を使用する複数のユーザごとに前記第２収音手段及び前記第２拡声手段がそれぞれ配置される、
請求項１～５のいずれか１項に記載の通信システム。

【請求項7】

前記第１収音手段と前記第１拡声手段との干渉により発生する鳴音及び前記第２収音手段と前記第２拡声手段との干渉により発生する鳴音のそれぞれのキャンセル処理が実行される、
請求項１～６のいずれか１項に記載の通信システム。

【請求項8】

立体的な投影面を有する第１スクリーンが配備される第１設備と立体的な投影面を有する第２スクリーンが配備される第２設備との間で通信が可能な通信システムを用いた通信方法であって、
前記第１設備内の映像を取得して取得した前記第１設備内の前記映像を前記第２設備の前記第２スクリーンに投影するとともに、前記第２設備内の映像を取得して取得した前記第２設備内の前記映像を前記第１設備の前記第１スクリーンに投影する映像処理と、
前記第１設備内の音声を収音して収音した前記第１設備内の前記音声を前記第２設備内で拡声するとともに、前記第２設備内の音声を収音して収音した前記第２設備内の前記音声を前記第１設備内で拡声する音声処理と、
を実行する通信方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、通信システム及び通信方法、特に、第１設備と第２設備との間で通信が可能な通信システム及びこの通信システムを用いた通信方法に関する。

【背景技術】

【0002】

昨今の情報通信技術の進展等に伴って、コンピュータ資源を用いたオンライン上の会議や会合等が実施される機会が増大している。特に、近年の感染症拡大の防止対策として実施されることがある不要不急の外出の取りやめの要請に応じる等の観点から、オンライン環境でコミュニケーションをとることができるオンラインツールの需要が急速に増大している。

【0003】

特許文献１には、ネットワークを介して互いに接続された複数の会議用端末を備え、会議を識別するための識別コードに基づいて、複数の会議用端末を用いてオンライン環境で会議を実施することができるオンライン会議システムが開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１７－１１１６０８公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、この種のオンラインツールに関する技術で実現されるコミュニケーションについては、映像や音声によって効率的かつ適切な情報の伝達及び交換を行うことができるコミュニケーションが求められることは当然のことながら、近年は、オンライン環境であることを意識させないで実空間でコミュニケーションをとっているかのようなコミュニケーションも求められることがある。

【0006】

一方、この種のオンラインツールに関する技術では、オンラインツールのユーザが使用する既存のコンピュータ資源が用いられてオンライン上でのコミュニケーションが実現されることから、ユーザが使用する既存のコンピュータ資源に依拠して情報の伝達及び交換を行うことになる。

【0007】

そうとすれば、ユーザが使用するコンピュータ資源によっては、オンライン環境であることを意識させないで実空間でコミュニケーションをとっているかのようなコミュニケーションを実現することができないことも想定される。

【0008】

本発明は、上記事情に鑑みてなされたものであり、オンライン環境であることを意識することがないような没入感が得られるコミュニケーションを実現することができる通信システム及び通信方法を提供することを課題とするものである。

【課題を解決するための手段】

【0009】

上記目的を達成するための本発明に係る通信システムは、第１設備と第２設備との間で通信が可能な通信システムであって、第１設備に配備される立体的な投影面を有する第１スクリーンと、第２設備に配備される立体的な投影面を有する第２スクリーンと、第１設備内の映像を取得する第１映像取得手段及び第１映像取得手段で取得した第１設備内の映像を第２設備の第２スクリーンに投影する第２投影手段を有するとともに、第２設備内の映像を取得する第２映像取得手段及び第２映像取得手段で取得した第２設備内の映像を第１設備の第１スクリーンに投影する第１投影手段を有する映像処理部と、第１設備内の音声を収音する第１収音手段及び第１収音手段で収音した第１設備内の音声を第２設備内で拡声する第２拡声手段を有するとともに、第２設備内の音声を収音する第２収音手段及び第２収音手段で収音した第２設備内の音声を第１設備内で拡声する第１拡声手段を有する音声処理部とを備えるものである。

【0010】

これによれば、第１スクリーンには、立体的な投影面を有する第１スクリーンに応じた実空間に近い第２設備内の自然な映像が投影され、第２スクリーンにも、立体的な投影面を有する第２スクリーンに応じた実空間に近い第１設備内の自然な映像が投影される。

【0011】

さらに、第１設備の第１収音手段が収音した第１設備内の音声が第２設備の第２拡声手段で拡声され、かつ第２設備の第２収音手段が収音した第２設備内の音声が第１設備の第１収音手段で拡声される。

【0012】

したがって、第１設備を使用するユーザ及び第２設備を使用するユーザが、互いにオンライン環境であることを意識することがなく、実空間でコミュニケーションを行っているかのような没入感を共有できることが期待される。

【0013】

この通信システムの第１スクリーン及び第２スクリーンは、複数の投影面によって立体的に形成され、複数の投影面は、正面視で略矩形の正面、正面の上縁から下方に折曲する上面、正面の下縁から上方に折曲する下面、正面の両側縁から前方に折曲して上面及び下面と連続する両側面を備えるものである。

【0014】

通信システムは、第１映像取得手段が第１スクリーンの正面の中央位置に配置され、第２映像取得手段が第２スクリーンの正面の中央位置に配置されるものである。

【0015】

通信システムは、第１スクリーンの複数の投影面に投影される第２設備内の映像及び第２スクリーンの複数の投影面に投影される第１設備内の映像のそれぞれの画角が調整されるものである。

【0016】

この通信システムは、第１設備を使用する複数のユーザごとに第１収音手段及び第１拡声手段がそれぞれ配置され、第２設備を使用する複数のユーザごとに第２収音手段及び第２拡声手段がそれぞれ配置されるものである。

【0017】

さらに、通信システムでは、第１収音手段と第１拡声手段との干渉により発生する鳴音及び第２収音手段と第２拡声手段との干渉により発生する鳴音のそれぞれのキャンセル処理が実行されるものである。

【0018】

上記目的を達成するための本発明に係る通信方法は、立体的な投影面を有する
第１スクリーンが配備される第１設備と立体的な投影面を有する第２スクリーンが配備される第２設備との間で通信が可能な通信システムを用いた通信方法であって、第１設備内の映像を取得して取得した第１設備内の映像を第２設備の第２スクリーンに投影するとともに、第２設備内の映像を取得して取得した第２設備内の映像を第１設備の第１スクリーンに投影する映像処理と、第１設備内の音声を収音して収音した第１設備内の音声を第２設備内で拡声するとともに、第２設備内の音声を収音して収音した第２設備内の音声を第１設備内で拡声する音声処理とを実行するものである。

【発明の効果】

【0019】

この発明によれば、オンライン環境であることを意識することがなく、実空間でコミュニケーションを行っているかのような没入感を共有することができる。

【図面の簡単な説明】

【0020】

【図1】本発明の実施の形態に係る通信システムの構成の概略を説明するブロック図である。

【図2】同じく、本実施の形態に係る通信システムの第１設備及び第２設備の構成の概略を説明する図である。

【図3】同じく、本実施の形態に係る通信システムの第１設備に配備される第１スクリーンの構成の概略を説明する図である。

【図4】同じく、本実施の形態に係る通信システムの第１設に配備される第１スクリーンの構成の概略を説明する図である。

【図5】同じく、本実施の形態に係る通信システムの構成の概略を説明する模式図である。

【図6】同じく、本実施の形態に係る通信システムの第１制御装置の構成の概略を説明するブロック図である。

【図7】同じく、本実施の形態に係る通信システムの通信プログラムの構成の概略を説明するブロック図である。

【図8】同じく、本実施の形態に係る通信システムの処理の概略を説明するブロック図である。

【図9】同じく、本実施の形態に係る通信システムの処理の概略を説明するフローチャートである。

【発明を実施するための形態】

【0021】

次に、図１～図９に基づいて、本発明の実施の形態に係る通信システムについて説明する。

【0022】

図１は、本実施の形態に係る通信システムの構成の概略を説明する図であり、図２は、通信システムによって通信が可能となる第１設備及び第２設備の構成の概略を説明する図である。

【0023】

図１で示すように、通信システム１０は、インターネット網等のネットワークＮを介して接続される第１設備１と第２設備２との間での通信を実現するものである。

【0024】

本実施の形態では、第１設備１を使用する複数のユーザＵ１ａ、Ｕ１ｂと第２設備２を使用する複数のユーザＵ２ａ、Ｕ２ｂとが通信システム１０を用いて通信を行う。

【0025】

この第１設備１及び第２設備２は、本実施の形態では、例えばオフィスビルや商業施設等の各種施設のフロアの一部が、図２で示すようなパイプ材１００ａで形成されるラック１００によって区画されて構成され、第１設備１と第２設備２とが互いに異なる施設、あるいは同じ施設内であっても例えば異なるフロアである等のように、互いに離間した任意の場所に配置される。

【0026】

本実施の形態に係る通信システム１０は、第１設備に配備される第１スクリーン２１、第１映像取得手段である第１カメラ２２、第１投影手段である第１プロジェクタ２３、第１収音手段である第１マイク２４、第１アンプ２５、第１拡声手段である第１スピーカ２６及び第１制御装置２７を備える。

【0027】

さらに、通信システム１０は、第２設備に配備される第２スクリーン３１、第２映像取得手段である第２カメラ３２、第２投影手段である第２プロジェクタ３３、第２収音手段である第２マイク３４、第２アンプ３５、第２拡声手段である第２スピーカ３６及び第２制御装置３７を備える。

【0028】

なお、本実施の形態では、第１設備１の第１スクリーン２１と第２設備２の第２スクリーン３１、第１設備１の第１カメラ２２と第２設備２の第２カメラ３２、第１設備１の第１プロジェクタ２３と第２設備２の第２プロジェクタ３３、第１設備１の第１マイク２４と第２設備２の第２マイク３４、第１設備１の第１アンプ２５と第２設備２の第２アンプ３５、第１設備１の第１スピーカ２６と第２設備２の第２スピーカ３６、及び第１設備１の第１制御装置２７と第２設備２の第２制御装置３７とは同一の構成であって、第１設備１と第２設備２とは同様の構成を有することから、主に第１設備１の構成を中心として説明する。

【0029】

図３及び図４は、第１スクリーン２１の構成の概略を説明する図である。この第１スクリーン２１は、本実施の形態では、図３の矢線Ａで示す奥行き方向に凹む凹状となるように、複数の投影面によって立体的に形成される。

【0030】

この第１スクリーン２１は、本実施の形態では、奥行き方向Ａからみた正面視で略矩形の正面２１Ａ、正面２１Ａの上縁２１Ａａから前縁２１Ｂａ側が下方に折曲する上面２１Ｂ、正面２１Ａの下縁２１Ａｂから前縁２１Ｃａ側が上方に折曲する下面２１Ｃ、正面２１Ａの両側縁２１Ａｃ、２１Ａｃから前縁２１Ｄａ、２１Ｄａ側が前方に折曲して上面２１Ｂ及び下面２１Ｃと連続する両側面２１Ｄ、２１Ｄの五面からなる投影面を備える。

【0031】

図１及び図２で示す第１カメラ２２は、本実施の形態では、第１設備１内の映像を第１映像として取得する装置であって、例えば、第１設備１の空間の背景や、第１設備１を使用するユーザＵ１ａ、Ｕ１ｂの顔の表情や動作を第１映像として取得する。

【0032】

この第１カメラ２２は、第１スクリーン２１に配置されるものであって、本実施の形態では、図４で示すように、第１スクリーン２１の正面２１Ａの対角線ｄの交点、すなわち正面２１Ａの中央位置に配置されるものであるが、第１スクリーン２１に配置されるのであれば、正面２１Ａの中央位置に限られるものではなく、第１スクリーン２１の任意の部位に配置されるものであってよい。

【0033】

図１及び図２で示す第１プロジェクタ２３は、本実施の形態では、第２設備２の第２カメラ３２が第２映像として取得した第２設備２内の映像を第１スクリーン２１に投影する装置であって、例えば、第２設備２の空間の背景や、第２設備２を使用するユーザＵ２ａ、Ｕ２ｂの顔の表情や動作を投影する。

【0034】

第１マイク２４は、本実施の形態では、第１設備１内の音声を第１音声として収音する装置であって、例えば、第１設備１内の環境音や、第１設備１を使用するユーザＵ１ａ、Ｕ１ｂの声を第１音声として取得する。

【0035】

第１アンプ２５は、本実施の形態では、第２設備２の第２マイク３４が第２音声として収音した音声を増幅する装置であって、第１スピーカ２６は、第１アンプ２５が増幅した第２音声を第１設備１内で拡声する装置である。

【0036】

この第１スピーカ２６は、本実施の形態では、例えば、第２設備２内の環境音や、第２設備２を使用するユーザＵ２ａ、Ｕ２ｂの声を第２音声として拡声する。

【0037】

図５は、第１設備１の第１スクリーン２１が配備される部分を上方から見た場合における第１カメラ２２、第１プロジェクタ２３、第１マイク２４及び第１スピーカ２６の配置を模式的に示す図である。

【0038】

図示のように、奥行き方向Ａの後方で第１スクリーン２１の正面２１Ａの中央位置に配置される第１カメラ２２と対向する位置であって、図２で示すラック１００の上部には、第１プロジェクタ２３が配置される。

【0039】

一方、第１スクリーン２１における奥行き方向Ａの後方で第１スクリーン２１の下面２１Ｃの上であって、下面２１Ｃの前縁２１Ｃａ側には、第１マイク２４が配置される。

【0040】

さらに、第１スクリーン２１における奥行き方向Ａの前方で第１スクリーン２１の正面２１Ａに近接する位置であって、第１スクリーン２１の下面２１Ｃの上には、第１スピーカ２６が配置される。

【0041】

本実施の形態では、第１マイク２４及び第１スピーカ２６は、第１設備１を使用するユーザＵ１ａ、Ｕ１ｂごとにそれぞれ配置される。

【0042】

図１で示す第１制御装置２７は、本実施の形態では、第１カメラ２２、第１プロジェクタ２３、第１マイク２４、第１アンプ２５及び第１スピーカ２６を制御する装置であって、例えばコンピュータによって実装される。

【0043】

図６は、第１制御装置２７の構成の概略を説明するブロック図である。図示のように、第１制御装置２７は、プロセッサ２７ａ、メモリ２７ｂ、ストレージ２７ｃ、送受信部２７ｄ及び入出力部２７ｅを主要構成として備え、これらが互いにバス２７ｆを介して電気的に接続される。

【0044】

プロセッサ２７ａは、第１制御装置２７の動作を制御し、各要素間におけるデータの送受信の制御や、アプリケーションプログラムの実行に必要な処理等を行う演算装置である。

【0045】

このプロセッサ２７ａは、本実施の形態では例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、後述するストレージ２７ｃに格納されてメモリ２７ｂに展開されたアプリケーションプログラムを実行して各処理を行う。

【0046】

メモリ２７ｂは、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶装置として実装される。

【0047】

このメモリ２７ｂは、プロセッサ２７ａの作業領域として使用される一方、第１制御装置２７の起動時に実行されるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）、及び各種の設定情報等が格納される。

【0048】

ストレージ２７ｃは、アプリケーションプログラムや各種の処理に用いられるデータ等が格納されている。本実施の形態では、後述する通信プログラムが格納される。

【0049】

送受信部２７ｄは、第１制御装置２７をネットワークＮに接続する。この送受信部２７ｄは、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＢＬＥ（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）といった近距離通信インターフェースを具備するものであってもよい。

【0050】

入出力部２７ｅには、必要に応じて、キーボードやマウスといった情報入力機器やディスプレイ等の出力機器が接続される。本実施の形態では、第１カメラ２２、第１プロジェクタ２３、第１マイク２４、第１アンプ２５及び第１スピーカ２６が接続される。

【0051】

バス２７ｆは、接続したプロセッサ２７ａ、メモリ２７ｂ、ストレージ２７ｃ、送受信部２７ｄ及び入出力部２７ｅの間において、例えばアドレス信号、データ信号及び各種の制御信号を伝達する。

【0052】

図７は、第１制御装置２７のストレージ２７ｃに格納される通信プログラムの構成の概略を説明するブロック図である。図示のように、通信プログラム４０は、本実施の形態では、第１制御装置２７を映像制御部４１及び音声制御部４２として機能させるプログラムである。

【0053】

映像制御部４１は、本実施の形態では、第１カメラ２２及び第１プロジェクタ２３での映像処理に際して、第１制御Ｓ１及び第２制御Ｓ２を実行するものである。

【0054】

第１制御Ｓ１は、本実施の形態では、第１カメラ２２が取得した第１映像を第２制御装置３７に送信し、第２カメラ３２が取得した第２映像を取得し、かつ取得した第２映像を第１プロジェクタ２３が第１スクリーン２１に投影するといった制御を実行する。

【0055】

一方、第２制御Ｓ２は、本実施の形態では、第２設備２の第２プロジェクタ３３が第１画像を第２スクリーン３１に投影する際に発生する第１映像の歪みを補正して、画角の調整を実行する。

【0056】

本実施の形態では、第２スクリーン３１の上面３１Ｂ、下面３１Ｃ及び両側面３１Ｄ、３１Ｄに投影される第１映像に歪みが発生することから、これらの投影面に投影される第１映像の画角を調整する。

【0057】

画角の調整は、例えば、第１映像の一部を抽出して、抽出した部分を投影面に応じて拡大あるいは縮小する等の処理を施すことによって実行する。

【0058】

音声制御部４２は、本実施の形態では、第１マイク２４、第１アンプ２５及び第１スピーカ２６での音声処理に際して、第１制御Ｓ１及び第２制御Ｓ２を実行するものである。

【0059】

第１制御Ｓ３は、本実施の形態では、第１マイク２４が収音した第１音声を第２制御装置３７に送信し、第２マイク３４が収音した第２音声を取得し、かつ取得した第２音声を第１スピーカ２６で拡声するといった制御を実行する。

【0060】

一方、第２制御Ｓ４は、本実施の形態では、第１マイク２４と第１スピーカ２６とが干渉することによって発生する鳴音であるハウリングをキャンセルして、ハウリングの除去あるいはハウリングの発生を抑制する。

【0061】

ハウリングのキャンセルは、例えば、第１マイク２４が収音した第１スピーカ２６から拡声された第２音声に含まれるハウリングを除去する、あるいは第１スピーカ２６から拡声された第２音声が第１マイク２４によって収音されないようにすることによって実行する。

【0062】

これにより、第１マイク２４による第１音声の収音と第１スピーカ２６による第２音声の拡声とが錯綜して第１マイク２４と第１スピーカ２６とが干渉することが抑制されることから、第１設備１を使用するユーザＵ１ａ、Ｕ１ｂと第２設備２を使用するユーザＵ２ａ、Ｕ２ｂとの間の会話が円滑に行われる。

【0063】

さらに、本実施の形態では、第１マイク２４及び第１スピーカ２６が第１設備１を使用するユーザＵ１ａ、Ｕ１ｂごとにそれぞれ配置されることから、ユーザＵ１ａ、Ｕ１ｂの声がそれぞれ第１音声として収音され、かつ第２設備２を使用するユーザＵ２ａ、Ｕ２ｂの声がそれぞれ第２音声としてユーザＵ１ａ、Ｕ１ｂのそれぞれに拡声される。

【0064】

したがって、例えば図８で示すように、第１設備１のユーザＵ１ａとこのユーザＵ１ａが投影される第２スクリーン３１を介してユーザＵ１ａと対面する第２設備２のユーザＵ２ａとの間の会話と、第１設備１のユーザＵ１ｂとこのユーザＵ１ｂが投影される第２スクリーン３１を介してユーザＵ１ｂと対面する第２設備２のユーザＵ２ｂとの間の会話とが互いに相紛れることがない。

【0065】

その結果、ユーザＵ１ａとユーザＵ２ａとの間の会話が、ユーザＵ１ｂ及びユーザＵ２ｂにとって耳障りとなって、ユーザＵ１ｂとユーザＵ２ｂとの間の会話が阻害されたり、ユーザＵ１ｂとユーザＵ２ｂとの間の会話が、ユーザＵ１ａ及びユーザＵ２ａにとって耳障りとなって、ユーザＵ１ａとユーザＵ２ａとの間の会話が阻害されたりすることが抑制される。

【0066】

一方、第１設備１のユーザＵ１ａとこのユーザＵ１ａが投影される第２スクリーン３１を介してユーザＵ１ａとはす向かいとなる第２設備２のユーザＵ２ｂとの間の会話と、第１設備１のユーザＵ１ｂとこのユーザＵ１ｂが投影される第２スクリーン３１を介してユーザＵ１ｂとはす向かいとなる第２設備２のユーザＵ２ａとの間の会話とが互いに相紛れることがない。

【0067】

その結果、ユーザＵ１ａとユーザＵ２ｂとの間の会話が、ユーザＵ１ｂ及びユーザＵ２ａにとって耳障りとなって、ユーザＵ１ｂとユーザＵ２ａとの間の会話が阻害されたり、ユーザＵ１ｂとユーザＵ２ａとの間の会話が、ユーザＵ１ａ及びユーザＵ２ｂにとって耳障りとなって、ユーザＵ１ａとユーザＵ２ｂとの間の会話が阻害されたりすることが抑制される。

【0068】

したがって、第１設備１と第２設備２との間の音声通信において、ユーザＵ１ａ、Ｕ１ｂとユーザＵ２ａ、Ｕ２ｂとが実空間で会話をしているかのようなコミュニケーション環境を生み出すことができる。

【0069】

これら第１カメラ２２、第１プロジェクタ２３及び第１制御装置２７の通信プログラム４０における映像制御部４１によって、本実施の形態では映像処理部が構成され、第１マイク２４、第１アンプ２５、第１スピーカ２６及び第１制御装置２７の通信プログラム４０における音声制御部４２によって、本実施の形態では音声処理部が構成される。

【0070】

次に、本実施の形態に係る通信システム１０の処理の概略について説明する。

【0071】

図９は、本実施の形態に係る通信システムの処理の概略を説明するフローチャートである。図示のように、まず、ステップＳ１０において、第１カメラ２２が第１設備１において第１映像を取得する。

【0072】

本実施の形態では、第１カメラ２２は、第１スクリーン２１の正面２１Ａの中央位置に配置されることから、第１スクリーン２１の正面２１Ａを向いた目線のユーザＵ１ａ及びユーザＵ１ｂの映像を第１映像として取得する。

【0073】

続いて、ステップＳ１１において、第１制御装置２７が、取得した第１映像の画角を調整し、ステップＳ１２において、第１制御装置２７が第１映像を第２制御装置３７に送信する。

【0074】

さらに、ステップＳ１３において、第２プロジェクタ３３が、第２設備２の第２スクリーン３１に第１映像を投影する。

【0075】

本実施の形態では、第１スクリーン２１の正面２１Ａを向いた目線のユーザＵ１ａ及びユーザＵ１ｂの映像を第１映像として投影することから、第１映像におけるユーザＵ１ａ及びユーザＵ１ｂの目線と、第２スクリーン３１の正面３１Ａを見るユーザＵ２ａ及びユーザＵ２ｂの目線とが合う。

【0076】

続いて、ステップＳ１４において、第２カメラ３２が第２設備２において第２映像を取得する。

【0077】

本実施の形態では、第２カメラ３２は、第２スクリーン３１の正面３１Ａの中央位置に配置されることから、第２スクリーン３１の正面３１Ａを向いた目線のユーザＵ２ａ及びユーザＵ２ｂの映像を第２映像として取得する。

【0078】

続いて、ステップＳ１５において、第２制御装置３７が、取得した第２映像の画角を調整し、ステップＳ１６において、第２制御装置３７が第２映像を第１制御装置２７に送信する。

【0079】

さらに、ステップＳ１７において、第１プロジェクタ２３が、第１設備１の第１スクリーン２１に第２映像を投影する。

【0080】

本実施の形態では、第２スクリーン３１の正面３１Ａを向いた目線のユーザＵ２ａ及びユーザＵ２ｂの映像を第２映像として投影することから、第２映像におけるユーザＵ２ａ及びユーザＵ２ｂの目線と、第１スクリーン２１の正面２１Ａを見るユーザＵ１ａ及びユーザＵ１ｂの目線とが合う。

【0081】

一方、ステップＳ２０において、第１マイク２４が第１設備１において第１音声を収音し、ステップＳ２１において、第１制御装置２７が第１音声を第２制御装置３７に送信する。

【0082】

さらに、ステップＳ２２において、第２スピーカ３６が、第２設備２において第１音声を拡声するとともに、ステップＳ２３において、第２マイク３４と第２スピーカ３６とが干渉することによって発生するハウリングをキャンセルする。

【0083】

続いて、ステップＳ２４において、第２マイク３４が第２設備２において第２音声を収音し、ステップＳ２５において、第２制御装置３７が第２音声を第１制御装置２７に送信する。

【0084】

さらに、ステップＳ２６において、第１スピーカ２６が、第１設備１において第２音声を拡声するとともに、ステップＳ２７において、第１マイク２４と第１スピーカ２６とが干渉することによって発生するハウリングをキャンセルする。

【0085】

このように、第１スクリーン２１には、複数の投影面によって立体的な凹状に形成される第１スクリーン２１に応じた奥行きのある自然な第２映像が投影され、第２スクリーン３１にも、複数の投影面によって立体的な凹状に形成される第２スクリーン３１に応じた奥行きのある自然な第１映像が投影される。

【0086】

さらに、第１設備１の第１マイク２４が収音した第１音声が第２設備２の第２スピーカ３６で拡声され、かつ第２設備２の第２マイク３４が収音した第２音声が第１設備１の第１スピーカ２６で拡声される。

【0087】

したがって、第１設備１を使用するユーザＵ１ａ、Ｕ１ｂ及び第２設備２を使用するユーザＵ２ａ、Ｕ２ｂが互いにオンライン環境であることを意識することがなく、実空間でコミュニケーションを行っているかのような没入感を共有できることが期待される。

【0088】

特に、本実施の形態では、第１スクリーン２１及び第２スクリーン３１が正面２１Ａ（３１Ａ）、上面２１Ｂ（３１Ｂ）、下面２１Ｃ（３１Ｃ）、両側面２１Ｄ（３１Ｄ）、２１Ｄ（３１Ｄ）の五面からなる投影面を備えることから、第１映像（第２映像）が投影されることによって、より立体的で実空間に近い環境が実現される。

【0089】

さらに、本実施の形態では、第１スクリーン２１及び第２スクリーン３１を介して、第１設備１のユーザＵ１ａ、Ｕ１ｂの目線と第２設備２のユーザＵ２ａ、Ｕ２ｂの目線とが合うことから、各ユーザ間でのコミュニケーションの質が向上することが想定される。

【0090】

このような通信システム１０は、例えば、遠方の友人や家族等との会食、病院や介護施設等に入居する家族との面会、いわゆるテレワークの際の会議、面接や各種面談、あるいはスクーリングや各種のレッスン等といった種々の目的で利用することが可能である。

【0091】

なお、本発明は上記実施の形態に限定されることはなく、発明の趣旨を逸脱しない範囲で種々の変更が可能である。

【0092】

上記実施の形態では、第１設備１及び第２設備２がパイプ材１００ａで形成されるラック１００によって構成される場合を説明したが、例えばパーテーション等で間仕切りされた小室（ブース）として構成されてもよい。

【0093】

更には、第１設備１及び第２設備２は、各種施設のフロアの一部がラック１００や小室（ブース）として区画されないで、例えば第１スクリーン２１や第２スクリーン３１等が各種施設のフロアの任意の領域に配備されることによって構成されてもよい。

【0094】

上記実施の形態では、音声制御部４２の第２制御Ｓ２でハウリングがキャンセルされる場合を説明したが、ハウリングのキャンセルは、例えばデジタルシグナルプロセッサ等のハードウェア構成が用いられて実行されるものであってもよい。

【0095】

上記実施の形態では、第１映像には第１設備１の背景が含まれ、第２映像には第２設備２の背景が含まれる場合を説明したが、いわゆるバーチャル背景に差し替えられるように構成してもよい。

【0096】

上記実施の形態では、第１設備１及び第２設備２にそれぞれ第１スクリーン２１及び第２スクリーン３１が配備される場合を説明したが、第１スクリーン２１及び第２スクリーン３１とは別途で、第１設備１及び第２設備２にそれぞれサブスクリーンが配備されてもよい。

【0097】

このサブスクリーンに同じ映像（例えば車窓から見える風景の映像）が投影されることによって、ユーザの没入感が更に向上することが想定される。

【0098】

ところで、通信システム１０の第１カメラ２２及び第２カメラ３２には、モーションセンサ等の画像認識技術が搭載されて、この画像認識技術によってユーザの動作が認識されて通信システム１０が操作されるように構成してもよい。

【0099】

更に、通信システム１０には、同時通訳機能や議事録の自動作成機能等が搭載されてもよい。

【符号の説明】

【0100】

１ 第１設備
２ 第２設備
１０ 通信システム
２１ 第１スクリーン
２２ 第１カメラ（第１映像取得手段）
２３ 第１プロジェクタ（第１投影手段）
２４ 第１マイク（第１収音手段）
２６ 第１スピーカ（第１拡声手段）
２７ 第１制御装置
３１ 第２スクリーン
３２ 第２カメラ（第２映像取得手段）
３３ 第２プロジェクタ（第２投影手段）
３４ 第２マイク（第２収音手段）
３６ 第２スピーカ（第２拡声手段）
３７ 第２制御装置
４０ 通信プログラム
４１ 映像制御部
４２ 音声制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】