(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023178060
(43)【公開日】2023-12-14
(54)【発明の名称】遠隔会議制御装置
(51)【国際特許分類】
H04R 3/02 20060101AFI20231207BHJP
H04N 7/15 20060101ALI20231207BHJP
H04N 21/233 20110101ALI20231207BHJP
H04M 3/56 20060101ALI20231207BHJP
【FI】
H04R3/02
H04N7/15
H04N21/233
H04M3/56
【審査請求】未請求
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2022091107
(22)【出願日】2022-06-03
(71)【出願人】
【識別番号】392026693
【氏名又は名称】株式会社NTTドコモ
(74)【代理人】
【識別番号】110000752
【氏名又は名称】弁理士法人朝日特許事務所
(72)【発明者】
【氏名】村上 真衣子
(72)【発明者】
【氏名】森下 真幸
(72)【発明者】
【氏名】合田 晶生
【テーマコード(参考)】
5C164
5D220
5K201
【Fターム(参考)】
5C164FA10
5C164PA41
5C164SB04P
5C164SC11S
5C164VA13P
5C164YA21
5C164YA27
5D220BA02
5D220CC06
5K201AA01
5K201BB09
5K201CA01
5K201DC01
5K201EC06
5K201ED05
5K201ED07
5K201EF03
(57)【要約】
【課題】遠隔会議における会話音声の品質を保つ。
【解決手段】遠隔会議システム1において、或る遠隔会議に参加しているユーザが利用するユーザ端末10(第1のユーザ端末)のマイクが、その会議に参加している他のユーザが利用するユーザ端末10(第2のユーザ端末)のスピーカからの音声を収音し、収音した音をユーザ端末10(第1及び第2のユーザ端末)のスピーカから再び出力してしまうことで、ハウリングという問題が発生し得る。そこで、サーバ装置20は、1の遠隔会議に参加している複数のユーザのうち2人以上のユーザが共通の空間に居るか否かを判断する判断部222と、1の遠隔会議の複数のユーザのうち2人以上のユーザが共通の空間に居ると判断された場合には、当該2人以上のユーザのうち、発話していないユーザに対応するマイクの収音を無効にする無効処理部223とを備える。
【選択図】
図4
【特許請求の範囲】
【請求項1】
1の遠隔会議に参加している複数のユーザのうち2人以上のユーザが共通の空間に居るか否かを判断する判断部と、
前記1の遠隔会議の複数のユーザのうち2人以上のユーザが共通の空間に居ると判断された場合には、当該2人以上のユーザのうち、発話していないユーザに対応するマイクの収音を無効にする無効処理部と
を備えることを特徴とする遠隔会議制御装置。
【請求項2】
第1の遠隔会議に参加している第1のユーザと、第2の遠隔会議に参加している第2のユーザとが共通の空間に居るか否かを判断する判断部と、
前記第1の遠隔会議に参加している第1のユーザと、前記第2の遠隔会議に参加している第2のユーザとが共通の空間に居ると判断された場合に、前記第1のユーザが発話している期間において、前記第2のユーザに対応するマイクによって収音された音声から、前記第1のユーザに対応するマイクによって収音された音声に応じた音声成分を減算する処理を行う減算処理部と
を備えることを特徴とする遠隔会議制御装置。
【請求項3】
前記第1のユーザ及び前記第2のユーザが同時に発話している場合において、
前記減算処理部は、前記第1のユーザに対応するマイクによって収音された音声のうち最大音量に対応する音声に応じた音声成分を、前記第2のユーザに対応するマイクによって収音された音声から減算する
ことを特徴とする請求項2記載の遠隔会議制御装置。
【請求項4】
前記第1のユーザ及び前記第2のユーザが、音声を無線で送受信するワイヤレスマイク又はワイヤレスイヤホン、及び、無線装置を用いている場合に、
前記減算処理部は、前記ワイヤレスマイク又はワイヤレスイヤホン、及び、無線装置間の距離に応じて前記減算を行う
ことを特徴とする請求項3記載の遠隔会議制御装置。
【請求項5】
前記第1のユーザ及び前記第2のユーザが同時に発話している場合において、
前記減算処理部は、前記第1のユーザに対応するマイクによって収音された音声のうち、前記第1のユーザと前記第2のユーザがそれぞれ遠隔会議に用いる端末間の距離に応じた大きさの音声成分を、前記第2のユーザに対応するマイクによって収音された音声から減算する
ことを特徴とする請求項2記載の遠隔会議制御装置。
【請求項6】
前記判断部は、各々の前記ユーザが遠隔会議に用いる端末間において送受信される無線信号の受信レベルが閾値以上の場合に、複数の当該ユーザが共通の空間に居ると判断する
ことを特徴とする請求項1又は2記載の遠隔会議制御装置。
【請求項7】
前記閾値を設定する閾値設定部を備える
ことを特徴とする請求項6記載の遠隔会議制御装置。
【請求項8】
前記閾値設定部は、各々の前記ユーザが遠隔会議に用いる端末間の測距を行った結果と、各々の前記ユーザが遠隔会議に用いる端末間において送受信される無線信号の受信レベルの測定結果とを用いて、前記閾値を設定する
ことを特徴とする請求項7記載の遠隔会議制御装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は遠隔会議を行うための技術に関する。
【背景技術】
【0002】
近年において、遠隔地にいるユーザが電気通信システムを介して会話を行いながら情報を共有する遠隔会議システムの普及が進んでいる。この遠隔会議システムでは、遠隔会議に参加しているユーザの利用するマイクがスピーカの音を収音し、収音した音をスピーカから再び出力してしまうことで、ハウリングという問題が起こることがある。また、或る遠隔会議に参加しているユーザの音声が、そのすぐ近くに居る、別の遠隔会議の参加者たるユーザの利用するマイクによって収音されることで、異なる遠隔会議の音声が混入してしまうという問題もある。
【0003】
例えば単一の会議端末におけるハウリング抑制に関しては、特許文献1に、音声データから復号された音声信号とオ-ディオスイッチから供給される音声信号との間でエコ-キャンセリング処理を行い、通信中のハウリングの発生を防止する仕組みが開示されている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
このように、遠隔会議における会話音声の品質に関しては諸問題がある。そこで、本発明は、遠隔会議における会話音声の品質を保つことを目的とする。
【課題を解決するための手段】
【0006】
上記課題を解決するため、本発明は、1の遠隔会議に参加している複数のユーザのうち2人以上のユーザが共通の空間に居るか否かを判断する判断部と、前記1の遠隔会議の複数のユーザのうち2人以上のユーザが共通の空間に居ると判断された場合には、当該2人以上のユーザのうち、発話していないユーザに対応するマイクの収音を無効にする無効処理部と
を備えることを特徴とする遠隔会議制御装置を提供する。
【0007】
また、本発明は、第1の遠隔会議に参加している第1のユーザと、第2の遠隔会議に参加している第2のユーザとが共通の空間に居るか否かを判断する判断部と、前記第1の遠隔会議に参加している第1のユーザと、前記第2の遠隔会議に参加している第2のユーザとが共通の空間に居ると判断された場合に、前記第1のユーザが発話している期間において、前記第2のユーザに対応するマイクによって収音された音声から、前記第1のユーザに対応するマイクによって収音された音声に応じた音声成分を減算する処理を行う減算処理部とを備えることを特徴とする遠隔会議制御装置を提供する。
【発明の効果】
【0008】
本発明によれば、遠隔会議における会話音声の品質を保つことが可能となる。
【図面の簡単な説明】
【0009】
【
図1】本発明の第1実施形態に係る遠隔会議システム1の構成の一例を示す図である。
【
図2】第1実施形態に係るユーザ端末10のハードウェア構成の一例を示すブロック図である。
【
図3】第1実施形態に係るサーバ装置20のハードウェア構成の一例を示すブロック図である。
【
図4】第1実施形態に係る遠隔会議システム1の機能構成の一例を示すブロック図である。
【
図5】第1実施形態に係るサーバ装置20の記憶部221が記憶するデータを例示する図である。
【
図6】第1実施形態に係るサーバ装置20の動作の一例を示すフローチャートである。
【
図7】第2実施形態に係る遠隔会議システム1の機能構成の一例を示すブロック図である。
【
図8】第2実施形態に係るサーバ装置20の動作の一例を示すフローチャートである。関係を説明する図である。
【発明を実施するための形態】
【0010】
[第1実施形態]
図1は、本実施形態の遠隔会議システム1の一例を示す図である。この遠隔会議システム1は、例えばスマートホン、タブレット、ウェアラブル端末又はパーソナルコンピュータ等の、本発明に係る「端末」としてそれぞれ機能する複数のユーザ端末10a,10b,10c(以下、ユーザ端末10と総称する)と、本発明に係る「遠隔会議制御装置」として機能するサーバ装置20とを備える。ネットワーク2は、これらユーザ端末10及びサーバ装置20を相互に通信可能に接続する。ネットワーク2は、例えばLAN(Local Area Network)又はWAN(Wide Area Network)、若しくはこれらの組み合わせであり、有線区間又は無線区間を含んでいる。ネットワーク2は、低遅延が特徴である第5世代移動通信システムに準拠したネットワークであることが望ましいが、必ずしもこれに限らない。なお、
図1には、ユーザ端末として、ユーザ端末10a,10b,10cの3つを示しているが、これらは4以上であってもよい。
【0011】
遠隔会議システム1において、遠隔会議の参加者たる複数のユーザは互いに離れた場所にで、ユーザ端末10間でネットワーク2を介して音声による会話や情報の共有を行うことができるようになっている。同一の遠隔会議(以下、同一会議という)の参加者たる複数のユーザがそれぞれ利用する各ユーザ端末10は、ユーザが発話した音声を収音して、その音声を示す音声データをネットワーク2経由でサーバ装置20に送信する。サーバ装置20は、同一会議に参加する或るユーザのユーザ端末10からネットワーク2経由で送信されてくる音声データを、同一会議に参加する他のユーザのユーザ端末10にネットワーク2経由で送信する。各ユーザ端末10は、サーバ装置20から送信されてくる音声データに応じた音声を出力する。これにより、各ユーザは音声による会話を行うことができるようになっている。
【0012】
遠隔会議システムにおいては、或る遠隔会議に参加している複数のユーザのうち、いずれか2人以上のユーザが近傍に居る場合、一方のユーザの利用するユーザ端末(第1のユーザ端末)のマイクが、他方のユーザの利用するユーザ端末(第2のユーザ端末)のスピーカからの音声を収音し、収音した音をユーザ端末(第2のユーザ端末)のスピーカから再び出力してしまうことで、ハウリングという問題が発生し得る。
【0013】
そこで、本発明の第1実施形態では、1の遠隔会議に参加している複数のユーザのうち2人以上のユーザが共通の空間に居るか否かを判断し、2人以上のユーザが共通の空間に居ると判断された場合には、その2人以上のユーザのうち、発話していないユーザに対応するマイクの収音を無効にすることで、このハウリングの問題を解消する。つまり、第1実施形態に係る遠隔会議システム1は、複数のユーザが同一場所で同一会議に参加している場合のハウリング防止を主たる目的としている。
【0014】
図2は、第1実施形態に係るユーザ端末10のハードウェア構成の一例を示す図である。ユーザ端末10は、物理的には、プロセッサ1001、メモリ1002、ストレージ1003、通信装置1004、入力装置1005、出力装置1006及びこれらを接続するバスなどを含むコンピュータ装置として構成されている。なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。ユーザ端末10のハードウェア構成は、図に示した各装置を1つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。
【0015】
ユーザ端末10における各機能は、プロセッサ1001、メモリ1002などのハードウェア上に所定のソフトウェア(プログラム)を読み込ませることによって、プロセッサ1001が演算を行い、通信装置1004による通信を制御したり、メモリ1002及びストレージ1003におけるデータの読み出し及び書き込みの少なくとも一方を制御したりすることによって実現される。
【0016】
プロセッサ1001は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ1001は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置(CPU:Central Processing Unit)によって構成されてもよい。また、例えばベースバンド信号処理部や呼処理部などがプロセッサ1001によって実現されてもよい。
【0017】
プロセッサ1001は、プログラム(プログラムコード)、ソフトウェアモジュール、データなどを、ストレージ1003及び通信装置1004の少なくとも一方からメモリ1002に読み出し、これらに従って各種の処理を実行する。プログラムとしては、後述する動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。ユーザ端末10の機能ブロックは、メモリ1002に格納され、プロセッサ1001において動作する制御プログラムによって実現されてもよい。各種の処理は、1つのプロセッサ1001によって実行されてもよいが、2以上のプロセッサ1001により同時又は逐次に実行されてもよい。プロセッサ1001は、1以上のチップによって実装されてもよい。なお、プログラムは、電気通信回線を介してネットワーク2からユーザ端末10に送信されてもよい。
【0018】
メモリ1002は、コンピュータ読み取り可能な記録媒体であり、例えば、ROM(Read Only Memory)、EPROM(Erasable Programmable ROM)、EEPROM(Electrically Erasable Programmable ROM)、RAM(Random Access Memory)などの少なくとも1つによって構成されてもよい。メモリ1002は、レジスタ、キャッシュ、メインメモリ(主記憶装置)などと呼ばれてもよい。メモリ1002は、本実施形態に係る方法を実施するために実行可能なプログラム(プログラムコード)、ソフトウェアモジュールなどを保存することができる。
【0019】
ストレージ1003は、コンピュータ読み取り可能な記録媒体であり、例えば、CD-ROM(Compact Disc ROM)などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Blu-ray(登録商標)ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー(登録商標)ディスク、磁気ストリップなどの少なくとも1つによって構成されてもよい。ストレージ1003は、補助記憶装置と呼ばれてもよい。ストレージ1003は、演奏評価プログラムや後述する楽譜データ群を記憶する。
【0020】
通信装置1004は、有線ネットワーク又は無線ネットワークの少なくとも一方を介してコンピュータ間の通信を行うためのハードウェア(送受信デバイス)であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。通信装置1004は、例えば周波数分割複信(FDD:Frequency Division Duplex)及び時分割複信(TDD:Time Division Duplex)の少なくとも一方を実現するために、高周波スイッチ、デュプレクサ、フィルタ、周波数シンセサイザなどを含んで構成されてもよい。例えば、送受信アンテナ、アンプ部、送受信部、伝送路インターフェースなどは、通信装置1004によって実現されてもよい。送受信部は、送信部と受信部とで、物理的に、または論理的に分離された実装がなされてもよい。
【0021】
入力装置1005は、外部からの入力を受け付ける入力デバイス(例えば、キー、スイッチ、ボタン、センサなど)であり、少なくともマイクを含んでいる。出力装置1006は、外部への出力を実施する出力デバイス(例えば、ディスプレイ、LEDライトなど)であり、少なくともスピーカを含んでいる。なお、入力装置1005及び出力装置1006は、一体となった構成(例えば、タッチスクリーン)であってもよい。
【0022】
近距離無線通信装置1007は、例えばUWB(Ultra Wide Band)やBTLE(Bluetooth Low Energy/登録商標)等の通信規格に従って無線通信を行うハードウェア(送受信デバイス)である。これらの通信規格は、近距離無線通信装置1007間でお互いの位置までの距離を行う測距機能を備えている。第1実施形態では、この測距機能を用いてユーザ端末10間の距離を推測する。
【0023】
プロセッサ1001、メモリ1002などの各装置は、情報を通信するためのバスによって接続される。バスは、単一のバスを用いて構成されてもよいし、装置間ごとに異なるバスを用いて構成されてもよい。
【0024】
また、ユーザ端末10は、マイクロプロセッサ、デジタル信号プロセッサ(DSP:Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、FPGA(Field Programmable Gate Array)などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ1001は、これらのハードウェアの少なくとも1つを用いて実装されてもよい。
【0025】
図3は、第1実施形態に係るサーバ装置20のハードウェア構成を示す図である。サーバ装置20のハードウェア構成は、
図3に示した各装置を1つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。また、それぞれ筐体が異なる複数の装置が通信接続されて、サーバ装置20を構成してもよい。
【0026】
サーバ装置20は、物理的には、プロセッサ2001、メモリ2002、ストレージ2003、通信装置2004、入力装置2005、出力装置2006、及びこれらを接続するバスなどを含むコンピュータ装置として構成されている。サーバ装置20における各機能は、プロセッサ2001、メモリ2002などのハードウェア上に所定のソフトウェア(プログラム)を読み込ませることによって、プロセッサ2001が演算を行い、通信装置2004による通信を制御したり、メモリ2002及びストレージ2003におけるデータの読み出し及び書き込みの少なくとも一方を制御したりすることによって実現される。プロセッサ2001、メモリ2002、ストレージ2003、通信装置2004、入力装置2005、出力装置2006、及びこれらを接続するバスは、ユーザ端末10について説明したプロセッサ1001、メモリ1002、ストレージ1003、通信装置1004、入力装置1005、出力装置1006、及びこれらを接続するバスと、ハードウェアとしては同様であるため、その説明を省略する。ただし、通信装置2004は、無線通信の通信規格に従って通信を行うためのハードウェアである必要はなく、任意の有線通信の通信規格に従ってネットワーク2を介してコンピュータ間の通信を行うためのハードウェア(送受信デバイス)であってもよい。
【0027】
図4は、第1実施形態に係る遠隔会議システム1の機能構成の一例を示すブロック図である。
図4に示すように、サーバ装置20においては、例えばユーザの音声データ等の各種のデータを各ユーザ端末10からネットワーク2経由で取得する取得部21と、各ユーザ端末10に対して遠隔会議の音声に関する各種制御を行う音声制御部22という機能が実現される。音声制御部22は、記憶部221、判断部222、無効処理部223という機能を含み、さらに判断部222は、閾値設定部2221という機能を含んでいる。
【0028】
記憶部221は、
図5に例示するように、遠隔会議に参加する各ユーザ及びそのユーザの利用するユーザ端末10に関する情報を記憶する。
図5に示すように、各遠隔会議に付された識別情報である会議IDと、その遠隔会議に参加する各ユーザに付された識別情報であるユーザIDと、そのユーザのユーザ端末10に付された識別情報である端末IDとが対応付けて記憶部221に記憶される。
図5の例では、例えば会議ID「M0001」の遠隔会議には、ユーザID「U012」、「U002」及び「U215」のユーザが参加しており、さらに、ユーザID「U012」のユーザは端末ID「D1245」のユーザ端末10を利用して遠隔会議に参加しており、「U002」のユーザは端末ID「D3225」のユーザ端末10を利用して遠隔会議に参加しており、「U215」のユーザは端末ID「D0126」のユーザ端末10を利用して遠隔会議に参加している。サーバ装置20は、この記憶部221に記憶された内容を参照することにより、どの遠隔会議にどのユーザが参加しているかということを特定する。なお、ユーザID及び端末IDはそれぞれ、各ユーザを識別し得る識別情報、及び、各ユーザ端末10を識別し得る識別情報であれば、どのようなものであってもよい。
【0029】
図4の説明に戻り、判断部222は、1の遠隔会議に参加している複数のユーザのうち2人以上のユーザが共通の空間に居るか否かを判断する。より具体的には、判断部222は、各々のユーザが遠隔会議に用いるユーザ端末10の近距離無線通信装置1007間において送受信される無線信号の受信レベルを各ユーザ端末10から取得し、その受信レベルが閾値以上の場合には、その複数のユーザが共通の空間に居ると判断する。一方、判断部222は、各々のユーザが遠隔会議に用いるユーザ端末10の近距離無線通信装置1007間において送受信される無線信号の受信レベルを各ユーザ端末10から取得し、その受信レベルが閾値未満の場合には、その複数のユーザが共通の空間に居ないと判断する。
【0030】
近距離無線通信装置1007間において送受信される無線信号は、例えば壁やドア等の障害物が存在することにより大きく減衰するほか、或る距離以上になると急速に減衰することが知られている。従って、上記閾値を適切に設定することで、各ユーザ端末10が共通の空間(例えば同一の室内空間や、音声品質に関する問題が起こり得る程度の大きさとなる空間)に存在するか否かを判断することが可能である。閾値設定部2221は、例えば遠隔会議システム1の管理者の指定に従って上記閾値を設定(記憶)する。
【0031】
無効処理部223は、1の遠隔会議の複数のユーザのうち2人以上のユーザが共通の空間に居ると判断部222により判断された場合には、その2人以上のユーザのうち、発話していないユーザに対応するマイクの収音を無効にする。具体的には、無効処理部223は、各ユーザ端末10から取得部21より取得される音声の音量レベルが基準値未満の場合には、そのユーザ端末10を利用するユーザは発話していないと判断し、そのユーザ端末10から取得された音声データを、同一会議に参加している他のユーザのユーザ端末10には送信しない。一方、各ユーザ端末10から取得部21より取得される音声の音量レベルが基準値以上の場合には、無効処理部223は、そのユーザ端末10を利用するユーザは発話していると判断し、そのユーザ端末10から取得された音声データを、同一会議に参加している他のユーザのユーザ端末10に送信する。
【0032】
次に、
図6を参照して、第1実施形態に係るサーバ装置20の動作について説明する。
図6に示す各処理の手順は、サーバ装置20に記憶されているプログラムに記述されている。
【0033】
図6において、或る遠隔会議が開始されると(ステップS11)、取得部21はこの遠隔会議に参加している複数のユーザのユーザ端末10の各々から、音声データ等の各種データを取得する。このデータには、各ユーザ端末10の近距離無線通信装置1007間において送受信される無線信号の受信レベルに相当するデータや、ユーザ端末10において収音された音声の音量レベルに相当するデータが含まれている。
【0034】
判断部222は、上記の無線信号の受信レベルに相当するデータと閾値設定部2221に記憶されている閾値とを比較することにより、同一会議に参加している複数のユーザのうち2人以上のユーザが共通の空間に居るか否かを判断する(ステップS12)。
【0035】
同一会議に参加している複数のユーザのうち2人以上のユーザが共通の空間に居ると判断された場合(ステップS12;YES)、無効処理部223は、上記のユーザ端末10において収音された音声の音量レベルに相当するデータと基準値とを比較することにより、その2人以上のユーザのうち少なくともいずれかのユーザが発話していない状態であるか否かを判断する(ステップS13)。
【0036】
ユーザが発話していない状態であると判断された場合(ステップS13;YES)、無効処理部223は、そのユーザのユーザ端末10から取得された音声データを、同一会議に参加している他のユーザのユーザ端末10には送信しない、という音声の無効処理を行う(ステップS14)。
【0037】
これに対し、同一会議に参加している各ユーザがいずれも共通の空間に居ないと判断された場合には(ステップS12;NO)、サーバ装置20は、同一会議に参加するユーザの各ユーザ端末10から送信されてくる音声データを、同一会議に参加する他のユーザのユーザ端末10に送信する、という通常の遠隔会議制御を行う(ステップS15)。また、ステップS13において、共通の空間に居る2人以上のユーザのうち発話しているユーザがいる場合も(ステップS13;NO)、サーバ装置20は、そのユーザのユーザ端末10から送信されてくる音声データを、同一会議に参加する他のユーザのユーザ端末10に送信する、という通常の遠隔会議制御を行う(ステップS15)。
【0038】
以上説明した第1実施形態によれば、或る遠隔会議に参加しているユーザが利用するユーザ端末10(第1のユーザ端末)のマイクが、その会議に参加している他のユーザが利用するユーザ端末10(第2のユーザ端末)のスピーカからの音声を収音し、収音した音をそのユーザ端末10(第2のユーザ端末)のスピーカから再び出力してしまうことで生じるハウリングを解消すること、つまり、遠隔会議における会話音声の品質を保つことが可能となる。
【0039】
[第2実施形態]
次に、本発明の第2実施形態について説明する。遠隔会議においては、或る遠隔会議(第1の遠隔会議という)に参加しているユーザの音声が、そのすぐ近くに居る、別の遠隔会議(第2の遠隔会議という)の参加者たるユーザの利用するマイクによって収音されることがある。このとき収音された音声は、第2の遠隔会議のユーザに対してサーバ装置20経由で送信されることになるが、この音声は第1の遠隔会議に関係するものであり、第2の遠隔会議に関係するものではないから、いわゆる雑音になる。そこで、第2実施形態に係る遠隔会議システム1は、複数のユーザが同一場所で異なる遠隔会議に参加している場合の音声の混入排除を主たる目的としている。
【0040】
第2実施形態に係る遠隔会議システム1のシステム構成及び各装置のハードウェア構成は第1実施形態と同じであるため、説明を省略する。なお、以下の説明及び図面において、第1実施形態と同じ構成については同一の符号を付して説明する。
【0041】
図7は、第2実施形態に係る遠隔会議システム1の機能構成の一例を示すブロック図である。
図7に示すように、サーバ装置20においては、例えばユーザの音声データ等の各種のデータを各ユーザ端末10からネットワーク2経由で取得する取得部21と、各ユーザ端末10に対して遠隔会議に関する各種制御を行う音声制御部220という機能が実現される。音声制御部220は、記憶部221、判断部224、減算処理部225という機能を含み、さらに判断部224は、閾値設定部2221という機能を含んでいる。
【0042】
記憶部221は、第1実施形態と同様に、各遠隔会議に付された識別情報である会議IDと、その遠隔会議に参加する各ユーザに付された識別情報であるユーザIDと、そのユーザのユーザ端末10に付された識別情報である端末IDとを対応付けて記憶する。
【0043】
判断部224と、或る遠隔会議(第1の遠隔会議)に参加しているユーザと、別の遠隔会議(第2の遠隔会議)に参加しているユーザとが共通の空間に居るか否かを判断する。より具体的には、判断部224は、各々のユーザが遠隔会議に用いるユーザ端末10の近距離無線通信装置1007間において送受信される無線信号の受信レベルを各ユーザ端末10から取得し、その受信レベルが閾値以上の場合には、その複数のユーザが共通の空間に居ると判断する。一方、判断部224は、各々のユーザが遠隔会議に用いるユーザ端末10の近距離無線通信装置1007間において送受信される無線信号の受信レベルを各ユーザ端末10から取得し、その受信レベルが閾値未満の場合には、その複数のユーザが共通の空間に居ないと判断する。
【0044】
第1実施形態と第2実施形態とが異なる点は、第1実施形態では、同一会議に参加している複数のユーザが共通の空間に居るか否かを判断していたのに対し、第2実施形態では、異なる会議にそれぞれ参加している複数のユーザが共通の空間に居るか否かを判断している点である。閾値設定部2221は、第1実施形態と同様に、例えば遠隔会議システム1の管理者の指定に従って上記閾値を設定(記憶)している。
【0045】
減算処理部225は、第1の遠隔会議に参加しているユーザと、第2の遠隔会議に参加しているユーザとが共通の空間に居ると判断部224により判断された場合に、少なくともいずれか一方のユーザ(第1のユーザ)が発話している期間において、他方のユーザ(第2のユーザ)に対応するマイクによって収音された音声から、第1のユーザに対応するマイクによって収音された音声に応じた音声成分を減算する処理を行う。具体的には、減算処理部225は、各ユーザ端末10から取得部21より取得される音声の音量レベルが基準値以上の場合には、そのユーザ端末10を利用するユーザ(第1のユーザ)は発話していると判断する。そして、減算処理部225は、そのユーザ(第1のユーザ)と共通する空間に居て第2の遠隔会議に参加しているユーザ(第2のユーザ)の利用するユーザ端末10のマイクによって収音された音声の音声データから、上記ユーザ(第1のユーザ)の利用するユーザ端末10のマイクによって収音された音声の音声データに相当する音声成分を減算する。これにより、第2の遠隔会議に参加しているユーザ(第2のユーザ)の利用するユーザ端末10のマイクによって収音された音声に混入している、第1のユーザの音声が排除されることになる。
【0046】
次に、
図8を参照して、第2実施形態に係るサーバ装置20の動作について説明する。
図8に示す各処理の手順は、サーバ装置20に記憶されているプログラムに記述されている。
【0047】
図8において、2以上の遠隔会議が開始されると(ステップS21)、取得部21は各遠隔会議に参加している複数のユーザのユーザ端末10の各々から、音声データ等の各種データを取得する。このデータには、各ユーザ端末10の近距離無線通信装置1007間において送受信される無線信号の受信レベルに相当するデータや、ユーザ端末10において収音された音声の音量レベルに相当するデータが含まれている。
【0048】
判断部222は、上記の無線信号の受信レベルに相当するデータと閾値設定部2221に記憶されている閾値とを比較することにより、それぞれ第1の遠隔会議に参加しているユーザと、第2の遠隔会議に参加しているユーザとが共通の空間に居るか否かを判断する(ステップS22)。
【0049】
第1の遠隔会議に参加しているユーザと、第2の遠隔会議に参加しているユーザとが共通の空間に居ると判断された場合(ステップS22;YES)、減算処理部225は、これらユーザの各ユーザ端末10において収音された音声の音量レベルに相当するデータと基準値とを比較することにより、これらユーザのうち少なくともいずれかのユーザが発話している状態であるか否かを判断する(ステップS23)。
【0050】
これらユーザのうち少なくともいずれかのユーザが発話している状態であると判断された場合(ステップS23;YES)、発話しているユーザ(第1のユーザ)の発話期間において、他方のユーザ(第2のユーザ)に対応するマイクによって収音された音声から、第1のユーザに対応するマイクによって収音された音声に応じた音声成分を減算する処理を行う(ステップS24)。
【0051】
これに対し、異なる遠隔会議に参加している各ユーザがいずれも共通の空間に居ないと判断された場合には(ステップS22;NO)、サーバ装置20は通常の遠隔会議制御を行う(ステップS25)。また、ステップS23において、共通の空間に居る2人以上のユーザのうち発話しているユーザがいない場合も(ステップS23;NO)、サーバ装置20は通常の遠隔会議制御を行う(ステップS25)。
【0052】
以上説明した第2実施形態によれば、複数のユーザが同一場所で異なる遠隔会議に参加している場合に、雑音に相当する音声混入を排除すること、つまり、遠隔会議における会話音声の品質を保つことが可能となる。
【0053】
[変形例]
本発明は、上述した第1及び第2実施形態に限定されない。上述した第1及び第2実施形態を以下のように変形してもよい。また、以下の2つ以上の変形例を組み合わせて実施してもよい。
[変形例1]
第2実施形態において、例えば、それぞれ異なる遠隔会議に参加しており且つ共通の空間に居る2人以上のユーザが同時に発話している場合には、一方のユーザの音声はその一方のユーザに対応するマイクによって収音されるとともに、他方のユーザに対応するマイクによって収音される一方、他方のユーザの音声はその他方のユーザに対応するマイクによって収音されるとともに、上記の一方のユーザに対応するマイクによって収音されることになる。この場合は、他方のユーザに対応するマイクによって収音される一方のユーザの音声は雑音として排除するべきであると同時に、一方のユーザに対応するマイクによって収音される他方のユーザの音声も雑音として排除するべきである。
【0054】
そこで、減算処理部225は、第1のユーザに対応するマイクによって収音された音声のうち最大音量に対応する音声に応じた音声成分を、第2のユーザに対応するマイクによって収音された音声から減算するようにすればよい。つまり、第1のユーザに対応するマイクによって収音された音声のうち最大音量に対応する音声は第1のユーザの音声であると推測されるから、そのような最大音量に対応する第1のユーザの音声に応じた音声成分を、第2のユーザに対応するマイクによって収音された音声(第1のユーザが発話した音声と第2のユーザが発話した音声とが混合した音声)から減算するようにすればよい。このようにすれば、それぞれ異なる遠隔会議に参加しており且つ共通の空間に居る2人以上のユーザが同時に発話している場合における音声混入を排除することが可能となる。
【0055】
[変形例2]
第2実施形態において、上記変形例1のようにそれぞれ異なる遠隔会議に参加し且つ共通の空間に居る2人以上のユーザが同時に発話している場合に、減算処理部225は、第1のユーザに対応するマイクによって収音された音声のうち、第1のユーザと第2のユーザがそれぞれ用いるユーザ端末10間の距離に応じた大きさの音声成分を、第2のユーザに対応するマイクによって収音された音声から減算するようにしてもよい。具体的には、減算処理部225は、第1のユーザの利用するユーザ端末10及び第2のユーザの利用するユーザ端末10間で測距された距離に応じて、第1のユーザの利用するユーザ端末10のマイクによって収音された音声の音声データの音量を調整し、その調整後の音声の音声データに相当する音声成分を減算する。例えば、第1のユーザの利用するユーザ端末10及び第2のユーザの利用するユーザ端末10間の距離がより短い場合には、第1のユーザの音声がより大きな音量で第2のユーザの利用するユーザ端末10のマイクによって収音される。一方、第1のユーザの利用するユーザ端末10及び第2のユーザの利用するユーザ端末10間の距離が長い場合には、第1のユーザの音声がより小さな音量で第2のユーザの利用するユーザ端末10のマイクによって収音される。そこで、これらユーザ端末10間の距離が短いほど、第1のユーザの利用するユーザ端末10のマイクによって収音された音声の音声データの音量を小さくなるように調整してから、第2のユーザに対応するマイクによって収音された音声から減算するとよい。
【0056】
[変形例3]
上記変形例2では、ユーザ端末10間の距離に応じて、第1のユーザの利用するユーザ端末10のマイクによって収音された音声の音声データの音量を調整して、その音声の音声データに相当する音声成分を第2のユーザに対応するマイクによって収音された音声から減算していた。これに対し、例えば第1のユーザ及び第2のユーザが、音声を無線で送受信するワイヤレスマイク又はワイヤレスイヤホン、及び、無線装置を用いている場合には、減算処理部225は、ワイヤレスマイク又はワイヤレスイヤホン、及び、無線装置間の距離に応じて減算を行うようにしてもよい。ここでいう無線装置とは、ワイヤレスマイク又はワイヤレスイヤホンとネットワーク2との間に介在して、ワイヤレスマイク又はワイヤレスイヤホンと無線で音声データを遣り取りする、例えばスマートホンやパーソナルコンピュータである。
【0057】
[変形例4]
上記第1及び第2実施形態において、ユーザが共通の空間に居るか否かを判断するときに用いる閾値を自動的に設定し得るようにしてもよい。具体的には、閾値設定部2221は、各々のユーザが遠隔会議に用いるユーザ端末10間を例えばメジャー等の手段を用いて測距を行った結果と、各々のユーザが遠隔会議に用いるユーザ端末10間において送受信される無線信号の受信レベルの測定結果とを用いて、予め決められたユーザ端末10間の距離(音声品質に関する問題が生じ得る距離)に対応する受信レベルに相当する閾値を設定する。これにより、適切な閾値を容易に設定することが可能となる。
【0058】
[変形例5]
上記第1及び第2実施形態において、ユーザが共通の空間に居るか否かを判断する方法として、ユーザ端末10が備える近距離無線通信装置1007の測距機能を用いていたが、これに限定されない。例えば複数のユーザが居る空間を撮像して各ユーザを画像認識で識別することで、ユーザが共通の空間に居るか否かを判断するようにしてもよい。
【0059】
[変形例6]
本発明に係る遠隔会議制御装置の一例としてサーバ装置20を例示したが、
図4に例示した機能ブロックを実現するコンピュータであれば本発明を適用可能である。
【0060】
[そのほかの変形例]
なお、上記実施形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック(構成部)は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した1つの装置を用いて実現されてもよいし、物理的又は論理的に分離した2つ以上の装置を直接的又は間接的に(例えば、有線、無線などを用いて)接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記1つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。
【0061】
機能には、判断、決定、判定、計算、算出、処理、導出、調査、探索、確認、受信、送信、出力、アクセス、解決、選択、選定、確立、比較、想定、期待、見做し、報知(broadcasting)、通知(notifying)、通信(communicating)、転送(forwarding)、構成(configuring)、再構成(reconfiguring)、割り当て(allocating、mapping)、割り振り(assigning)などがあるが、これらに限られない。たとえば、送信を機能させる機能ブロック(構成部)は、送信部(transmitting unit)や送信機(transmitter)と呼称される。いずれも、上述したとおり、実現方法は特に限定されない。
【0062】
例えば、本開示の一実施の形態におけるユーザ端末10は、本開示の無線通信方法の処理を行うコンピュータとして機能してもよい。
【0063】
情報の通知は、本開示において説明した態様/実施形態に限られず、他の方法を用いて行われてもよい。例えば、情報の通知は、物理レイヤシグナリング(例えば、DCI(Downlink Control Information)、UCI(Uplink Control Information))、上位レイヤシグナリング(例えば、RRC(Radio Resource Control)シグナリング、MAC(Medium Access Control)シグナリング、報知情報(MIB(Master Information Block)、SIB(System Information Block)))、その他の信号又はこれらの組み合わせによって実施されてもよい。また、RRCシグナリングは、RRCメッセージと呼ばれてもよく、例えば、RRC接続セットアップ(RRC Connection Setup)メッセージ、RRC接続再構成(RRC Connection Reconfiguration)メッセージなどであってもよい。
【0064】
本開示において説明した各態様/実施形態は、LTE(Long Term Evolution)、LTE-A(LTE-Advanced)、SUPER 3G、IMT-Advanced、4G(4th generation mobile communication system)、5G(5th generation mobile communication system)、FRA(Future Radio Access)、NR(new Radio)、W-CDMA(登録商標)、GSM(登録商標)、CDMA2000、UMB(Ultra Mobile Broadband)、IEEE 802.11(Wi-Fi(登録商標))、IEEE 802.16(WiMAX(登録商標))、IEEE 802.20、UWB(Ultra-WideBand)、Bluetooth(登録商標)、その他の適切なシステムを利用するシステム及びこれらに基づいて拡張された次世代システムの少なくとも一つに適用されてもよい。また、複数のシステムが組み合わされて(例えば、LTE及びLTE-Aの少なくとも一方と5Gとの組み合わせ等)適用されてもよい。
【0065】
本開示において説明した各態様/実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。
【0066】
情報等は、上位レイヤ(又は下位レイヤ)から下位レイヤ(又は上位レイヤ)へ出力され得る。複数のネットワークノードを介して入出力されてもよい。
【0067】
入出力された情報等は特定の場所(例えば、メモリ)に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
【0068】
判定は、1ビットで表される値(0か1か)によって行われてもよいし、真偽値(Boolean:true又はfalse)によって行われてもよいし、数値の比較(例えば、所定の値との比較)によって行われてもよい。
【0069】
本開示において説明した各態様/実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知(例えば、「Xであること」の通知)は、明示的に行うものに限られず、暗黙的(例えば、当該所定の情報の通知を行わない)ことによって行われてもよい。
【0070】
以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されるものではないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本開示の記載は、例示説明を目的とするものであり、本開示に対して何ら制限的な意味を有するものではない。
【0071】
ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。
また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術(同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線(DSL:Digital Subscriber Line)など)及び無線技術(赤外線、マイクロ波など)の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。
【0072】
本開示において説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。
なお、本開示において説明した用語及び本開示の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。例えば、チャネル及びシンボルの少なくとも一方は信号(シグナリング)であってもよい。また、信号はメッセージであってもよい。また、コンポーネントキャリア(CC:Component Carrier)は、キャリア周波数、セル、周波数キャリアなどと呼ばれてもよい。
【0073】
本開示において使用する「システム」及び「ネットワーク」という用語は、互換的に使用される。
【0074】
また、本開示において説明した情報、パラメータなどは、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。例えば、無線リソースはインデックスによって指示されるものであってもよい。
上述したパラメータに使用する名称はいかなる点においても限定的な名称ではない。さらに、これらのパラメータを使用する数式等は、本開示で明示的に開示したものと異なる場合もある。様々なチャネル(例えば、PUCCH、PDCCHなど)及び情報要素は、あらゆる好適な名称によって識別できるので、これらの様々なチャネル及び情報要素に割り当てている様々な名称は、いかなる点においても限定的な名称ではない。
【0075】
本開示においては、「移動局(MS:Mobile Station)」、「ユーザ端末10(user terminal)」、「ユーザ装置(UE:User Equipment)」、「端末」などの用語は、互換的に使用され得る。移動局は、当業者によって、加入者局、モバイルユニット、加入者ユニット、ワイヤレスユニット、リモートユニット、モバイルデバイス、ワイヤレスデバイス、ワイヤレス通信デバイス、リモートデバイス、モバイル加入者局、アクセス端末、モバイル端末、ワイヤレス端末、リモート端末、ハンドセット、ユーザエージェント、モバイルクライアント、クライアント、又はいくつかの他の適切な用語で呼ばれる場合もある。
【0076】
ユーザ端末は、送信装置、受信装置、通信装置などと呼ばれてもよい。なお、ユーザ端末の少なくとも一方は、移動体に搭載されたデバイス、移動体自体などであってもよい。当該移動体は、乗り物(例えば、車、飛行機など)であってもよいし、無人で動く移動体(例えば、ドローン、自動運転車など)であってもよいし、ロボット(有人型又は無人型)であってもよい。なお、ユーザ端末は、必ずしも通信動作時に移動しない装置も含む。例えば、ユーザ端末は、センサなどのIoT(Internet of Things)機器であってもよい。
【0077】
「判断(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定(judging)、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking up、search、inquiry)(例えば、テーブル、データベース又は別のデータ構造での探索)、確認(ascertaining)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信(receiving)(例えば、情報を受信すること)、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)(例えば、メモリ中のデータにアクセスすること)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。また、「判断(決定)」は、「想定する(assuming)」、「期待する(expecting)」、「みなす(considering)」などで読み替えられてもよい。
【0078】
「接続された(connected)」、「結合された(coupled)」という用語、又はこれらのあらゆる変形は、2又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」又は「結合」された2つの要素間に1又はそれ以上の中間要素が存在することを含むことができる。要素間の結合又は接続は、物理的なものであっても、論理的なものであっても、或いはこれらの組み合わせであってもよい。例えば、「接続」は「アクセス」で読み替えられてもよい。本開示で使用する場合、2つの要素は、1又はそれ以上の電線、ケーブル及びプリント電気接続の少なくとも一つを用いて、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域及び光(可視及び不可視の両方)領域の波長を有する電磁エネルギーなどを用いて、互いに「接続」又は「結合」されると考えることができる。
【0079】
本開示において使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
【0080】
本開示において使用する「第1の」、「第2の」などの呼称を使用した要素へのいかなる参照も、それらの要素の量又は順序を全般的に限定しない。これらの呼称は、2つ以上の要素間を区別する便利な方法として本開示において使用され得る。したがって、第1及び第2の要素への参照は、2つの要素のみが採用され得ること、又は何らかの形で第1の要素が第2の要素に先行しなければならないことを意味しない。
【0081】
上記の各装置の構成における「手段」を、「部」、「回路」、「デバイス」等に置き換えてもよい。
【0082】
本開示において、「含む(include)」、「含んでいる(including)」及びそれらの変形が使用されている場合、これらの用語は、用語「備える(comprising)」と同様に、包括的であることが意図される。さらに、本開示において使用されている用語「又は(or)」は、排他的論理和ではないことが意図される。
【0083】
本開示において、例えば、英語でのa, an及びtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。
【0084】
本開示において、「AとBが異なる」という用語は、「AとBが互いに異なる」ことを意味してもよい。なお、当該用語は、「AとBがそれぞれCと異なる」ことを意味してもよい。「離れる」、「結合される」などの用語も、「異なる」と同様に解釈されてもよい。
【符号の説明】
【0085】
1…遠隔会議システム、2…ネットワーク、10…ユーザ端末、1001…プロセッサ、1002…メモリ、1003…ストレージ、1004…通信装置、1005…入力装置、1006…出力装置、1007…近距離無線通信装置、20…サーバ装置、21…取得部、22,220…音声制御部、221…記憶部、222…判断部、2221…閾値設定部、223…無効処理部、224…判断部、225…減算処理部、2001…プロセッサ、2002…メモリ、2003…ストレージ、2004…通信装置、2005…入力装置、2006…出力装置。