特許 6113303 会議システム及び会議システムにおけるボイスアクティベーションのための処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6113303

(24)【登録日】2017年3月24日

(45)【発行日】2017年4月12日

(54)【発明の名称】会議システム及び会議システムにおけるボイスアクティベーションのための処理方法

(51)【国際特許分類】

   H04M 3/56 20060101AFI20170403BHJP

   H04R 3/00 20060101ALI20170403BHJP

【ＦＩ】

   H04M3/56 Z

   H04R3/00 320

【請求項の数】11

【全頁数】15

(21)【出願番号】特願2015-549995(P2015-549995)

(86)(22)【出願日】2012年12月27日

(65)【公表番号】特表2016-503265(P2016-503265A)

(43)【公表日】2016年2月1日

(86)【国際出願番号】EP2012076972

(87)【国際公開番号】WO2014101944

(87)【国際公開日】20140703

【審査請求日】2015年6月26日

(73)【特許権者】

【識別番号】390023711

【氏名又は名称】ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング

【氏名又は名称原語表記】ＲＯＢＥＲＴ ＢＯＳＣＨ ＧＭＢＨ

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100099483

【弁理士】

【氏名又は名称】久野 琢也

(72)【発明者】

【氏名】ハンス ファン デル スハール

(72)【発明者】

【氏名】レネ デルクス

(72)【発明者】

【氏名】マルク スマーク

(72)【発明者】

【氏名】ヨヘム ボナリウス

(72)【発明者】

【氏名】ケース ヤンセ

【審査官】 永田 義仁

(56)【参考文献】

【文献】 特開２００９−１４１４００（ＪＰ，Ａ）

【文献】 特開２００６−３０４０３２（ＪＰ，Ａ）

【文献】 特開２００６−２１７５９３（ＪＰ，Ａ）

【文献】 特開平１１−３３１４３４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｍ ３／００

Ｈ０４Ｍ ３／１６− ３／２０

Ｈ０４Ｍ ３／３８− ３／５８

Ｈ０４Ｍ ７／００−１１／１０

Ｈ０４Ｎ ７／１０

Ｈ０４Ｍ ７／１４− ７／１７３

Ｈ０４Ｍ ７／２０− ７／５６

Ｈ０４Ｍ ２１／００−２１／８５８

Ｈ０４Ｒ ３／００− ３／１４

(57)【特許請求の範囲】

【請求項1】

会議システム（１）であって、
周囲からオーディオ信号を受信するためのマイクロフォン（５）を各々備えた複数のデリゲートユニット（２）と、
複数の発言チャネルを処理する中央サービスモジュール（３）と
を含み、
前記発言チャネルのオーディオ出力が、前記会議システム（１）の増幅されたオーディオ出力を成し、
前記デリゲートユニット（２）はそれぞれ、発言チャネルコミットの要求を前記中央サービスモジュール（３）へ送信するように構成されており、
前記中央サービスモジュール（３）は、前記要求を許可し、要求送出側の前記デリゲートユニット（２）に１つの発言チャネルを割り当てて、要求送出側の前記デリゲートユニット（２）をアクティブ状態（Ａ）にセットするように構成されている、
会議システム（１）において、
前記デリゲートユニット（２）は、ボイスアクティベーションによって前記要求をトリガするように構成されており、
前記要求は、少なくとも第１のトリガ条件が満たされた場合にトリガされ、該第１のトリガ条件は、前記複数のデリゲートユニット（２）のうち、要求送出側の候補デリゲートユニット（ｉ）である１つのデリゲートユニットのオーディオ信号レベルが、アクティブ状態（Ａ）にある他のデリゲートユニット（２）のいずれの個々のテスト値よりも高いことを規定するものであり、
前記個々のテスト値は、他のアクティブなデリゲートユニット（２）へ供給されるオーディオ信号又は音声信号から得られる、要求送出側の前記候補デリゲートユニット（ｉ）の推定オーディオ信号レベルであり、
テストデリゲートユニット（ｐ）に関する個々のテスト値は、要求送出側の前記候補デリゲートユニット（ｉ）と該テストデリゲートユニット（ｐ）との間の個々の音響結合係数を、テスト期間中の該テストデリゲートユニット（ｐ）のオーディオ信号レベルと、乗算することによって導出される、または、
テストデリゲートユニット（ｐ）に関する個々のテスト値は、要求送出側の前記候補デリゲートユニット（ｉ）と該テストデリゲートユニット（ｐ）との間の個々の音響結合係数を、最後の所定回数のテスト期間中の該テストデリゲートユニット（ｐ）のオーディオ信号レベルの最大値と、乗算することによって導出される、
ことを特徴とする、会議システム（１）。

【請求項2】

テストデリゲートユニット（ｐ）に関する前記個々のテスト値は、前記個々の音響結合係数を、さらに閾値係数と乗算することによって導出される、
請求項１に記載の会議システム（１）。

【請求項3】

前記デリゲートユニット（２）は各々、他のデリゲートユニットの個々のＩＤ及び個々の音響結合係数を含む係数テーブル（ＡＣＦ）と、他のアクティブなデリゲートユニット（２）の個々のＩＤ及びテスト期間中のオーディオ信号レベルを含むオーディオ信号レベルテーブル（ＡＬＴ）とを備えている、
請求項１又は２に記載の会議システム（１）。

【請求項4】

前記係数テーブル（ＡＣＦ）は、前記デリゲートユニット（２）によって管理され、及び／又は、前記デリゲートユニット（２）内に格納され、前記オーディオ信号レベルテーブル（ＡＬＴ）は、前記中央サービスモジュール（３）によって供給される、
請求項３に記載の会議システム（１）。

【請求項5】

前記デリゲートユニット（２）は、他のデリゲートユニット（２）の各々の個々の音響結合係数を反復して推定するように構成されており、反復ステップが行われるたびに、前記個々の音響結合係数の初期値が更新される、
請求項１から４のいずれか１項に記載の会議システム（１）。

【請求項6】

第１のテスト期間（ＫＢ）のデータに基づき発言チャネルを要求し、１つの発言チャネルが自身に割り当てられたことにより該発言チャネル専用にされた前記デリゲートユニット（２）は、第２のテスト期間（（ｋ＋１）Ｂ）のデータに基づき少なくとも前記第１のトリガ条件を再テストすることによって、前記要求即ち前記割り当てをチェックするように構成されている、
請求項１から５のいずれか１項に記載の会議システム（１）。

【請求項7】

前記第１のトリガ条件と、要求送出側の前記候補デリゲートユニット（ｉ）のオーディオ信号レベルが前記テスト期間中の基準ノイズレベル（Ｎ）よりも高いことを要求する第２のトリガ条件とが、少なくとも満たされた場合、前記デリゲートユニット（ｉ）は前記要求をトリガするように構成されている、
請求項１から６のいずれか１項に記載の会議システム（１）。

【請求項8】

前記中央サービスモジュール（３）は、予め選定されたデッドタイム中にただ１つの要求だけを許可するように構成されている、
請求項１から７のいずれか１項に記載の会議システム（１）。

【請求項9】

前記デリゲートユニット（２）は、該デリゲートユニット（２）の話者のステータスを表すための話者表示装置（６）を有しており、
前記話者表示装置（６）は、前記デリゲートユニット（２）がアクティブ状態であることを要求する第１の表示条件が満たされ、かつ、ボイスが検出されることを要求する第２の表示条件のもとにある場合、起動される、
請求項１から８のいずれか１項に記載の会議システム（１）。

【請求項10】

前記第２の表示条件は、ボイスピッチが検出されることを要求する、
請求項９に記載の会議システム（１）。

【請求項11】

請求項１から１０のいずれか１項に記載の会議システム（１）におけるボイスアクティベーションのための処理方法において、
少なくとも第１のトリガ条件が満たされた場合、デリゲートユニット（２）はボイスアクティベーションによって要求をトリガし、前記第１のトリガ条件は、前記複数のデリゲートユニット（２）のうち、要求送出側の候補デリゲートユニット（ｉ）である１つのデリゲートユニット（２）のオーディオ信号レベルが、アクティブ状態（Ａ）にある他のデリゲートユニット（２）のいずれの個々のテスト値よりも高いことを規定するものであり、
前記個々のテスト値は、他のアクティブなデリゲートユニット（２）へ供給されるオーディオ信号又は音声信号から得られる、要求送出側の前記候補デリゲートユニット（ｉ）の推定オーディオ信号レベルである
ことを特徴とする、
会議システム（１）におけるボイスアクティベーションのための処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は会議システムに関する。さらに詳しくは、本発明は以下のような会議システムに関する。即ちこの会議システムは、周囲からオーディオ信号を受信するためのマイクロフォンを各々備えた複数のデリゲートユニットと、複数の発言チャネルを処理する中央サービスモジュールとを含み、発言チャネルのオーディオ出力が、会議システムの増幅されたオーディオ出力を成し、デリゲートユニットはそれぞれ、発言チャネルコミットの要求を中央サービスモジュールへ送信するように構成されており、中央サービスモジュールは、要求を許可し、要求送出側のデリゲートユニットに１つの発言チャネルを割り当てて、要求送出側のデリゲートユニットをアクティブ状態にセットするように構成されている。さらに本発明は、会議システムにおけるボイスアクティベーションのための処理方法にも関する。

【背景技術】

【0002】

会議システムは、例えばディスカッションのために用いられ、一般に、それぞれマイクロフォンを備えた複数のデリゲートユニットを備えており、ディスカッション中、ディスカッション参加者は各々、自分用のデリゲートユニットを使用する。通常、デリゲートユニットはスイッチ或いは同様の部材を備えており、これによってデリゲートユニットの前に位置する参加者は、自分のマイクロフォンの起動を要求することができ、それによって参加者の音声が会議システムへ入力され、会議システムによって増幅される。

【0003】

例えば、おそらく最も近い従来技術である文献、欧州特許出願公開第１６８６８３５号明細書には、複数のデリゲートユニットを備えた会議システムが開示されており、このシステムによれば、デリゲートユニットの様々な状態を表すため、デリゲートユニットに種々のインジケータが配置されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】欧州特許出願公開第１６８６８３５号明細書

【発明の概要】

【課題を解決するための手段】

【0005】

本発明では、請求項１に記載の特徴を備えた会議システムを提案する。さらに、請求項１１に記載の特徴を備えた処理方法についても説明する。従属請求項、以下の説明及び添付の図面には、本発明の好ましい又は有利な実施形態が示されている。

【0006】

本発明によれば、会議室又は大会議場に設置して動作可能な会議システムが提供される。この会議システムは例えば、互いに議論し合う政治家又は他の参加者によって利用される。なお、このような会議システムを会議施設と称する場合もある。

【0007】

この会議システムは、複数のデリゲートユニットを備えている。好ましくは５０台よりも多くのデリゲートユニット、特に１００台よりも多くのデリゲートユニットが、会議システムにおいて使用される。各デリゲートユニットは、周囲からオーディオ信号を受信するためのマイクロフォンを備えている。オーディオ信号は特に、デリゲートユニットの前つまりはマイクロフォンの前に立っている又は座っている参加者からの音声信号である。好ましくはデリゲートユニットは、オプションとしてスピーカを備えた又は備えていないベースボディを有するテーブルトップユニットとして実現されており、マイクロフォンはベースボディ上に配置されている。データを処理するために好ましいのは、デリゲートユニットがローカル処理ユニットを備えていることであり、このユニットは好ましくはベースボディに組み込まれている。

【0008】

さらに会議システムは、中央サービスモジュールを備えている。このモジュールは、複数のコントリビューションチャネル即ち発言チャネルを処理するように動作可能であり、特にチャネルの増幅を行う。この場合、各発言チャネルのオーディオ出力によって、会議システムの増幅されたオーディオ出力が構成される。会議システムの増幅されたオーディオ出力は、周囲環境の中に設けられた会議システムによって供給される合成されたオーディオ環境である。好ましくはこの会議システムは、発言チャネルを利用することで、デリゲートユニットから到来するオーディオ信号を増幅して、増幅されたオーディオ信号を形成するように動作可能であり、この場合、増幅されたオーディオ信号は、例えば大会議場又はミーティングルーム内のオーディオ環境の一部分である。

【0009】

各デリゲートユニットは、発言チャネルにコミットする要求を中央サービスモジュールへ送信又は伝達するように構成されている。この要求によってデリゲートユニットは、自身のオーディオ信号を発言チャネルへ伝達する目的で、複数の発言チャネルのうち１つの発言チャネルとの接続を要請し、それによってオーディオ信号が増幅されて、増幅されたオーディオ出力の一部分が形成され、従って、オーディオ環境の一部分が形成される。中央サービスモジュールは、この要求を許可し、複数の発言チャネルのうち１つの発言チャネルを、要求送出側のデリゲートユニットへ割り当てるように構成されている。この手順によって、要求送出側のデリゲートユニットはアクティブ状態にセットされ、パッシブ状態のデリゲートユニットからアクティブ状態のデリゲートユニットへ、その状態が変更される。

【0010】

中央サービスモジュールをコンピュータとして実現することができ、特にサーバとして実現することができる。中央サービスモジュールとデリゲートユニットとの通信は、要求の送信及び／又はオーディオ信号の伝送のために、好ましくはディジタル通信であり、特に何らかのネットワークプロトコルを利用したディジタル通信である。

【0011】

本発明によれば、デリゲートユニットは、ボイスアクティベーションにより要求をトリガし、それに続いてその要求を伝送するように構成されている。従って、この会議システムによれば、デリゲートユニットをボイスアクティベーションによって、パッシブ状態からアクティブ状態に変更することができる。ボイスアクティベーションとは、要求のトリガを起こすために、デリゲートユニットの前にいる話者が話し始めるだけでよい、ということである。ボイスアクティベーションモードの利点は、ディスカッション参加者は、ボタンなどを押してディスカッションに対する発言要求を送出する必要がなく、単に話し始めるだけでディスカッションに加わることができる点である。ボイスアクティベーション方式は、対話形式のディスカッションに役立つだけでなく、他のディスカッション方式において議場オーディオを構成するチャネル数の制限にも利用できる。

【0012】

複数のデリゲートユニットのうち、要求をトリガしてよいデリゲートユニットのことを、要求送出側の候補デリゲートユニットと称し、デリゲートユニットのいずれであっても、このような要求送出側の候補ユニットになることができる。要求送出側の候補デリゲートユニットは、少なくとも第１のトリガ条件が満たされた場合に要求をトリガするように構成されており、この第１のトリガ条件とは、要求送出側の候補デリゲートユニットのオーディオ信号レベルが、アクティブ状態にある他のいずれのデリゲートユニットの個々のテスト値よりも高い、ということを要求するものである。要求送出側の候補デリゲートユニットの固有のオーディオ信号レベルは、要求送出側の候補デリゲートユニットのマイクロフォンによって受信されたオーディオ信号のレベルである。他のアクティブなデリゲートユニットのいずれについても、固有のテスト値が推定又は算出される。個々のテスト値は、アクティブ状態にある他のデリゲートユニットから供給された、及び、要求送出側の候補ユニットのマイクロフォンに入力されたオーディオ信号又は音声信号から得られる、要求送出側の候補デリゲートユニットの推定又は計算されたオーディオ信号レベルである。

【0013】

本発明の基礎を成す着想として挙げられるのは、デリゲートユニットが互いに密接して配置されているケースでは、例えば１ｍよりも近い間隔で、特に６０ｃｍよりも近い間隔で配置されているケースでは、デリゲートユニットのオーディオ入力ダイナミックレンジが広い場合が多い点を考慮すると、デリゲートユニットは、それが要求送出側の候補デリゲートユニットであるのか、近隣のデリゲートユニットであるのか、付加的な情報がなければ判断できない、というものである。しかも、室内の条件（反射及び残響）によっては、誤って話者であると認識されてしまうレベルにまで音声が蓄積して増大する複数のポイントが、室内に発生する可能性がある。

【0014】

第１のトリガ条件のテストを実施することにより、要求送出側の候補デリゲートユニットは、自身のオーディオ信号が、自身のマイクロフォンに向けて話している話者ないしは参加者から受信されたものであるのか、或いは近隣のデリゲートユニットに向けて話している話者ないしは参加者から受信されたものであるのか、をテストする。ここでは、近隣のデリゲートユニットの個々のテスト値が、自身のオーディオ信号レベルよりも高いものとし、その場合、要求送出側の候補デリゲートユニットは、ボイスアクティベーションすべきではない、との結論を出す。つまり要求送出側の候補デリゲートユニットは、第１のトリガ条件の真偽についてテストする。

【0015】

テストデリゲートユニットに対する個々のテスト値は、好ましくは以下のようにして推定され、特に算出される。即ちこの場合、要求送出側の候補デリゲートユニットとテストデリゲートユニットから成る各ペアについて規定された個々の音響結合係数を、テスト期間中のテストデリゲートユニットのオーディオ信号レベルと、オプションとして閾値係数と、乗算するのである。つまり各ペア（要求送出側の候補デリゲートユニット＜−＞テストデリゲートユニット）ごとに、固有の音響結合係数が規定される。テストデリゲートユニットのオーディオ信号レベルは、個々のテストデリゲートユニットのマイクロフォンによって受信されるオーディオ信号のレベルとして規定される。テスト期間は、好ましくは１秒よりも短く、特に０．１秒よりも短い。この場合、アクティブなデリゲートユニットだけがデリゲートユニットとして評価されるのが好ましい。

【0016】

本発明の１つの択一的な実施形態によれば、最後の数回の期間にわたるテストデリゲートユニットのオーディオ信号レベルの最大値が、現在のテスト期間のオーディオ信号レベルの代わりに用いられる。最大値を求めるために、例えば最後の３回、５回又は１０回の期間が用いられる。この択一的な実施形態によって、値のロバストネスが向上し、つまりはボイスアクティベーションのロバストネスが向上する。

【0017】

本発明のさらに別の実施形態によれば、複数のサンプルから成る１つのブロックごとに個々のテスト値が更新され、例えば１０２４個のサンプルから成る１ブロックごとに４８ｋＨｚのサンプリングレートで更新され、従って、この場合、個々のテスト値は２１ｍｓごとに更新される。サンプリングレート及びブロック長について、これ以外の値を用いてもよい。さらに好ましいのは、第１のトリガ条件のテストをサンプルごとに実施することである。従って、上述の例であれば、１／４８０００秒ごとにテストが実施される。

【0018】

個々の音響結合係数は、要求送出側の候補デリゲートユニットのオーディオ信号レベルと、テストデリゲートユニットを使用する話者から音声信号が発せられた場合のテストデリゲートユニットのオーディオ信号レベルとの比を記述又は表現するものである。換言すれば、個々の音響結合係数は、テストデリゲートユニットのマイクロフォンに向けて話者が発声している状況において導出することができ、その際、音響結合係数を取り出すために、要求送出側の候補デリゲートユニットのオーディオ信号レベルが、テストデリゲートユニットのオーディオ信号レベルによって除算される。つまり音響結合係数は、要求送出側の候補デリゲートユニットのマイクロフォンと、テストデリゲートユニットマイクロフォンが、音声信号からどれだけ受信したかの比を表す。

【0019】

さらにこの会議システムは、要求送出側の候補デリゲートユニットが、自身のスピーカ又は他のスピーカからオーディオ信号を受信した場合の耐性もある。この場合、個々の音響結合係数は、そのつど同様にスピーカからのオーディオに向かって収束することになり、このことからスピーカの信号によって要求がトリガされてしまうような事態が回避される。これが可能である理由は、どの（アクティブな）デリゲートユニットがそのスピーカ信号に寄与しているのかが既知だからである。ローカルスピーカがマイクロフォンに結合されるのを低減するため、短い音響エコーのためのエコーキャンセラを実装することができ、これによればデリゲートユニットのスピーカの信号が自身のマイクロフォン信号からフィルタリングされて取り除かれる。

【0020】

１つの有利な実施形態によれば、各デリゲートユニットは、（アクティブ状態及びパッシブ状態のデリゲートユニットから成る）他のデリゲートユニットの個々のＩＤと個々の結合係数とを含む係数テーブルを有している。ここで強調しておきたいのは、種々のデリゲートユニットの結合テーブルは互いに異なる、ということである。さらにこのデリゲートユニットは、アクティブ状態にある他のデリゲートユニットの個々のＩＤとテスト期間中のオーディオ信号レベルとを含むオーディオ信号レベルテーブルを有している。これら２つのテーブルを用いることによって、要求送出側の候補デリゲートユニットは、第１のトリガ条件に関するテストを実行することができる。

【0021】

本発明の１つの有利な実施形態によれば、係数テーブルは各デリゲートユニットにより管理され、好ましくは各デリゲートユニットに格納される。例えばデリゲートユニットは、係数テーブルを格納するための記憶装置を有している。オーディオ信号レベルテーブルは、中央サービスモジュールによって供給される。オーディオ信号レベルテーブルは、テスト周期ごとに更新する必要があるので、例えばブロードキャスト又はマルチキャストによる分配方式によって、オーディオ信号レベルテーブルを各デリゲートユニットに分配することができる。

【0022】

本発明の１つの実現可能な改良形態によれば、デリゲートユニットは、他のデリゲートユニット各々に関する個々の音響結合係数を繰り返し推定するように構成されており、反復ステップごとに、個々の結合係数の初期値が改善される。１つの実現可能な実施形態によれば、すべての個々の結合係数は、会議システムのインストール又は初期化の際に１．０＝０ｄＢにセットされる。個々の結合係数を推定するための状況が発生するとただちに、次の繰り返しステップが実施される。この種の状況とは、１人の話者だけが会議システムの１つのデリゲートユニットを使用している場合である。このような状況であると、使用されているデリゲートユニットに関して、他のすべてのデリゲートユニットの個々の結合係数を、反復ステップにおいて改善することができる。従って、この会議システムは自己学習型であり、つまり時間の経過につれて自己最適化されていく。

【0023】

本発明のさらに別の実現可能な改良形態によれば、第１のテスト期間のデータに基づき発言チャネルを要求し、１つの発言チャネルが自身に割り当てられたことによりこの発言チャネル専用にされたデリゲートユニットは、第２のテスト期間のデータに基づき、少なくとも第１のトリガ条件を再テストすることによって、要求従ってその割り当てをチェックするように構成されている。本発明の基礎を成す着想とは、以下のような状況である。即ち、例えば他のデリゲートユニット各々と隣り合った例えば３つのデリゲートユニットは、第１のテスト期間中、パッシブ状態にあり、これら３つのデリゲートユニットすべては同じ音声信号を受信する、というものである。このような状況において起こり得る可能性があるのは、３つのデリゲートユニットすべてがパッシブ状態であり、互いにテストし合わないことから、これら３つのデリゲートユニットすべてが上述のように要求をトリガすることである。３つのデリゲートユニットがそれぞれ１つの発言チャネルに割り当てられた後、第２のテスト期間のデータに基づき第１の条件が再テストされる。この第２のテスト期間は、好ましくは第１のテスト期間以降の期間であり、特に、第１のテスト期間後の次のテスト期間である。第２のテスト期間中、上述の３つのデリゲートユニットはアクティブ状態である。第２のテスト期間のデータに基づき第１のトリガ条件をテストすることにより、３つのデリゲートユニットのうち２つのデリゲートユニットは、第１のトリガ条件をテストして、偽と判定する。その理由は、このとき３つのデリゲートユニットは、第１のトリガ条件について互いにテストし合うことになるからである。

【0024】

本発明のさらに別の改良実施形態によれば、第１のトリガ条件と、要求送出側の候補デリゲートユニットのオーディオ信号レベルがテスト期間中の基準ノイズレベルよりも高いということを要求する第２のトリガ条件とが少なくとも満たされた場合に、要求をトリガするように、デリゲートユニットが構成されている。ノイズレベルのデータは、好ましくは中央サービスモジュールによって供給され、特にオーディオ信号レベルテーブルとともに供給される。

【0025】

同じ音声信号に由来する２つのデリゲートユニットからの要求が許可されてしまわないようにするための、さらに別の実現可能な改良形態によれば、中央サービスモジュールは、予め選定されたデッドタイム中、ただ１つの要求だけしか許可しないように構成されている。先に挙げた例で述べたように、すべてのデリゲートユニットはそれらの要求を著しく短い時間期間内で送信する。中央サービスモジュールは、最初の要求だけを許可し、デッドタイム中、他の要求は拒否することになる。

【0026】

本発明のさらに別の改良形態によれば、デリゲートユニットは、自身の話者のステータスを表すための話者表示装置を備えており、第１の表示条件としてデリゲートユニットがアクティブ状態にあるとき、かつ第２の表示条件としてボイスピッチが検出されたとき、話者表示が起動にされる。この改良形態によって保証されるのは、トリガとなるオーディオ信号が音声信号である場合だけ、表示装置が起動されることである。

【0027】

本発明の１つの実施形態に関する以下の説明を通して、本発明のさらに別の特徴、利点、及び詳細な点が明らかになるであろう。

【図面の簡単な説明】

【0028】

【図1】本発明の１つの実施形態である会議システムを示すブロック図。

【発明を実施するための形態】

【0029】

図１には、本発明の１つの実施形態である会議システム１の概観が示されている。会議システム１には、参照符号ｉ，ｐ１，ｐ２，ｐ３，ｐ（ｎ−１），ｐｎが付された複数のデリゲートユニット２と、ネットワーク４を介してこれら複数のデリゲートユニット２に接続された中央サービスモジュール３とが含まれている。中央サービスモジュール３を、コンピュータサーバとして実現してもよいし、又は他のサーバとして実現してもよく、或いは別個のモジュールをサーバとして構築してもよい。

【0030】

デリゲートユニット２はそれぞれ、話者又はディスカッション参加者から音声信号を受信するためのマイクロフォン５を有している。中央サービスモジュール３は、複数のコントリビューションチャネル即ち発言チャネルを構成する。この場合、これらの発言チャネルは増幅器チャネルであり、つまりデリゲートユニット２から発言チャネルのうちの１つに送信される音声信号が、増幅されたオーディオ信号として周囲に発せられる。

【0031】

この会議システムを例えば大会議場に設置することができ、その場合、各議席にそれぞれ１つのデリゲートユニット２が装備される。大会議場でディスカッションが行われている間、それぞれ１つのデリゲートユニットを使用するディスカッション参加者は、デリゲートユニット２のマイクロフォン５へ向けて話しをすることができ、そのようにして音声信号がデリゲートユニット２によって受信される。オーディオ信号は発言チャネルへ伝送され、増幅されて大会議場内に発せられ、その結果、他の参加者がそのオーディオ信号を聞くことができるようになる。

【0032】

きちんと統制のとれたディスカッションとなるよう、デリゲートユニット２のいくつかは、ディスカッションでの発言が参加者に許可されたアクティブ状態Ａにあり、デリゲートユニット２のいくつかは、音声信号が増幅されず議場内に発せられないパッシブ状態Ｐにある。デリゲートユニット２がアクティブ状態Ａである場合、発言チャネルの１つが、中央サービスモジュールからデリゲートユニット２へ割り当てられる。

【0033】

動作中、デリゲートユニット２は、あとで説明するボイスアクティベーションによって、パッシブ状態Ｐからアクティブ状態Ａへ切り替えられる。

【0034】

パッシブ状態Ｐにあるデリゲートユニット２はそれぞれ、第１のトリガ条件とオプションとしての第２のトリガ条件が満たされると、発言チャネルのコミットを要求する。

【0035】

第１のトリガ条件は、指向性ノイズ条件である。即ち第１のトリガ条件とは、要求送出側の候補デリゲートユニット２の入力オーディオ信号レベルが、推定入力オーディオレベルよりも十分に高く、つまり他のデリゲートユニット２を使用している話者からの音声信号の受信に由来する推定オーティオ信号レベルよりも十分に高い、ということである。

【0036】

第２のトリガ条件は、拡散ノイズ条件である。即ち第２のトリガ条件とは、要求送出側の候補デリゲートユニット２の入力オーディオ信号レベルが、基準レベル（例えば議場バックグラウンドノイズレベル）よりも十分に高い、ということである。

【0037】

上述の２つの条件を判定するため、各デリゲートユニット２に対し外部情報として要求されるデータ（これをオーディオメタデータとも称する）は、
１）各デリゲートユニットのユニークな識別子ＩＤと１つのテスト期間Ｔ中の各デリゲートユニットのオーディオ信号レベルとを含む、アクティブ状態にあるすべてのデリゲートユニット２のテーブルＡＬＴ、
及び
２）基準（バックグラウンドノイズ）レベルＮ
である。テーブルＡＬＴは、例えば以下の構造を有することができる：
p2 レベルX_p2(T)
p(n-1) レベルX_p(n-1)(T)
pn レベルX_pn(T)
ノイズレベル N
ただし、p2, p(n-1), pnは識別子ＩＤを表し、レベルX_p#はテスト期間Ｔ中のオーディオ信号レベルを表す。ノイズレベルＮについてはあとで説明する。

【0038】

以下に限定されるものではないが、１つの実装可能な形態として、レベルは１６ビットの符号なし整数によって表される範囲［０，１］内の値である。レベルを算出するため、複数のサンプルから成る１つのブロック中で、例えば１０２４個のサンプルから成るブロック中で、オーディオレベルが求められる。３２個のサンプルから成る各サブブロックごとに、二乗平均平方根が計算され、その結果が指数平均フィルタに送り込まれる。ノイズレベルに関しては、議場の可聴音（すべての発言チャネルを混合したもの）に対し所定のアルゴリズム（例えばスペクトルノイズ密度）を利用して、レベルが計算される。

【0039】

中央サービスモジュール３によって、オーディオメタデータが収集及び分配される。実際的な観点からすると、通信帯域幅を節約するために、例えば１０２４個のサンプルごとにオーディオメタデータを周期的に分配すれば十分である。ブロードキャスト又はマルチキャストによる分配方式を利用することで、オーディオメタデータを効率的に分配することができる。

【0040】

発言チャネルリクエストを受信すると、中央サービスモジュール３は、ある発言チャネルが利用可能であれば、その発言チャネルの割り当てを許可する。すべての発言チャネルが占有されていたならば、中央サービスモジュール３は拒否レスポンスで応答する。アクティブ状態Ａにあるデリゲートユニット２が、もはやいずれの条件も満たしてなければ、そのユニットはタイムアウト期間後、発言チャネルのリリースを要求する。タイムアウト期間によって、音声の短い休止によってもリリースが要求されてしまわないようになる。発言チャネルのコミット又はリリースは、必ず中央サービスモジュール３から要求されなければならない。なぜならば、結果として拒否されることになる要求も存在する可能性があるからである。例えば、少なくとも１つのデリゲートユニット２を常にアクティブのままとする、といった要求などである。

【0041】

第１のトリガ条件を次式の通りとすることができる：

【数1】

ただし、
k 離散的な時点、
B 複数のサンプル、例えば１０２４個のサンプルから成る１ブロック長を有するブロック、これによって時点又はテスト期間の長さを規定、
K Bのブロック期間の離散的な時間フレームのインデックス、
X_p,max(KB) 期間ｋが経過する前の最後の数回の期間についての、例えば最後の３乃至１０回の期間についての、デリゲートユニットｐの最大オーディオ信号レベル、
X_i(k) 期間ｋ中に要求を送出している候補デリゲートユニットｉのオーディオレベル、
γ_dir この条件に対する閾値係数、
P 期間ｋ中にアクティブ状態Ａにあるデリゲートユニット２の集合、
W_p,i(KB) 期間ｋ中のデリゲートユニットｐとデリゲートユニットｉとの間の音響結合係数、
である。

【0042】

つまり第１のトリガ条件によって、要求送出側の候補デリゲートユニットであるデリゲートユニットｉのオーディオ信号レベルが、他のアクティブな各デリゲートユニットｐの基準テスト値に閾値係数が乗算された値よりも高いか否かがテストされる。関数maxは、最も高い基準テスト値を抽出することから、プリセレクトとしての役割を果たす。このため基準テスト値は、期間ｋ中のデリゲートユニットｐの最大オーディオ信号レベルと、テストデリゲートユニットｐと期間ｋ中に要求を送出している候補デリゲートユニットｉとの間の結合係数との積である。

【0043】

個々の音響結合係数W_p,i(KB)は、要求送出側の候補デリゲートユニットｉのオーディオ信号レベルX_iと、テストデリゲートユニットｐを使用する話者から音声信号が発せられた場合のテストデリゲートユニットｐのオーディオ信号レベルX_iとの比を表す。従って、個々の音響結合係数は、テストデリゲートユニットｐごとに互いに異なる可能性がある。第１のトリガ条件が満たされるのは、テストデリゲートユニットｐの前ではなく、要求送出側の候補デリゲートユニットｉのマイクロフォン４の前にいる話者によって、音声信号が供給されたときである。

【0044】

実現可能な１つの実施形態によれば、ブロック長"B"は１０２４個のサンプルインターバルである。"k"は、サンプリング周波数に依存する離散的な時点である。少なくとも第１のトリガ条件が、好ましくは両方のトリガ条件が、サンプル周期ごとにそのつど評価される。この場合、最初にオーディオレベルXが好ましくは指数平均を利用し最新のサンプルを使って更新され、次に比較が行われる。さもなければ、例えば１０２４個のサンプルのワーストケース遅延によって、話者が発するセンテンスの最初の何文字かをシステムが逃してしまうことになる。テスト値W_p,i(kB)X_p,max(kB)及びノイズ値(N)は、（ブロックBごとに発生する）新たなオーディオメタデータを受信したときにだけ更新される。

【0045】

個々の音響結合係数W_p,i(KB)は、標準的な正規化最小二乗アルゴリズムを利用して推定され取得される。この目的は、誤差（＝残留レベル）を最小化するためにフィルタリング係数を迅速に収束させるためである。ここでも説明のため、期間ＫＢを使用する。

【0046】

第１のステップにおいて、デリゲートユニットｐからデリゲートユニットｉへの残留レベルR_p,iが求められる。この場合、デリゲートユニットｐは、アクティブ状態Ａにあるデリゲートユニット２のみである。ただ１つのデリゲートユニットｐのみがアクティブであるという状況において、他のすべてのデリゲートユニット２は、それらのユニットのマイクロフォン４の入力のオーディオ信号レベルと、ただ１つのアクティブなデリゲートユニットｐのオーディオ信号レベルとを使用して、アクティブなデリゲートユニットｐに対する音響結合係数の推定をダイナミックに調整する。その際、ただ１つのアクティブなデリゲートユニットｐのオーディオ信号レベルが、中央サービスモジュール３によってすべてのデリゲートユニット２に分配される。

【0047】

【数2】

【0048】

次のステップにおいて、音響結合係数が更新される：

【数3】

ただし、
W_p,i(kB)は、デリゲートユニットｐからデリゲートユニットｉへの更新された音響結合係数、
μは収束速度の時定数、
ε{}は指数平均関数、
thrは、初期化中のスパイクを防止するための「ボトム」閾値、
である。

【0049】

初期値として、すべての音響結合係数Wが値1.0 = 0 dBにセットされる。

【0050】

指数平均関数の実現可能な実施形態として、次式が定義される：

【数4】

平滑係数βは、次式を用いて求められる：

【数5】

ただし、
T_expは指数時定数、
F_sはサンプリング周波数、
である。他の周知の実施手法を用いてもよい。

【0051】

指数（移動）平均関数については既に説明したが、（平均パワーレベルを求める）ε｛｝関数に関して、入力の二乗に基づきこれが実行され、更新レートはブロック期間ＫＢごとである。ここで

【数6】

をP_xx,p(KB)とする。この場合、

【数7】

である。

【0052】

この関数に対する入力は、例えば５個の先行ブロックの最大レベルであり、このレベルはオーディオの指数平均関数により求められるので、これは二重の作業のように見えるが、ＮＬＭＳアルゴリズムにとっては、迅速に収束させるためにこのような平滑化が好まれる。アルゴリズムの外部の妨害に対し反応するためには、別の値

【数8】

が有利である。例えば、ただ１つのデリゲートユニットだけしかアクティブ状態ではないシステムの場合には、そのデリゲートユニットに対する結合係数が更新されることになる。非アクティブ状態にあるデリゲートユニットの後方にいる話者が話し始めたとすると、そのデリゲートユニットは要求を送信することになる。ただし、この要求を許可するのにこのシステムでは数１０秒がかかる。つまり平均時間内にこの話者の音声が、不適当な入力によって結合係数の更新を引き起こす場合がある。しかしながら、大きな誤差／残留信号ゆえに、P_rr,p,i(KB)が急速に上昇し、これによって結合係数の急速な更新が回避される。

【0053】

その結果、各デリゲートユニット２は、他のデリゲートユニット２各々に対する音響結合係数の推定値を含むテーブルを保持する。音響結合係数テーブルは、図１においてACFi, ACF1, ACF2 ... ACFnによって表されている。

【0054】

第２のトリガ条件即ち拡散ノイズ条件は、次式で表すことができる：

【数9】

ただし、
γ_difは、この条件に対する閾値係数、
Ｎは、（ＡＬＴからの）基準（バックグラウンドノイズ）レベル、
である。

【0055】

会議システム１は分散型システムであるので、通信中に遅延及び待ち時間が発生する可能性があり、これを以下のように処理することができる。

【0056】

ある話者のデリゲートユニット２に対し、発言チャネルが許可される前に、他のデリゲートユニット２も、音響結合に基づきチャネルのコミットを要求する。その結果、最初のコミット要求だけが許可され、以降、所定の期間（「デッドタイム」と称する）にわたり、すべてのコミット要求が拒否される。このデッドタイムは、分配されるメタデータに話者のデリゲートユニット２における情報が含まれるようにするのに十分な長さである。

【0057】

再要求の氾濫を防止するため、デリゲートユニット２は、前回の要求が拒否された後、新たな要求を送信する前に、所定の期間にわたり待機する。

【0058】

メタデータは、ｘ個のサンプルごとに１回だけしか送信されないので、最後の既知の情報が遅れる可能性がある。そのようなケースでは、話者が声を発し始めることで１つ又は複数のデリゲートユニット２においてコミットがトリガされるのを回避できない（これは結合推定値がそれらの最終値に向けて収束する場合に、いっそう頻繁に発生する）。このことを解消する目的で、デリゲートユニット２は、そのチャネルコミット要求が許可された直後にメタデータが更新されるまで待機する。つまり、コミット要求が音響結合によってトリガされたことが、新たなメタデータから明確であれば、デリゲートユニット２はただちに（即ちタイムアウト期間なしで）チャネルリリースを要求する。

【0059】

ボイス検出／ボイス識別：
会議システム１において、あるデリゲートユニット２が、妨害（ペンのクリック、咳など）によって、発言チャネルを継続的に要求し且つ受け取る可能性がある。この場合、チャネルはただちに開放されるので、これは許容される。デリゲートユニット２は表示装置６を有しており、この装置は、デリゲートユニット２がアクティブ状態又はパッシブ状態にあることを、光又はＬＥＤを用いて表示する。ただし、ディスカッションにとって好ましいのは、デリゲートユニット２において表示装置を起動することによって、会衆に本当の話者だけを知らせることである。１つの実現可能な実施形態によれば、表示をチャネル割り当てから分離することが提案される。

【0060】

発言チャネルが割り当てられた、即ちアクティブ状態Ａにあるデリゲートユニット２における表示装置６は、オーディオ信号においてボイス（ピッチ）が検出されるとただちに起動される。処理要求を制限するために、最も音が大きい発言チャネルにおいてのみ、ボイス（ピッチ）の検出を行えば十分である。デリゲートユニットに対するハードウェア要求を低くするために、中央サービスモジュール３においてボイス（ピッチ）の検出を行うのも好ましい。

【0061】

会議システム１において得られる利点は、各デリゲートユニット２間の音響結合が動的に決定されることである。このためには特定の情報を分配する必要があり、その情報によって各デリゲートユニット２は、それらのユニットのオーディオ入力が本当の話者であるのか否かを判定することができる。これによって、情報交換における通信遅延を処理することができる。このような改善によって、会議システム１をフレキシブルかつスケーラブルなものにすることができる。会議システム１は、特にボイスアクティベーションは、きわめてロバストである。その理由は、話者が話し始めたとき、近隣のデリゲートユニット２はアクティブ状態にならず、或いは音響結合に基づきごく短期間アクティブ状態になるだけだからである。会議システム１は、特にデリゲートユニット２は、自己学習型であり、たとえ近隣の装置のところであっても、短期間のうちに他の話者がディスカッションに参加するのが容易である。また、会議システム１はスケーラブルである。その理由は、会議システム１は、手動で構成する必要なく、小さい編成でも大きい編成でも動作するからである。さらに、通信のオーバヘッドが小さい。なぜならば、例えばブロードキャスト又はマルチキャストを利用して分配される周期的なメタデータを用いるからである。以上、要約すると、会議システム１によって、デリゲートユニット２における音響結合及びオプションとして音声条件を判定することにより、ロバストネス及びフレキシビリティが向上する。

【図1】