(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024142515
(43)【公開日】2024-10-11
(54)【発明の名称】音声処理システム及び音声処理方法
(51)【国際特許分類】
H04R 3/00 20060101AFI20241003BHJP
H04R 1/10 20060101ALI20241003BHJP
【FI】
H04R3/00 320
H04R3/00 310
H04R1/10 101A
【審査請求】未請求
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2023054673
(22)【出願日】2023-03-30
(71)【出願人】
【識別番号】000005049
【氏名又は名称】シャープ株式会社
(74)【代理人】
【識別番号】100167302
【弁理士】
【氏名又は名称】種村 一幸
(74)【代理人】
【識別番号】100135817
【弁理士】
【氏名又は名称】華山 浩伸
(74)【代理人】
【識別番号】100181869
【弁理士】
【氏名又は名称】大久保 雄一
(72)【発明者】
【氏名】西尾 達也
【テーマコード(参考)】
5D220
【Fターム(参考)】
5D220AA50
5D220BA30
(57)【要約】
【課題】同一空間において無線音響装置と有線音響装置とを併用する場合においてユーザーの発話音声の品質の低下を防ぐことが可能な音声処理システム及び音声処理方法を提供する。
【解決手段】音声処理システムは、第1ユーザーの第1発話音声が、前記第1ユーザーが携帯する第1無線マイクスピーカー装置に入力されて音声処理装置に受信される場合の第1伝送時間と、前記第1ユーザーの前記第1発話音声が、有線マイクスピーカー装置に入力されて前記音声処理装置に受信される場合の第2伝送時間とを算出する算出処理部と、前記算出処理部により算出される前記第1伝送時間及び前記第2伝送時間に基づいて、前記第1無線マイクスピーカー装置及び前記有線マイクスピーカー装置の少なくともいずれかの遅延時間を調整する調整処理部と、を備える。
【選択図】
図1
【特許請求の範囲】
【請求項1】
同一空間に、ユーザーが携帯可能な無線接続される無線マイクスピーカー装置と、有線接続される有線マイクスピーカー装置とが配置され、前記無線マイクスピーカー装置及び前記有線マイクスピーカー装置のそれぞれから受信する音声を処理する音声処理装置を含む音声処理システムであって、
第1ユーザーの第1発話音声が、前記第1ユーザーが携帯する第1無線マイクスピーカー装置に入力されて前記音声処理装置に受信される場合の第1伝送時間と、前記第1ユーザーの前記第1発話音声が、前記有線マイクスピーカー装置に入力されて前記音声処理装置に受信される場合の第2伝送時間とを算出する算出処理部と、
前記算出処理部により算出される前記第1伝送時間及び前記第2伝送時間に基づいて、前記第1無線マイクスピーカー装置及び前記有線マイクスピーカー装置の少なくともいずれかの遅延時間を調整する調整処理部と、
を備える音声処理システム。
【請求項2】
前記算出処理部は、
前記第1発話音声が前記第1無線マイクスピーカー装置に入力されて前記音声処理装置において所定の音声処理が実行されるまでの時間である前記第1伝送時間を算出し、
前記第1発話音声が前記有線マイクスピーカー装置に入力されて前記音声処理装置において所定の音声処理が実行されるまでの時間である前記第2伝送時間を算出する、
請求項1に記載の音声処理システム。
【請求項3】
前記第1無線マイクスピーカー装置と前記音声処理装置との間の距離を測定する測定処理部をさらに備え、
前記算出処理部は、前記測定処理部により測定される距離に基づいて前記第1無線マイクスピーカー装置と前記有線マイクスピーカー装置との間の距離を推定し、推定した距離に基づいて前記第2伝送時間を算出する、
請求項2に記載の音声処理システム。
【請求項4】
前記測定処理部は、前記第1無線マイクスピーカー装置の電波強度に基づいて、前記第1無線マイクスピーカー装置と前記音声処理装置との間の距離を測定する、
請求項3に記載の音声処理システム。
【請求項5】
前記算出処理部は、無線通信方式により予め設定された固定値を前記第1伝送時間として算出する、
請求項2に記載の音声処理システム。
【請求項6】
前記第1伝送時間が前記第2伝送時間よりも長い場合に、前記調整処理部は、前記第1伝送時間と前記第2伝送時間との差に対応する遅延時間を、前記有線マイクスピーカー装置から入力される前記第1発話音声に付与し、
前記第2伝送時間が前記第1伝送時間よりも長い場合に、前記調整処理部は、前記第1伝送時間と前記第2伝送時間との差に対応する遅延時間を、前記第1無線マイクスピーカー装置から入力される前記第1発話音声に付与する、
請求項1に記載の音声処理システム。
【請求項7】
同一空間に、前記有線マイクスピーカー装置までの距離が互いに異なる前記第1無線マイクスピーカー装置と第2無線マイクスピーカー装置とが配置される場合に、
前記調整処理部は、前記第1無線マイクスピーカー装置に対応する第1遅延時間と、前記第2無線マイクスピーカー装置に対応する第2遅延時間とを前記有線マイクスピーカー装置から入力される前記第1発話音声に付与する、
請求項1に記載の音声処理システム。
【請求項8】
前記調整処理部は、前記第1無線マイクスピーカー装置の電波強度が変化した場合に遅延時間を再調整する、
請求項4に記載の音声処理システム。
【請求項9】
前記調整処理部は、前記第1無線マイクスピーカー装置の電波強度が閾値未満に低下した場合に、前記第1無線マイクスピーカー装置に対応する遅延時間の調整処理を中止する、
請求項4に記載の音声処理システム。
【請求項10】
前記調整処理部は、さらに外気温に基づいて遅延時間を調整する、
請求項1に記載の音声処理システム。
【請求項11】
同一空間に、ユーザーが携帯可能な無線接続される無線マイクスピーカー装置と、有線接続される有線マイクスピーカー装置とが配置され、前記無線マイクスピーカー装置及び前記有線マイクスピーカー装置のそれぞれから受信する音声を処理する音声処理装置において実行される音声処理方法であって、
第1ユーザーの第1発話音声が、前記第1ユーザーが携帯する第1無線マイクスピーカー装置に入力されて前記音声処理装置に受信される場合の第1伝送時間と、前記第1ユーザーの前記第1発話音声が、前記有線マイクスピーカー装置に入力されて前記音声処理装置に受信される場合の第2伝送時間とを算出することと、
前記第1伝送時間及び前記第2伝送時間に基づいて、前記第1無線マイクスピーカー装置及び前記有線マイクスピーカー装置の少なくともいずれかの遅延時間を調整することと、
を一又は複数のプロセッサーが実行する音声処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、ユーザーが携帯する携帯型のマイクスピーカー装置により音声の送受信を行う音声処理システム及び音声処理方法に関する。
【背景技術】
【0002】
従来、ユーザーの首周りに装着可能な首掛け型のマイクスピーカー装置が知られている(例えば特許文献1参照)。前記マイクスピーカー装置によれば、ユーザーは自身の耳を塞ぐことなく再生音声を聞き取ることができ、また集音用のデバイスを用意することなく発話音声を集音させることができる。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
ここで、ウェブ会議、テレビ会議などのオンライン会議において、携帯型の無線マイクスピーカー装置を所持しないで会議に参加するユーザーがいる場合に、当該ユーザーが会議に参加できるように、音声処理装置に有線接続された有線マイクスピーカー装置が会議室に設置される。このような会議形態では、音声処理装置は、無線マイクスピーカー装置から受信する音声と、有線マイクスピーカー装置から受信する音声とをミキシングする処理において以下の問題が生じる。例えば、無線マイクスピーカー装置と有線マイクスピーカー装置との接続方式による音声の遅延と、無線マイクスピーカー装置のユーザーの音声が空気中を伝搬して有線マイクスピーカー装置にマイク入力されて音声処理装置に受信された場合の遅延とが生じる。音声処理装置においてこれらの遅延により音声がミキシングされると声が間延びしたように聞こえ音声品質が低下する問題が生じる。
【0005】
本開示の目的は、同一空間において無線音響装置と有線音響装置とを併用する場合においてユーザーの発話音声の品質の低下を防ぐことが可能な音声処理システム及び音声処理方法を提供することにある。
【課題を解決するための手段】
【0006】
本開示の一の態様に係る音声処理システムは、同一空間に、ユーザーが携帯可能な無線接続される無線マイクスピーカー装置と、有線接続される有線マイクスピーカー装置とが配置され、前記無線マイクスピーカー装置及び前記有線マイクスピーカー装置のそれぞれから受信する音声を処理する音声処理装置を含むシステムである。前記音声処理システムは、算出処理部と調整処理部とを備える。前記算出処理部は、第1ユーザーの第1発話音声が、前記第1ユーザーが携帯する第1無線マイクスピーカー装置に入力されて前記音声処理装置に受信される場合の第1伝送時間と、前記第1ユーザーの前記第1発話音声が、前記有線マイクスピーカー装置に入力されて前記音声処理装置に受信される場合の第2伝送時間とを算出する。前記調整処理部は、前記算出処理部により算出される前記第1伝送時間及び前記第2伝送時間に基づいて、前記第1無線マイクスピーカー装置及び前記有線マイクスピーカー装置の少なくともいずれかの遅延時間を調整する。
【0007】
本開示の他の態様に係る音声処理方法は、同一空間に、ユーザーが携帯可能な無線接続される無線マイクスピーカー装置と、有線接続される有線マイクスピーカー装置とが配置され、前記無線マイクスピーカー装置及び前記有線マイクスピーカー装置のそれぞれから受信する音声を処理する音声処理装置において実行される方法である。前記音声処理方法では、第1ユーザーの第1発話音声が、前記第1ユーザーが携帯する第1無線マイクスピーカー装置に入力されて前記音声処理装置に受信される場合の第1伝送時間と、前記第1ユーザーの前記第1発話音声が、前記有線マイクスピーカー装置に入力されて前記音声処理装置に受信される場合の第2伝送時間とを算出することと、前記第1伝送時間及び前記第2伝送時間に基づいて、前記第1無線マイクスピーカー装置及び前記有線マイクスピーカー装置の少なくともいずれかの遅延時間を調整することと、を一又は複数のプロセッサーが実行する。
【発明の効果】
【0008】
本開示によれば、同一空間において無線音響装置と有線音響装置とを併用する場合においてユーザーの発話音声の品質の低下を防ぐことが可能な音声処理システム及び音声処理方法を提供することできる。
【図面の簡単な説明】
【0009】
【
図1】
図1は、本開示の実施形態に係る音声処理システムの構成を示す図である。
【
図2】
図2は、本開示の実施形態に係る音声処理システムの適用例を示す図である。
【
図3】
図3は、本開示の実施形態に係る音声処理システムに含まれる無線マイクスピーカー装置と有線マイクスピーカー装置との位置関係の一例を示す図である。
【
図4】
図4は、本開示の実施形態に係るマイクスピーカー装置の構成を示す外観図である。
【
図5】
図5は、本開示の実施形態に係る音声処理システムで利用される遅延情報の一例を示す図である。
【
図6A】
図6Aは、本開示の実施形態に係る遅延時間を調整する方法の一例を示す図である。
【
図6B】
図6Bは、本開示の実施形態に係る遅延時間を調整する方法の一例を示す図である。
【
図7A】
図7Aは、本開示の実施形態に係る遅延時間を調整する方法の一例を示す図である。
【
図7B】
図7Bは、本開示の実施形態に係る遅延時間を調整する方法の一例を示す図である。
【
図8A】
図8Aは、本開示の実施形態に係る遅延時間を調整する方法の一例を示す図である。
【
図8B】
図8Bは、本開示の実施形態に係る遅延時間を調整する方法の一例を示す図である。
【
図9A】
図9Aは、本開示の実施形態に係る遅延時間を調整する方法の一例を示す図である。
【
図9B】
図9Bは、本開示の実施形態に係る遅延時間を調整する方法の一例を示す図である。
【
図10A】
図10Aは、本開示の実施形態に係る遅延時間を調整する方法の一例を示す図である。
【
図10B】
図10Bは、本開示の実施形態に係る遅延時間を調整する方法の一例を示す図である。
【
図11】
図11は、本開示の実施形態に係る音声処理システムにおいて実行される音声制御処理の手順の一例を説明するためのフローチャートである。
【発明を実施するための形態】
【0010】
以下、添付図面を参照しながら、本開示の実施形態について説明する。なお、以下の実施形態は、本開示を具体化した一例であって、本開示の技術的範囲を限定する性格を有さない。
【0011】
本開示に係る音声処理システムは、例えば会議室において複数のユーザーの一部が無線マイクスピーカー装置を所持し、残りユーザーが無線マイクスピーカー装置を所持しないで会議を行うケースに適用することができる。無線マイクスピーカー装置は、ユーザーが携帯する携帯型の無線音響機器である。また、無線マイクスピーカー装置は、例えばネックバンド型の形状を有し、ユーザーは、無線マイクスピーカー装置を自身の首に装着して会議に参加する。ユーザーは、無線マイクスピーカー装置のスピーカーから再生される音声を聞き取ることができ、また自身が発話した音声を無線マイクスピーカー装置のマイクに集音させることができる。無線マイクスピーカー装置を所持しないユーザーは、会議室に設置されている据置型の有線マイクスピーカー装置のスピーカーから再生される音声を聞き取ることができ、また自身が発話した音声を有線マイクスピーカー装置のマイクに集音させることができる。なお、本開示に係る音声処理システムは、複数の拠点において複数のユーザーが無線マイクスピーカー装置及び有線マイクスピーカー装置を使用して、ネットワークを介して音声データを送受信するオンライン会議を行うケースにも適用することができる。
【0012】
[音声処理システム100]
図1は、本開示の実施形態に係る音声処理システム100の構成を示す図である。音声処理システム100は、音声処理装置1と無線マイクスピーカー装置2と有線マイクスピーカー装置3とを含んでいる。無線マイクスピーカー装置2は、マイク24及びスピーカー25(
図4参照)を搭載する無線接続方式の音響機器である。なお、無線マイクスピーカー装置2は、例えばAIスピーカー、スマートスピーカなどの機能を備えてもよい。有線マイクスピーカー装置3は、マイク及びスピーカー(不図示)を搭載する有線接続方式の音響機器である。なお、有線マイクスピーカー装置3も、AIスピーカー、スマートスピーカなどの機能を備えてもよい。音声処理システム100は、無線マイクスピーカー装置2及び有線マイクスピーカー装置3を含み、無線マイクスピーカー装置2及び有線マイクスピーカー装置3との間でユーザーの発話音声の音声データを送受信するシステムである。音声処理システム100は、本開示の音声処理システムの一例である。
【0013】
音声処理装置1は、無線マイクスピーカー装置2及び有線マイクスピーカー装置3を制御し、例えば会議室で会議が開始されると無線マイクスピーカー装置2及び有線マイクスピーカー装置3との間で音声を送受信する処理を実行する。なお、音声処理装置1単体が、本開示の音声処理システムを構成してもよい。本開示の音声処理システムが音声処理装置1単体で構成される場合、音声処理装置1は、無線マイクスピーカー装置2及び有線マイクスピーカー装置3から取得する音声を記録用音声として蓄積したり、取得した音声を自装置内で認識する処理(音声認識処理)を実行したりしてもよい。また、本開示の音声処理システムは、会議サービス、音声認識による字幕サービス、翻訳サービス、議事録サービスなど各種サービスを提供する各種サーバーを含んでもよい。
【0014】
本実施形態では、
図2に示すオンライン会議を例に挙げて説明する。前記オンライン会議の参加者であるユーザーA,B,C,Dはそれぞれ、会議室R1において無線マイクスピーカー装置2A,2B,2C,2Dを首に装着して会議に参加する。また、前記会議の参加者であるユーザーE,F,G,Hはそれぞれ、会議室R1において無線マイクスピーカー装置2を所持しないで会議に参加する。会議室R1には音声処理装置1、有線マイクスピーカー装置3、ディスプレイ4が設置されている。音声処理装置1及び無線マイクスピーカー装置2A,2B,2C,2Dは、Bluetooth(登録商標)などの無線通信方式により接続されている。音声処理装置1及び有線マイクスピーカー装置3は、オーディオケーブル、USBケーブル、有線LANなどを介して有線接続されている。
【0015】
会議室R2についても同様に、前記オンライン会議に参加するユーザーは、無線マイクスピーカー装置2を所持して会議に参加し、会議室R2には、音声処理装置1、有線マイクスピーカー装置3、ディスプレイ4が設置されている。
【0016】
例えば会議室R1の音声処理装置1は、ユーザーAの発話音声のデータを無線マイクスピーカー装置2Aから取得すると、音声データを会議室R2の音声処理装置1に送信し、音声処理装置1は会議室R2内の無線マイクスピーカー装置2及び有線マイクスピーカー装置3のそれぞれから当該発話音声を再生させる。また例えば会議室R2の音声処理装置1は、会議室R2にいるユーザーの発話音声のデータを有線マイクスピーカー装置3から取得すると、音声データを会議室R1の音声処理装置1に送信し、音声処理装置1は会議室R1内の無線マイクスピーカー装置2及び有線マイクスピーカー装置3のそれぞれから当該発話音声を再生させる。
【0017】
ここで、同一の空間(例えば会議室R1)において、無線マイクスピーカー装置2と有線マイクスピーカー装置3とが併用される場合、音声処理装置1は、ユーザーが発話した場合に無線マイクスピーカー装置2に入力される音声と、有線マイクスピーカー装置3に入力される音声とを受信する。この場合、前記音声のミキシング処理において以下の問題が生じる。例えば、無線マイクスピーカー装置2と有線マイクスピーカー装置3との接続方式による音声の遅延と、無線マイクスピーカー装置2のユーザーの音声が空気中を伝搬して有線マイクスピーカー装置3にマイク入力されて音声処理装置1に受信された場合の遅延とが生じる。このように各音声に異なる遅延(伝送時間の差)が生じると、音声処理装置1においてミキシングされた音声が間延びしたように聞こえ音声品質が低下する問題が生じる。この問題を解消するために例えば遅れて受信する音声に合うように、先に受信した音声に遅延時間を付与する方法が考えられるが、
図3に示すように同一空間において複数の無線マイクスピーカー装置2が有線マイクスピーカー装置3に対して異なる距離の位置に配置されている場合には、ユーザーの発話音声が空気中を伝搬して有線マイクスピーカー装置3に入力されるまでの時間(伝送時間(空間遅延))が異なる。このため、複数の無線マイクスピーカー装置2を利用する環境の場合、ユーザーが発話するごとに、当該ユーザーの無線マイクスピーカー装置2に対応する遅延時間を設定しなければならず処理が複雑化してしまう。
【0018】
これに対して、本実施形態に係る音声処理システムは、以下に示すように、同一空間に配置される無線マイクスピーカー装置2及び有線マイクスピーカー装置3のそれぞれを考慮して予め無線マイクスピーカー装置2及び有線マイクスピーカー装置3のそれぞれに適切な遅延時間を設定することにより、その後の入力音声の送受信処理の負荷を抑制しつつ音声品質の低下を防ぐことを可能にするものである。
【0019】
[無線マイクスピーカー装置2]
図4には、無線マイクスピーカー装置2の外観の一例を示している。
図4に示すように、無線マイクスピーカー装置2は、電源22、接続ボタン23、マイク24、スピーカー25、通信部(不図示)などを備える。無線マイクスピーカー装置2は、例えばユーザーの首に装着可能なネックバンド型のウェアラブル機器である。無線マイクスピーカー装置2は、ユーザーが発話した音声をマイク24を介して取得したり、当該ユーザーに対してスピーカー25から音声を再生(出力)したりする。無線マイクスピーカー装置2は、各種情報を表示する表示部を備えてもよい。
【0020】
無線マイクスピーカー装置2の本体21は、無線マイクスピーカー装置2を装着したユーザーから見て左右のアームを備え、U字状に形成されている。
【0021】
マイク24は、ユーザーの発話音声を集音し易いように、無線マイクスピーカー装置2の先端部に配置されている。マイク24は、無線マイクスピーカー装置2に内蔵されたマイク用基板(不図示)に接続されている。
【0022】
スピーカー25には、無線マイクスピーカー装置2を装着したユーザーから見て左側のアームに配置されるスピーカー25Lと右側のアームに配置されるスピーカー25Rとが含まれる。スピーカー25L,25Rは、ユーザーが再生音を聞き取り易いように、無線マイクスピーカー装置2のアームの中央付近に配置されている。スピーカー25L,25Rは、無線マイクスピーカー装置2に内蔵されたスピーカー用基板(不図示)に接続されている。
【0023】
前記マイク用基板は、音声データを音声処理装置1に送信するためのトランスミッター基板であり、前記通信部に含まれる。また、前記スピーカー用基板は、音声処理装置1から音声データを受信するためのレシーバー基板であり、前記通信部に含まれる。
【0024】
前記通信部は、無線マイクスピーカー装置2を無線で音声処理装置1との間で所定の通信プロトコルに従ったデータ通信を実行するための通信インターフェースである。具体的には、前記通信部は、例えばBluetooth方式により無線マイクスピーカー装置2と接続して通信を行う。例えば、ユーザーが電源22をオン状態にした後に接続ボタン23を押下すると、前記通信部は、ペアリング処理を実行して無線マイクスピーカー装置2を音声処理装置1に接続する。なお、無線マイクスピーカー装置2と音声処理装置1との間に送信機が配置され、当該送信機が無線マイクスピーカー装置2とペアリング(Bluetooth接続)し、当該送信機と音声処理装置1とがインターネットを介して接続されてもよい。
【0025】
[音声処理装置1]
図1に示すように、音声処理装置1は、制御部11、記憶部12、操作表示部13、通信部14などを備える情報処理装置(例えばパーソナルコンピュータ)である。なお、音声処理装置1は、1台のコンピュータに限らず、複数台のコンピュータが協働して動作するコンピュータシステムであってもよい。また、音声処理装置1で実行される各種の処理は、一又は複数のプロセッサーによって分散して実行されてもよい。
【0026】
例えば、音声処理装置1は、音声を送受信する機能と音声をミキシングする機能とを備える機器と、オンライン会議を実行する機能を備える機器とで構成されてもよい。
【0027】
通信部14は、音声処理装置1を有線又は無線で通信網に接続し、通信網を介して無線マイクスピーカー装置2、有線マイクスピーカー装置3などの外部機器との間で所定の通信プロトコルに従ったデータ通信を実行するための通信部である。例えば、通信部14は、Bluetooth方式によるペアリング処理を実行して、無線マイクスピーカー装置2と無線接続する。また、通信部14は、オーディオケーブル、USBケーブル、有線LANなどにより有線マイクスピーカー装置3と有線接続する。
【0028】
操作表示部13は、各種の情報を表示する液晶ディスプレイ又は有機ELディスプレイのような表示部と、操作を受け付けるマウス、キーボード、又はタッチパネルのような操作部とを備えるユーザーインターフェースである。前記表示部は、音声処理装置1とは別体で構成され、有線又は無線により音声処理装置1に接続されたディスプレイ4(
図2参照)であってもよい。
【0029】
記憶部12は、各種の情報を記憶するHDD(Hard Disk Drive)又はSSD(Solid State Drive)などの不揮発性の記憶部である。具体的には、記憶部12には、無線マイクスピーカー装置2及び有線マイクスピーカー装置3のそれぞれの遅延情報D1などのデータが記憶される。
【0030】
図5には、遅延情報D1の一例を示している。
図5に示すように、遅延情報D1には、「機器ID」、「電波強度」、「推定距離」、「遅延時間」などの情報が含まれる。前記機器IDは、無線マイクスピーカー装置2及び有線マイクスピーカー装置3のそれぞれの識別情報であり、例えば機器番号が登録される。ここでは、「A001」~「A004」のそれぞれは無線マイクスピーカー装置2A~2Dのそれぞれに対応し、「B001」は有線マイクスピーカー装置3に対応する。前記電波強度は、無線マイクスピーカー装置2の電波強度を示す情報である。制御部11は、各無線マイクスピーカー装置2の電波強度をリアルタイム監視する。前記推定距離は、各無線マイクスピーカー装置2と有線マイクスピーカー装置3との間の距離を示す情報である。制御部11は、各無線マイクスピーカー装置2の電波強度に基づいて前記距離を推定する。前記遅延時間は、各無線マイクスピーカー装置2と有線マイクスピーカー装置3とのそれぞれから入力される音声に付与される遅延量を示す情報である。制御部11は、会議室R1内に配置される無線マイクスピーカー装置2及び有線マイクスピーカー装置3のそれぞれにおいて入力音声の遅延が同一になるように前記遅延時間を調整する。制御部11は、前記遅延時間を調整(設定)すると、その後に入力される音声のミキシング処理において前記遅延時間を付与して再生(音声出力)する。例えば、制御部11は、会議が開始される前に、無線マイクスピーカー装置2及び有線マイクスピーカー装置3のそれぞれを検出した段階で、電波強度の計測を開始し、前記推定距離及び前記遅延時間を算出して遅延情報D1に登録する。
【0031】
また、記憶部12には、制御部11に後述の遅延調整処理(
図11参照)を実行させるための遅延調整プログラム(本開示の音声処理プログラムの一例)などの制御プログラムが記憶されている。例えば、前記遅延調整プログラムは、CD又はDVDなどのコンピュータ読取可能な記録媒体に非一時的に記録され、音声処理装置1が備えるCDドライブ又はDVDドライブなどの読取装置(不図示)で読み取られて記憶部12に記憶されてもよい。
【0032】
制御部11は、CPU、ROM、及びRAMなどの制御機器を有する。前記CPUは、各種の演算処理を実行するプロセッサーである。前記ROMは、前記CPUに各種の演算処理を実行させるためのBIOS及びOSなどの制御プログラムが予め記憶される不揮発性の記憶部である。前記RAMは、各種の情報を記憶する揮発性又は不揮発性の記憶部であり、前記CPUが実行する各種の処理の一時記憶メモリー(作業領域)として使用される。そして、制御部11は、前記ROM又は記憶部12に予め記憶された各種の制御プログラムを前記CPUで実行することにより音声処理装置1を制御する。
【0033】
具体的には、制御部11は、
図1に示すように、音声処理部111、算出処理部112、測定処理部113、調整処理部114などの各種の処理部を含む。なお、制御部11は、前記CPUで前記制御プログラムに従った各種の処理を実行することによって前記各種の処理部として機能する。また、一部又は全部の前記処理部が電子回路で構成されていてもよい。なお、前記制御プログラムは、複数のプロセッサーを前記処理部として機能させるためのプログラムであってもよい。
【0034】
音声処理部111は、音声データを受信すると所定の音声処理を実行して出力する。具体的には、音声処理部111は、ユーザーが発話した場合に発話音声が入力された無線マイクスピーカー装置2、有線マイクスピーカー装置3から音声データを受信する。また、音声処理部111は、受信した音声データに対して周知のミキシング処理を実行して出力する。例えば、会議室R1においてユーザーAが発話した場合に、発話音声が無線マイクスピーカー装置2A及び有線マイクスピーカー装置3のそれぞれに入力されると、音声処理部111は、無線マイクスピーカー装置2A及び有線マイクスピーカー装置3のそれぞれから音声を受信する。音声処理部111は、無線マイクスピーカー装置2A及び有線マイクスピーカー装置3のそれぞれから受信した音声についてミキシング等の音声処理を行って会議室R2の音声処理装置1に送信する。
【0035】
また、例えば、会議室R1においてユーザーEが発話した場合に、発話音声が有線マイクスピーカー装置3に入力されると、音声処理部111は、有線マイクスピーカー装置3から音声を受信する。音声処理部111は、有線マイクスピーカー装置3から受信した音声についてミキシング等の音声処理を行って会議室R2の音声処理装置1に送信する。
【0036】
ここで、制御部11は、同一空間において、マイクスピーカー装置間で生じる遅延(伝送時間の差)を合わせるための調整処理を実行する。
【0037】
具体的には、算出処理部112は、第1ユーザーの発話音声が、第1ユーザーが携帯する第1無線マイクスピーカー装置2に入力されて音声処理装置1に受信される場合の第1伝送時間と、第1ユーザーの第1発話音声が、空気中を伝搬して有線マイクスピーカー装置3に入力されて音声処理装置1に受信される場合の第2伝送時間とを算出する。例えば、算出処理部112は、第1発話音声が第1無線マイクスピーカー装置2に入力されてから音声処理装置1において所定の音声処理が実行されるまでの時間である第1伝送時間を算出する。
【0038】
また、算出処理部112は、第1発話音声が空気中を伝搬して有線マイクスピーカー装置3に入力されて音声処理装置1において所定の音声処理が実行されるまでの時間である第2伝送時間を算出する。具体的には、測定処理部113が、第1無線マイクスピーカー装置2と音声処理装置1との間の距離を測定し、算出処理部112は、測定処理部113により測定される距離に基づいて第1無線マイクスピーカー装置2と有線マイクスピーカー装置3との間の距離を推定し、推定した距離に基づいて第2伝送時間を算出する。
【0039】
例えば、測定処理部113は、第1無線マイクスピーカー装置2の電波強度に基づいて、第1無線マイクスピーカー装置2と音声処理装置1との間の距離を測定する。ここで、有線マイクスピーカー装置3が音声処理装置1の近傍に配置される場合(又は有線マイクスピーカー装置3及び音声処理装置1が一体に構成される場合)、第1無線マイクスピーカー装置2と有線マイクスピーカー装置3との間の距離は、第1無線マイクスピーカー装置2と音声処理装置1との間の距離と同一視することができる。このため、算出処理部112は、第1無線マイクスピーカー装置2と有線マイクスピーカー装置3との間の距離に基づいて第2伝送時間を算出することができる。なお、測定処理部113は、リアルタイムで各無線マイクスピーカー装置2の電波強度を計測して遅延情報D1(
図5参照)に登録する。また、算出処理部112は、電波強度に基づいて算出した各無線マイクスピーカー装置2と有線マイクスピーカー装置3との間の距離を遅延情報D1に登録する。無線マイクスピーカー装置2の電波強度が強いほど、無線マイクスピーカー装置2と音声処理装置1及び有線マイクスピーカー装置3との間の距離が短く、無線マイクスピーカー装置2の電波強度が弱いほど、無線マイクスピーカー装置2と音声処理装置1及び有線マイクスピーカー装置3との間の距離が長くなる。
【0040】
他の実施形態として、測定処理部113は、音声処理装置1に電波強度を測定するセンサーが設けられている場合には、センサーが音声処理装置1から、第1無線マイクスピーカー装置2及び有線マイクスピーカー装置3のそれぞれまでの距離を測定し、測定結果に基づいて第1無線マイクスピーカー装置2と有線マイクスピーカー装置3との間の距離を測定してもよい。また、測定処理部113は、音声処理装置1に外部機器との距離を測定するカメラが設けられている場合には、カメラが音声処理装置1から、第1無線マイクスピーカー装置2及び有線マイクスピーカー装置3のそれぞれまでの距離を測定し、測定結果に基づいて第1無線マイクスピーカー装置2と有線マイクスピーカー装置3との間の距離を測定してもよい。
【0041】
算出処理部112は、推定した第1無線マイクスピーカー装置2と有線マイクスピーカー装置3との間の距離に基づいて発話音声が有線マイクスピーカー装置3に入力されるまでの伝送時間を算出する。例えば、音速が340m/sであり、音声が空気中を1m伝搬するのに要する時間が約3msである場合、算出処理部112は、この関係式(距離×3ms)により伝送時間を算出することができる。
【0042】
また、算出処理部112は、無線通信方式により予め設定された固定値を第1伝送時間として算出する。例えば、BluetoothプロファイルがHFP1.6以上の場合、無線マイクスピーカー装置2から音声処理装置1までの伝送時間(第1伝送時間)は約40ms(固定値)となる。このため、会議室R1に配置される無線マイクスピーカー装置2A~2Dのそれぞれにおいて、音声の第1伝送時間は40msとなる。なお、無線通信方式(Bluetooth)による通信遅延(第1伝送時間)は、マイク及びスピーカーを同時に使用している場合に生じる遅延時間(例えば40ms)である。また、実際には、第1伝送時間には、電波の送信時間(30万km/S)と、無線マイクスピーカー装置2及び音声処理装置1における所定の音声処理の処理時間(例えば、無線マイクスピーカー装置2において音声信号を電波信号に変換する処理時間、音声処理装置1において電波信号を音声信号に変換する処理時間)とが含まれるが、電波で送信する送信時間は無視できるため、前記第1伝送時間は、実質的には音声処理時間(40ms)となる。
【0043】
調整処理部114は、算出処理部112により算出される第1伝送時間及び第2伝送時間に基づいて、第1無線マイクスピーカー装置2及び有線マイクスピーカー装置3の少なくともいずれかの遅延時間を調整する。具体的には、第1伝送時間が第2伝送時間よりも長い場合に、調整処理部114は、第1伝送時間(通信遅延)と第2伝送時間(空間遅延)との差に対応する遅延時間を、有線マイクスピーカー装置3から入力される発話音声に付与する。以下、具体例を説明する。
【0044】
図6Aには、有線マイクスピーカー装置3からそれぞれ2m離れた位置に配置された無線マイクスピーカー装置2A、2Bを示している。
図6Bには、音声の伝送時間と遅延時間の設定方法とを示している。
図6Aに示す環境において例えばユーザーAが発話した場合、ユーザーAの発話音声(音声Sa)は無線マイクスピーカー装置2Aと有線マイクスピーカー装置3とに入力される。なお、
図6Aにおいて、符号Saの時刻t1~t2、時刻t3~t4は、ユーザーAが発話している時間(発話時間)を表している。以降の図においても同様に、例えば符号Sb~Sdは、ユーザーの発話時間を表している。
【0045】
無線マイクスピーカー装置2AにはユーザーAが発話してから遅延なく音声Saが入力されて、無線通信による伝送により40ms経過後の時刻t3に音声処理装置1に受信される。一方、有線マイクスピーカー装置3には、ユーザーAが発話してから空気中を伝搬する伝送時間(6ms)が経過後の時刻t1に入力される。なお、有線マイクスピーカー装置3は音声処理装置1に有線接続されているため、音声は有線マイクスピーカー装置3に入力されてから遅延なく音声処理装置1に受信される。なお、実際には、前記伝送時間には、音声が空気中を伝搬する時間(340m/S)と、音声処理装置1における所定の音声処理の処理時間(例えば、音声処理装置1において音声を音声信号に変換する処理時間)とが含まれるが、通常は音声処理の処理時間は僅かであり無視できるため、前記伝送時間は、実質的には音声が空気中を伝搬する伝搬時間(例えば6ms)となる。このように、音声処理装置1は、ユーザーAが発話してから6ms後に有線マイクスピーカー装置3を介して音声Saを受信し、ユーザーAが発話してから40ms後に無線マイクスピーカー装置2Aを介して音声Saを受信する。このため、34msの伝送時間の差が生じる。そこで、調整処理部114は、先に受信した有線マイクスピーカー装置3に入力された音声Saに対して、伝送時間の差である34msの遅延時間を付与する。すなわち、調整処理部114は、
図6Aに示す環境では、有線マイクスピーカー装置3から入力された音声Saに対して、無線マイクスピーカー装置2A、2Bのそれぞれに対応する34msの遅延時間を設定し、無線マイクスピーカー装置2A、2Bから入力された音声Saには遅延時間を設定しない。上記のように遅延時間を設定すると、音声処理部111は、例えば時刻t4において各音声Saをミキシング処理して出力する。これにより、音声品質の低下を防ぐことができる。
【0046】
図7Aには、有線マイクスピーカー装置3から2m離れた位置に配置された無線マイクスピーカー装置2Aと、有線マイクスピーカー装置3から4m離れた位置に配置された無線マイクスピーカー装置2Bとを示している。
図7Bには、音声の伝送時間と遅延時間の設定方法とを示している。
図7Aに示す環境において例えばユーザーAが発話した場合、ユーザーAの発話音声(音声Sa)は無線マイクスピーカー装置2Aと有線マイクスピーカー装置3とに入力される。
【0047】
無線マイクスピーカー装置2AにはユーザーAが発話してから遅延なく音声Saが入力されて、無線通信による伝送により40ms経過後の時刻t3に音声処理装置1に受信される。一方、有線マイクスピーカー装置3には、ユーザーAが発話してから空気中を伝搬する伝送時間(6ms)が経過後の時刻t1に入力される。この場合、
図6Bの例と同様に、音声処理装置1は、ユーザーAが発話してから6ms後に有線マイクスピーカー装置3を介して音声Saを受信し、ユーザーAが発話してから40ms後に無線マイクスピーカー装置2Aを介して音声Saを受信するため、34msの伝送時間の差が生じる。このため、調整処理部114は、有線マイクスピーカー装置3から入力された音声Saに対して、無線マイクスピーカー装置2Aに対応する遅延時間として34msの遅延時間を付与する。
【0048】
図7Aに示す環境において例えばユーザーBが発話した場合、ユーザーBの発話音声(音声Sb)は無線マイクスピーカー装置2Bと有線マイクスピーカー装置3とに入力される。また、無線マイクスピーカー装置2BにはユーザーBが発話してから遅延なく音声Sbが入力されて、無線通信による伝送により40ms経過後の時刻t5に音声処理装置1に受信される。一方、有線マイクスピーカー装置3には、ユーザーBが発話してから空気中を伝搬する伝送時間(12ms)が経過後の時刻t2に入力される。この場合、音声処理装置1は、ユーザーBが発話してから12ms後に有線マイクスピーカー装置3を介して音声Sbを受信し、ユーザーBが発話してから40ms後(時刻t5)に無線マイクスピーカー装置2Bを介して音声Sbを受信するため、28msの伝送時間の差が生じる。このため、調整処理部114は、有線マイクスピーカー装置3から入力された音声Sbに対して、無線マイクスピーカー装置2Bに対応する遅延時間として28msの遅延時間を付与する。
【0049】
このように、調整処理部114は、
図7Aに示す環境では、無線マイクスピーカー装置2Aとの遅延調整として有線マイクスピーカー装置3に34msの遅延時間を設定し、無線マイクスピーカー装置2Bとの遅延調整として有線マイクスピーカー装置3に28msの遅延時間を設定し、無線マイクスピーカー装置2A、2Bには遅延時間を設定しない。上記のように遅延時間を設定すると、音声処理部111は、例えば時刻t6において各音声Sa及び各音声Sbをミキシング処理して出力する。これにより、音声品質の低下を防ぐことができる。
【0050】
このように、同一空間(会議室)に、有線マイクスピーカー装置までの距離が互いに異なる第1無線マイクスピーカー装置と第2無線マイクスピーカー装置とが配置される場合には、調整処理部114は、第1無線マイクスピーカー装置に対応する第1遅延時間と、第2無線マイクスピーカー装置に対応する第2遅延時間とを有線マイクスピーカー装置3から入力された音声に付与する。
【0051】
図6及び
図7に示す例では、無線接続方式がBluetooth方式の場合は、無線通信による遅延が支配的となる。具体的には、無線マイクスピーカー装置2の装着者が発話すると、自身の無線マイクスピーカー装置2のマイクにはほぼ遅延無しで音声が入力されるが、当該音声が空気中を伝搬して有線マイクスピーカー装置3に入る場合、無線マイクスピーカー装置2と比較して、有線マイクスピーカー装置3には遅延して入力される。このため、無線通信による伝送時間から、空気中を伝搬する伝送時間を引くと、無線マイクスピーカー装置2と有線マイクスピーカー装置3との遅延を一致させることができる。
【0052】
例えばBluetoothの場合、無線通信による伝送時間が40msであるため、これが支配的となる。無線マイクスピーカー装置2の距離が変わって空気中を音声が伝搬する伝送時間が増えたとしても、全体の遅延時間が40msになるように調整することにより、無線マイクスピーカー装置2の距離が一致しなくても全体として遅延が一致する。
【0053】
他の実施形態として、無線通信方式がBluetoothとは異なる無線通信方式であってもよい。この場合、例えば無線通信による伝送時間(音声が無線マイクスピーカー装置2に入力されてから音声処理装置1に受信されるまでの第1伝送時間)(通信遅延)が小さくなる場合が考えられる。さらに、音声が空気中を伝搬して有線マイクスピーカー装置3に入力される際の第2伝送時間(空間遅延)が前記通信遅延よりも長くなる場合も考えられる。
【0054】
図8Aには、有線マイクスピーカー装置3からそれぞれ2m離れた位置に配置された無線マイクスピーカー装置2C、2Dを示している。
図8Bには、音声の伝送時間と遅延時間の設定方法とを示している。
図8Aに示す環境において例えばユーザーCが発話した場合、ユーザーCの発話音声(音声Sc)は無線マイクスピーカー装置2Cと有線マイクスピーカー装置3とに入力される。
【0055】
無線マイクスピーカー装置2CにはユーザーCが発話してから遅延なく音声Scが入力されて、無線通信による伝送により10ms経過後の時刻t2に音声処理装置1に受信される。一方、有線マイクスピーカー装置3には、ユーザーCが発話してから空気中を伝搬する伝送時間(6ms)が経過後の時刻t1に入力される。なお、有線マイクスピーカー装置3は音声処理装置1に有線接続されているため、音声は有線マイクスピーカー装置3に入力されてから遅延なく音声処理装置1に受信される。このように、音声処理装置1は、ユーザーCが発話してから6ms後に有線マイクスピーカー装置3を介して音声Scを受信し、ユーザーCが発話してから10ms後に無線マイクスピーカー装置2Cを介して音声Scを受信する。このため、4msの伝送時間の差が生じる。そこで、調整処理部114は、先に受信した音声Scが入力される有線マイクスピーカー装置3から入力された音声Scに対して、伝送時間の差である4msの遅延時間を付与する。すなわち、調整処理部114は、
図8Aに示す環境では、有線マイクスピーカー装置3から入力された音声Scに対して、無線マイクスピーカー装置2C、2Dのそれぞれに対応する4msの遅延時間を設定し、無線マイクスピーカー装置2C、2Dから入力された音声Scには遅延時間を設定しない。上記のように遅延時間を設定すると、音声処理部111は、例えば時刻t4において各音声Scをミキシング処理して出力する。これにより、音声品質の低下を防ぐことができる。
【0056】
図9Aには、有線マイクスピーカー装置3から4m離れた位置に配置された無線マイクスピーカー装置2Cと、有線マイクスピーカー装置3から6m離れた位置に配置された無線マイクスピーカー装置2Dとを示している。
図9Bには、音声の伝送時間と遅延時間の設定方法とを示している。
図9Aに示す環境において例えばユーザーCが発話した場合、ユーザーCの発話音声(音声Sc)は無線マイクスピーカー装置2Cと有線マイクスピーカー装置3とに入力され、例えばユーザーDが発話した場合、ユーザーDの発話音声(音声Sd)は無線マイクスピーカー装置2Dと有線マイクスピーカー装置3とに入力される。
【0057】
無線マイクスピーカー装置2CにはユーザーCが発話してから遅延なく音声Scが入力されて、無線通信による伝送により10ms経過後の時刻t1に音声処理装置1に受信される。また、無線マイクスピーカー装置2DにはユーザーDが発話してから遅延なく音声Sdが入力されて、無線通信による伝送により10ms経過後の時刻t1に音声処理装置1に受信される。一方、有線マイクスピーカー装置3には、ユーザーCが発話してから空気中を伝搬する伝送時間(12ms)が経過後の時刻t2に入力される。また、有線マイクスピーカー装置3には、ユーザーDが発話してから空気中を伝搬する伝送時間(18ms)が経過後の時刻t3に入力される。このように、音声処理装置1は、ユーザーCが発話してから12ms後に有線マイクスピーカー装置3を介して音声Scを受信し、ユーザーCが発話してから10ms後に無線マイクスピーカー装置2Cを介して音声Scを受信する。また、音声処理装置1は、ユーザーDが発話してから18ms後に有線マイクスピーカー装置3を介して音声Sdを受信し、ユーザーDが発話してから10ms後に無線マイクスピーカー装置2Dを介して音声Sdを受信する。このため、ユーザーCの音声について2msの伝送時間の差が生じ、ユーザーDの音声について8msの伝送時間の差が生じる。そこで、調整処理部114は、最も遅く入力される音声(
図9Aでは有線マイクスピーカー装置3に入力されるユーザーDの音声)に合わせて、無線マイクスピーカー装置2及び有線マイクスピーカー装置3から入力された音声に遅延時間を付与する。例えば、調整処理部114は、無線マイクスピーカー装置2C、2Dから入力された音声Sc、Sdのそれぞれに対して8msの遅延時間を付与し、有線マイクスピーカー装置3から入力された音声Scに対して、無線マイクスピーカー装置2Cに対応する遅延時間として6msの遅延時間を付与する。上記のように遅延時間を設定すると、音声処理部111は、例えば時刻t5において各音声Sc、Sdをミキシング処理して出力する。これにより、音声品質の低下を防ぐことができる。
【0058】
このように、第2伝送時間(空間遅延)が第1伝送時間(通信遅延)よりも長くなる場合には、調整処理部114は、第1伝送時間と第2伝送時間との差に対応する遅延時間を、無線マイクスピーカー装置2から入力された音声に付与する。
【0059】
図10Aには、有線マイクスピーカー装置3から2m離れた位置に配置された無線マイクスピーカー装置2Cと、有線マイクスピーカー装置3から4m離れた位置に配置された無線マイクスピーカー装置2Dとを示している。
図10Bには、音声の伝送時間と遅延時間の設定方法とを示している。
図10Aに示す環境において例えばユーザーCが発話した場合、ユーザーCの発話音声(音声Sc)は無線マイクスピーカー装置2Cと有線マイクスピーカー装置3とに入力される。
【0060】
無線マイクスピーカー装置2CにはユーザーCが発話してから遅延なく音声Scが入力されて、無線通信による伝送により10ms経過後の時刻t2に音声処理装置1に受信される。一方、有線マイクスピーカー装置3には、ユーザーCが発話してから空気中を伝搬する伝送時間(6ms)が経過後の時刻t1に入力される。この場合、
図8Bの例と同様に、音声処理装置1は、ユーザーCが発話してから6ms後に有線マイクスピーカー装置3を介して音声Scを受信し、ユーザーCが発話してから10ms後に無線マイクスピーカー装置2Aを介して音声Scを受信するため、4msの伝送時間の差が生じる。
【0061】
また、
図10Aに示す環境において例えばユーザーDが発話した場合、ユーザーDの発話音声(音声Sd)は無線マイクスピーカー装置2Dと有線マイクスピーカー装置3とに入力される。また、無線マイクスピーカー装置2DにはユーザーDが発話してから遅延なく音声Sdが入力されて、無線通信による伝送により10ms経過後の時刻t2に音声処理装置1に受信される。一方、有線マイクスピーカー装置3には、ユーザーDが発話してから空気中を伝搬する伝送時間(12ms)が経過後の時刻t3に入力される。この場合、音声処理装置1は、ユーザーDが発話してから12ms後に有線マイクスピーカー装置3を介して音声Sdを受信し、ユーザーDが発話してから10ms後(時刻t2)に無線マイクスピーカー装置2Dを介して音声Sdを受信するため、2msの伝送時間の差が生じる。また、ここでは、有線マイクスピーカー装置3を介して音声Sdを受信する場合の伝送時間(空間遅延:12ms)が無線マイクスピーカー装置2Dを介して音声Sdを受信する場合の伝送時間(通信遅延:10ms)よりも長くなる。
【0062】
すなわち、
図10Aの環境では、ユーザーDの発話した音声Sdの有線マイクスピーカー装置3を介した伝送時間が最も長くなる。この場合、調整処理部114は、音声Sdの伝送時間(12ms)との差に基づいて、有線マイクスピーカー装置3から入力された音声Sc、Sdに対して、無線マイクスピーカー装置2C、2Dのそれぞれに対応する遅延時間として2msの遅延時間を付与し、有線マイクスピーカー装置3から入力された音声Scに対して6msの遅延時間を付与する。このように、調整処理部114は、同一空間において、通信遅延が空間遅延よりも長くなる無線マイクスピーカー装置2と、空間遅延が通信遅延よりも長くなる無線マイクスピーカー装置2とが混在する場合には、最も遅く入力される音声(
図10Aでは有線マイクスピーカー装置3に入力されるユーザーDの音声)に合わせて、無線マイクスピーカー装置2及び有線マイクスピーカー装置3から入力されたそれぞれの音声に遅延時間を付与する。
【0063】
上記のように遅延時間を設定すると、音声処理部111は、例えば時刻t6において各音声Sc及び各音声Sdをミキシング処理して出力する。これにより、音声品質の低下を防ぐことができる。
【0064】
以上のようにして、調整処理部114は、同一空間内における無線マイクスピーカー装置2及び有線マイクスピーカー装置3に対する遅延時間を調整すると、遅延時間を遅延情報D1(
図5参照)に登録する。
【0065】
[遅延調整処理]
以下、
図11を参照しつつ、音声処理装置1の制御部11によって実行される遅延調整処理の手順の一例について説明する。
【0066】
なお、本開示は、前記遅延調整処理に含まれる一又は複数のステップを実行する遅延調整方法(本開示の音声処理方法)として捉えることができる。また、ここで説明する前記遅延調整処理に含まれる一又は複数のステップが適宜省略されてもよい。また、前記遅延調整処理における各ステップは、同様の作用効果を生じる範囲で実行順序が異なってもよい。さらに、ここでは制御部11が前記遅延調整処理における各ステップを実行する場合を例に挙げて説明するが、他の実施形態では、1又は複数のプロセッサーが前記遅延調整処理における各ステップを分散して実行してもよい。
【0067】
先ず、ステップS1において、制御部11は、音声処理装置1に有線マイクスピーカー装置3が接続されているか否かを判定する。例えば、有線マイクスピーカー装置3はオーディオケーブル、USBケーブル、有線LANなどにより音声処理装置1に接続される。制御部11は、音声処理装置1に有線マイクスピーカー装置3が接続されていると判定すると(S1:Yes)、処理をステップS2に移行させる。制御部11は、音声処理装置1に有線マイクスピーカー装置3が接続されていないと判定すると(S1:No)、処理を終了する。
【0068】
ステップS2において、制御部11は、音声処理装置1に無線マイクスピーカー装置2が接続されているか否かを判定する。例えば、無線マイクスピーカー装置2はBluetoothなどの無線通信方式により音声処理装置1に接続される。制御部11は、音声処理装置1に無線マイクスピーカー装置2が接続されていると判定すると(S2:Yes)、処理をステップS3に移行させる。制御部11は、音声処理装置1に無線マイクスピーカー装置2が接続されていないと判定すると(S2:No)、処理を終了する。
【0069】
ステップS3において、制御部11は、無線マイクスピーカー装置2の電波強度を測定する。音声処理装置1に複数の無線マイクスピーカー装置2が接続されている場合には、制御部11は、各無線マイクスピーカー装置2の電波強度を測定する。制御部11は、測定した電波強度を遅延情報D1(
図5参照)に記憶する。また、制御部11は、所定の周期で電波強度を測定して遅延情報D1を更新する。
【0070】
次にステップS4において、制御部11は、無線マイクスピーカー装置2から有線マイクスピーカー装置3までの距離を推定する。具体的には、制御部11は、無線マイクスピーカー装置2の電波強度に基づいて、無線マイクスピーカー装置2と有線マイクスピーカー装置3との間の距離を推定する。
【0071】
次にステップS5において、制御部11は、音声が有線マイクスピーカー装置3に入力されるまでの伝送時間(空間遅延)を算出する。例えば、音速が340m/sであり、音声が空気中を1m伝搬するのに要する時間が約3msである場合、制御部11は、この関係式(距離×3ms)を利用して、音声が発せられてから空気中を伝搬して有線マイクスピーカー装置3に入力されるまでの伝送時間を算出する。なお、音声が発せられたタイミングは、当該音声が無線マイクスピーカー装置2に入力されたタイミングであってもよい。
【0072】
また、制御部11は、無線マイクスピーカー装置2に入力された音声がBluetooth方式の通信により音声処理装置1に入力されるまでの伝送時間(通信遅延)として40ms(固定値)を取得する。また、制御部11は、無線マイクスピーカー装置2に入力された音声が他の方式の通信により音声処理装置1に入力されるまでの伝送時間(通信遅延)として10ms(固定値)を取得してもよい。制御部11は、前記伝送時間(通信遅延)を利用することにより、前記音声が発せられたタイミングを特定することができる。
【0073】
次にステップS6において、制御部11は、通信遅延が空間遅延よりも長いか否かを判定する。制御部11は、通信遅延が空間遅延よりも長いと判定すると(S6:Yes)、処理をステップS7に移行させる。一方、制御部11は、通信遅延が空間遅延よりも短いと判定すると(S6:No)、処理をステップS8に移行させる。
【0074】
ステップS7では、制御部11は、有線マイクスピーカー装置3から入力された音声に遅延時間を付与し、ステップS8では、制御部11は、無線マイクスピーカー装置2から入力された音声に遅延時間を付与する。
【0075】
例えば
図7A及び
図7Bに示すように、音声が無線マイクスピーカー装置2に入力されてから音声処理装置1に入力されるまでの伝送時間(通信遅延)「40ms」が、音声が空気中を伝搬して有線マイクスピーカー装置3(音声処理装置1)に入力されるまでの伝送時間(空間遅延)「6ms」及び「12ms」よりも長い場合、制御部11は、有線マイクスピーカー装置3から入力された音声Saに遅延時間を付与する(ステップS7)。
図7Bに示す例では、制御部11は、無線マイクスピーカー装置2Aに対応する遅延時間として34msの遅延時間を、有線マイクスピーカー装置3から入力された音声Saに付与し、無線マイクスピーカー装置2Bに対応する遅延時間として28msの遅延時間を、有線マイクスピーカー装置3から入力された音声Sbに付与する。
【0076】
また、例えば
図9A及び
図9Bに示すように、音声が無線マイクスピーカー装置2に入力されてから音声処理装置1に入力されるまでの伝送時間(通信遅延)「10ms」、「12ms」が、音声が空気中を伝搬して有線マイクスピーカー装置3(音声処理装置1)に入力されるまでの伝送時間(空間遅延)「10ms」よりも長い場合、制御部11は、無線マイクスピーカー装置2から入力された音声に遅延時間を付与する(ステップS8)。
図9Bに示す例では、制御部11は、無線マイクスピーカー装置2C、2Dから入力された音声Sc、Sdのそれぞれに対して8msの遅延時間を付与する。また、
図9Bに示す例では、距離が異なる無線マイクスピーカー装置2C、2Dが含まれるため、制御部11は、有線マイクスピーカー装置3から入力された音声Scに対して、無線マイクスピーカー装置2Cに対応する遅延時間として6msの遅延時間を付与する。
【0077】
制御部11は、以上のようにして遅延時間を調整すると前記遅延調整処理を終了する。制御部11は、前記遅延時間を設定すると、その後に会議が開始された場合に、前記遅延時間を用いて、会議音声の音声処理(ミキシング処理など)を実行して音声データを送受信する。
【0078】
以上説明したように、本実施形態に係る音声処理システム100は、同一空間に、ユーザーが携帯可能な無線接続される無線マイクスピーカー装置2と、有線接続される有線マイクスピーカー装置3とが配置され、無線マイクスピーカー装置2及び有線マイクスピーカー装置3のそれぞれから受信する音声を処理する音声処理装置1を含む。また、音声処理システム100は、第1ユーザーの第1発話音声が、第1ユーザーが携帯する第1無線マイクスピーカー装置2に入力されて音声処理装置1に受信される場合の第1伝送時間(通信遅延)と、第1ユーザーの第1発話音声が、有線マイクスピーカー装置3に入力されて音声処理装置1に受信される場合の第2伝送時間(空間遅延)とを算出し、算出した第1伝送時間及び第2伝送時間に基づいて、第1無線マイクスピーカー装置2及び有線マイクスピーカー装置3の少なくともいずれかの遅延時間を調整する。
【0079】
上記構成によれば、無線マイクスピーカー装置2と有線マイクスピーカー装置3との接続方式による音声の遅延(通信遅延)と、無線マイクスピーカー装置2のユーザーの音声が空気中を伝搬して有線マイクスピーカー装置3にマイク入力されて音声処理装置1に受信された場合の遅延(空間遅延)とを合わせることができる。よって、音声品質を向上させることができる。また、同一空間に配置される複数の無線マイクスピーカー装置2及び有線マイクスピーカー装置3について予め遅延時間を調整しておくことにより、会話開始後に機器ごとに遅延時間をその都度調整する必要がないため、処理負荷を削減することができる。
【0080】
[他の実施形態]
本開示は、上述の実施形態に限定されない。以下、本開示の他の実施形態について説明する。
【0081】
他の実施形態として、調整処理部114は、無線マイクスピーカー装置2の電波強度が変化した場合に遅延時間を再調整してもよい。例えば、会議が開始された後に無線マイクスピーカー装置2を装着したユーザーが席から移動すると、無線マイクスピーカー装置2から音声処理装置1及び有線マイクスピーカー装置3までの距離が変動し、音声の伝送時間(空間遅延)が変動する。そこで、調整処理部114は、監視中の無線マイクスピーカー装置2の電波強度が変化した場合に、電波強度に基づいて無線マイクスピーカー装置2と有線マイクスピーカー装置3との間の距離を推定し、推定した距離に基づいて伝送時間(空間遅延)を算出して遅延時間を再調整する。これにより、無線マイクスピーカー装置2が移動した場合でも遅延時間を再調整して音声品質の低下を防ぐことができる。
【0082】
また他の実施形態として、調整処理部114は、無線マイクスピーカー装置2の電波強度が閾値未満に低下した場合に、無線マイクスピーカー装置2に対応する遅延時間の調整処理を中止してもよい。例えば、会議中に無線マイクスピーカー装置2を装着したユーザーが会議室から退出した場合、当該無線マイクスピーカー装置2の移動後の距離に応じて遅延時間を調整すると、遅延時間が不要に長くなってしまう。そこで、調整処理部114は、無線マイクスピーカー装置2の電波強度が閾値未満になった場合は当該無線マイクスピーカー装置2のユーザーは会議室から退出したと推定して、遅延時間の調整処理の対象から除外する。なお、調整処理部114は、無線マイクスピーカー装置2の電波強度が閾値以上に戻った場合は当該無線マイクスピーカー装置2のユーザーが会議室に戻ったと推定して、遅延時間の調整処理の対象に加える。
【0083】
また他の実施形態として、調整処理部114は、さらに外気温に基づいて遅延時間を調整してもよい。例えば、音声処理装置1は外気温を取得可能な温度センサーを搭載し、調整処理部114は、温度センサーが測定した外気温の変化によって遅延時間の補正値を調整する。例えば、外気温が1度上がると空気中の音速は0.6m速くなるため、調整処理部114は、外気温の変化に応じて遅延時間を調整することができる。これにより、外気温の変化によらず遅延時間を調整することができる。
【0084】
他の実施形態として、調整処理部114は、無線マイクスピーカー装置2と有線マイクスピーカー装置3の接続による遅延量をユーザーの手動操作に応じて設定変更してもよい。これにより、無線マイクスピーカー装置2の接続方式によらず、有線マイクスピーカー装置3との遅延時間を調整することができる。
【0085】
なお、本開示の音声処理システムは、音声処理装置1単体で構成されてもよいし、音声処理装置1と会議サーバーなどの他のサーバーとの組み合わせにより構成されてもよい。
【0086】
[開示の付記]
以下、上述の実施形態から抽出される開示の概要について付記する。なお、以下の付記で説明する各構成及び各処理機能は取捨選択して任意に組み合わせることが可能である。
【0087】
<付記1>
同一空間に、ユーザーが携帯可能な無線接続される無線マイクスピーカー装置と、有線接続される有線マイクスピーカー装置とが配置され、前記無線マイクスピーカー装置及び前記有線マイクスピーカー装置のそれぞれから受信する音声を処理する音声処理装置を含む音声処理システムであって、
第1ユーザーの第1発話音声が、前記第1ユーザーが携帯する第1無線マイクスピーカー装置に入力されて前記音声処理装置に受信される場合の第1伝送時間と、前記第1ユーザーの前記第1発話音声が、前記有線マイクスピーカー装置に入力されて前記音声処理装置に受信される場合の第2伝送時間とを算出する算出処理部と、
前記算出処理部により算出される前記第1伝送時間及び前記第2伝送時間に基づいて、前記第1無線マイクスピーカー装置及び前記有線マイクスピーカー装置の少なくともいずれかの遅延時間を調整する調整処理部と、
を備える音声処理システム。
【0088】
<付記2>
前記算出処理部は、
前記第1発話音声が前記第1無線マイクスピーカー装置に入力されて前記音声処理装置において所定の音声処理が実行されるまでの時間である前記第1伝送時間を算出し、
前記第1発話音声が前記有線マイクスピーカー装置に入力されて前記音声処理装置において所定の音声処理が実行されるまでの時間である前記第2伝送時間を算出する、
付記1に記載の音声処理システム。
【0089】
<付記3>
前記第1無線マイクスピーカー装置と前記音声処理装置との間の距離を測定する測定処理部をさらに備え、
前記算出処理部は、前記測定処理部により測定される距離に基づいて前記第1無線マイクスピーカー装置と前記有線マイクスピーカー装置との間の距離を推定し、推定した距離に基づいて前記第2伝送時間を算出する、
付記2に記載の音声処理システム。
【0090】
<付記4>
前記測定処理部は、前記第1無線マイクスピーカー装置の電波強度に基づいて、前記第1無線マイクスピーカー装置と前記音声処理装置との間の距離を測定する、
付記3に記載の音声処理システム。
【0091】
<付記5>
前記算出処理部は、無線通信方式により予め設定された固定値を前記第1伝送時間として算出する、
付記2~4のいずれかに記載の音声処理システム。
【0092】
<付記6>
前記第1伝送時間が前記第2伝送時間よりも長い場合に、前記調整処理部は、前記第1伝送時間と前記第2伝送時間との差に対応する遅延時間を、前記有線マイクスピーカー装置から入力される前記第1発話音声に付与し、
前記第2伝送時間が前記第1伝送時間よりも長い場合に、前記調整処理部は、前記第1伝送時間と前記第2伝送時間との差に対応する遅延時間を、前記第1無線マイクスピーカー装置から入力される前記第1発話音声に付与する、
付記1~5のいずれかに記載の音声処理システム。
【0093】
<付記7>
同一空間に、前記有線マイクスピーカー装置までの距離が互いに異なる前記第1無線マイクスピーカー装置と第2無線マイクスピーカー装置とが配置される場合に、
前記調整処理部は、前記第1無線マイクスピーカー装置に対応する第1遅延時間と、前記第2無線マイクスピーカー装置に対応する第2遅延時間とを前記有線マイクスピーカー装置から入力される前記第1発話音声に付与する、
付記1~6のいずれかに記載の音声処理システム。
【0094】
<付記8>
前記調整処理部は、前記第1無線マイクスピーカー装置の電波強度が変化した場合に遅延時間を再調整する、
付記1~7のいずれかに記載の音声処理システム。
【0095】
<付記9>
前記調整処理部は、前記第1無線マイクスピーカー装置の電波強度が閾値未満に低下した場合に、前記第1無線マイクスピーカー装置に対応する遅延時間の調整処理を中止する、
付記1~8のいずれかに記載の音声処理システム。
【0096】
<付記10>
前記調整処理部は、さらに外気温に基づいて遅延時間を調整する、
付記1~9のいずれかに記載の音声処理システム。
【符号の説明】
【0097】
100 :音声処理システム
1 :音声処理装置
2 :無線マイクスピーカー装置
3 :有線マイクスピーカー装置
4 :ディスプレイ
11 :制御部
12 :記憶部
13 :操作表示部
14 :通信部
21 :本体
22 :電源
23 :接続ボタン
24 :マイク
25 :スピーカー
111 :音声処理部
112 :算出処理部
113 :測定処理部
114 :調整処理部
D1 :遅延情報
R1 :会議室
R2 :会議室