特許 7469298 到来方向推定装置、システム、及び、到来方向推定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-08

(45)【発行日】2024-04-16

(54)【発明の名称】到来方向推定装置、システム、及び、到来方向推定方法

(51)【国際特許分類】

   G01S 3/803 20060101AFI20240409BHJP

   G10L 25/51 20130101ALI20240409BHJP

   H04R 3/00 20060101ALI20240409BHJP

   H04R 1/40 20060101ALI20240409BHJP

【ＦＩ】

G01S3/803

G10L25/51 400

H04R3/00 320

H04R1/40 320Z

【請求項の数】 7

(21)【出願番号】P 2021515869

(86)(22)【出願日】2020-03-16

(86)【国際出願番号】 JP2020011534

(87)【国際公開番号】W WO2020217781

(87)【国際公開日】2020-10-29

【審査請求日】2022-12-23

(31)【優先権主張番号】P 2019082998

(32)【優先日】2019-04-24

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】514136668

【氏名又は名称】パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ

【氏名又は名称原語表記】Ｐａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】110002952

【氏名又は名称】弁理士法人鷲田国際特許事務所

(72)【発明者】

【氏名】マース ロヒス

(72)【発明者】

【氏名】ナギセティ スリカンス

(72)【発明者】

【氏名】リム チョンスン

(72)【発明者】

【氏名】江原 宏幸

(72)【発明者】

【氏名】川村 明久

【審査官】安井 英己

(56)【参考文献】

【文献】特表２０１５－５０２７１６（ＪＰ，Ａ）

【文献】国際公開第２０１９／０６８６３８（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１０／０３１５９０４（ＵＳ，Ａ１）

【文献】特表２００９－５０６６８３（ＪＰ，Ａ）

【文献】特開２０１８－１４２９１７（ＪＰ，Ａ）

【文献】特開２００９－０８６０５５（ＪＰ，Ａ）

【文献】特開２０１７－０３７２６９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｓ １／７２－ １／８２，

Ｇ０１Ｓ ３／８０－ ３／８６，

Ｇ０１Ｓ ５／１８－ ５／３０，

Ｇ０１Ｓ ７／５２－ ７／６４，

Ｇ０１Ｓ １５／００－１５／９６，

Ｈ０４Ｒ １／４０， ３／００，

Ｇ１０Ｌ ２５／５１

(57)【特許請求の範囲】

【請求項1】

球状マイクロホンアレイにおいて収録された信号の時間フレームτにおける、周波数ビンｋｉの到来方向（Ｄｉｒｅｃｔｉｏｎ ｏｆ Ａｒｒｉｖａｌ，ＤｏＡ）単位ベクトルｕ（τ，ｋｉ）と、他の周波数ビンｋｊのＤｏＡ単位ベクトルｕ（τ，ｋｊ）とのユークリッド距離の総和が最小となる周波数ビンｋｉのＤｏＡ単位ベクトルｕ（τ，ｋｉ）を、前記時間フレームτにおける代表ＤｏＡ単位ベクトルu^（τ）とし、前記信号の複数の周波数成分のそれぞれについて、前記時間フレームτにおける前記代表ＤｏＡ単位ベクトルu^（τ）との角度偏差に基づいて、前記複数の周波数成分に対する周波数重み係数をそれぞれ算出する算出回路と、
前記周波数重み係数に基づいて、音源からの前記信号の到来方向を推定する推定回路と、
を具備する到来方向推定装置。

【請求項2】

前記算出回路は、前記周波数重み係数に加え、前記信号の時間フレームτに対する時間重み係数を算出し、
前記推定回路は、前記周波数重み係数と前記時間重み係数との積に基づいて、前記到来方向を推定する、
請求項１に記載の到来方向推定装置。

【請求項3】

前記時間重み係数は、各時間フレームτにおける、前記複数の周波数成分の前記ＤｏＡ単位ベクトルの平均値に基づいて算出される値を二値化した値である、
請求項２に記載の到来方向推定装置。

【請求項4】

前記算出回路は、前記周波数重み係数に基づいて、前記時間重み係数を算出する、
請求項２に記載の到来方向推定装置。

【請求項5】

前記算出回路は、前記周波数重み係数を二値化した値に基づいて、前記時間重み係数を算出する、
請求項４に記載の到来方向推定装置。

【請求項6】

音源からの信号の到来方向を推定する到来方向推定装置と、
前記到来方向へのビームフォーミングによって音響信号を抽出するビームフォーマと、
前記音響信号を符号化する符号化装置と、
前記符号化された音響信号を復号する復号装置と、
を具備し、
前記到来方向推定装置は、
球状マイクロホンアレイにおいて収録された前記信号の時間フレームτにおける、周波数ビンｋｉの到来方向（Ｄｉｒｅｃｔｉｏｎ ｏｆ Ａｒｒｉｖａｌ，ＤｏＡ）単位ベクトルｕ（τ，ｋｉ）と、他の周波数ビンｋｊのＤｏＡ単位ベクトルｕ（τ，ｋｊ）とのユークリッド距離の総和が最小となる周波数ビンｋｉのＤｏＡ単位ベクトルｕ（τ，ｋｉ）を、前記時間フレームτにおける代表ＤｏＡ単位ベクトルu^（τ）とし、前記信号の複数の周波数成分のそれぞれについて、前記時間フレームτにおける前記代表ＤｏＡ単位ベクトルu^（τ）との角度偏差に基づいて、周波数重み係数を算出し、
前記周波数重み係数に基づいて、前記到来方向を推定する、
システム。

【請求項7】

到来方向推定装置が、
球状マイクロホンアレイにおいて収録された信号の時間フレームτにおける、周波数ビンｋｉの到来方向（Ｄｉｒｅｃｔｉｏｎ ｏｆ Ａｒｒｉｖａｌ，ＤｏＡ）単位ベクトルｕ（τ，ｋｉ）と、他の周波数ビンｋｊのＤｏＡ単位ベクトルｕ（τ，ｋｊ）とのユークリッド距離の総和が最小となる周波数ビンｋｉのＤｏＡ単位ベクトルｕ（τ，ｋｉ）を、前記時間フレームτにおける代表ＤｏＡ単位ベクトルu^（τ）とし、前記信号の複数の周波数成分のそれぞれについて、前記時間フレームτにおける代表ＤｏＡ単位ベクトルu^（τ）との角度偏差に基づいて、周波数重み係数を算出し、
前記周波数重み係数に基づいて、音源からの前記信号の到来方向を推定する、
到来方向推定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、到来方向推定装置、システム、及び、到来方向推定方法に関する。

【背景技術】

【0002】

音場は、例えば、音響キャプチャリングデバイスを用いて記録される。音響キャプチャリングデバイスは、例えば、正四面体状又は球状に音場に配置される複数の指向性マイク又は無指向性マイクから構成される。音響キャプチャリングデバイスによって収録された音響情報は、例えば、音場に存在する各音源の方向（換言すると、音波（又は、音響信号とも呼ぶ）の到来方向）の推定に用いられる。

【先行技術文献】

【非特許文献】

【0003】

【文献】S. Hafezi, A. H. Moore and P. A. Naylor, "Multiple source localization using estimation consistency in the time-frequency domain", ICASSP, pp. 516-520, Mar. 2017.

【発明の概要】

【0004】

しかしながら、音響信号の到来方向を推定する方法についての検討は十分ではない。

【0005】

本開示の非限定的な実施例は、音響信号の到来方向の推定精度を向上できる到来方向推定装置、システム、及び、到来方向推定方法の提供に資する。

【0006】

本開示の一実施例に係る到来方向推定装置は、マイクロホンアレイにおいて収録された信号の複数の周波数成分のそれぞれにおける音源の方向を示す単位ベクトル間の差分に基づいて、前記複数の周波数成分に対する周波数重み係数をそれぞれ算出する算出回路と、前記周波数重み係数に基づいて、前記音源からの前記信号の到来方向を推定する推定回路と、を具備する。

【0007】

なお、これらの包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

【0008】

本開示の一実施例によれば、音響オブジェクト音の抽出性能を向上することができる。

【0009】

本開示の一実施例における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および／または効果は、いくつかの実施形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、１つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。

【図面の簡単な説明】

【0010】

【図1】アンビソニックスマイクロホンによって複数の音場を収録する様子の一例を示す図

【図2】SMA信号を用いてPIVを推定する方法の一例を示す図

【図3】到来方向推定装置の構成例を示すブロック図

【図4】DoA単位ベクトルの一例を示す図

【図5】重み係数算出部の構成例を示すブロック図

【図6】DoA単位ベクトルの選択例を示す図

【図7】一実施の形態に係る音響信号伝送システムの構成例を示すブロック図

【図8】一実施の形態に係る音響信号伝送システムの構成例を示すブロック図

【図9】一実施の形態に係る音響信号伝送システムの他の構成例を示すブロック図

【図10】一実施の形態に係る音響信号伝送システムの他の構成例を示すブロック図

【図11】一実施の形態に係る到来方向推定装置の一部の構成例を示すブロック図

【図12】一実施の形態に係る到来方向推定装置の構成例を示すブロック図

【図13】一実施の形態に係る重み係数算出部の構成例を示すブロック図

【図14】バリエーション１に係る重み係数算出部の構成例を示すブロック図

【図15】バリエーション２に係る重み係数算出部の構成例を示すブロック図

【発明を実施するための形態】

【0011】

以下、本開示の実施の形態について図面を参照して詳細に説明する。

【0012】

例えば、音場に対応するアンビソニックス信号は、B-フォーマットのマイクから直接的に、又は、A-フォーマットのマイクから間接的に得られる。また、この音場は、例えば、１次のアンビソニックス（First Order Ambisonics，FOA）で表現され得る。または、音場は、球状マイクロホンアレイ（Spherical Microphone Array，SMA）を用いて得られる信号から高次アンビソニックス（Higher Order Ambisonics，HOA）で表現され得る。

【0013】

HOAで表現されるアンビソニックス信号（以下、HOA信号とも呼ぶ）を用いるアプリケーションの一つとして、音場に存在する複数の音源から届く音波（例えば、音響信号、音声信号又は音声音響信号とも呼ぶ）の到来方向（Direction of Arrival，DoA）推定（換言すると、音場方向の推定）がある。

【0014】

音響信号のDoA推定は、例えば、ロボット又は監視システムにおいて、音源の探知又は追尾に適用できる。また、音響信号のDoA推定は、例えば、音響ビームフォーマ又は音響コーデックの前処理に適用できる。また、音源のDoA推定は、協調ブラインド音源分離（例えば、Collaborative Blind Source Separation，CBSS）を用いた音場ナビゲーションシステムのような6DoF（Degrees of Freedom）アプリケーションの前処理にも適用できる。

【0015】

以下、一例として、SMAを用いてDoA推定を行う方法について説明する。

【0016】

まず、SMAにおいて収録された信号（例えば、マイク入力信号と呼ぶ）は、例えば、フーリエ変換（例えば、Fast Fourier Transform，FFT）を用いて、時間領域から周波数領域に変換される。そして、変換後のマイク入力信号は、さらに、球面調和関数変換（Spherical Harmonic Transform，SHT）を用いて球面調和係数（Spherical Harmonic Coefficients，SHC）又はHOA信号に変換される。

【0017】

一般に、室内反響、背景雑音又はマイクの加法性雑音があるため、DoA推定の困難度は、音源の数が多いほど高くなる。また、例えば、複数の音源が同時にアクティブになり、信号が重なり合ったり、複数の音源が互いに接近した位置にあったりすると、DoA推定の困難度は更に高くなる。

【0018】

図１は、アンビソニックスマイクロホンMによって、音源S₁～S_nを含む音場からの信号を収録する様子の一例を示す模式図である。図１において、アンビソニックスマイクロホンMは、例えば、Q個のマイクが表面に配置されている。図１は、各音源S₁～S_nからアンビソニックスマイクロホンMへの直接波、及び、反射波の経路の一例を示す。

【0019】

SMAを用いたDoA推定では、例えば、疑似強度ベクトル（pseudo-intensity vector，PIV）が算出（換言すると、推定）される。

【0020】

図２は、SMA信号を用いてPIVを推定する方法の一例を示す。

【0021】

図２に示すように、SMAは、時間nにおける位置r_qに対する音圧p(n,r_q)を記録する（時間nをt,τで表し，p(t,τ,r_q)と表しても良い．ここでtはフレームτ内の時間）。音圧p(n,r_q)は、短時間フーリエ変換（Short-Time Fourier Transform，STFT）によって周波数領域信号P(k,τ,r_q)に変換される。ここで、kは周波数ビン番号を示し、τは時間フレーム番号を示す。また、図２では、周波数領域信号P(k,τ,r_q)に対してSHTが行われ、アンビソニックス信号P_lm(k)（換言すると、固有ビームとも呼ばれる）が得られる。

【0022】

例えば、アンビソニックス信号P_lmの最初の４チャネルに基づいて、PIV（例えば、I(k)と表す）が計算される。例えば、B-フォーマットで収録された信号の場合、P_lmの４チャネルはW, X, Y, Zチャネルに相当する。例えば、Wチャネルは、無指向性の信号成分に相当する。また、X, Y, Zチャネルは、それぞれ、例えば、上下方向、左右方向及び前後方向の信号成分に相当する。

【0023】

また、SMAによって収録された信号の場合、PIV I(k)は、例えば、アンビソニックス信号P_lm(k)に基づいて、次式(1)を用いて算出される。

【数1】

【0024】

ここで、kは周波数ビン番号を示す。また、P₀₀ ^*(k)は、ゼロ次の固有ビームP₀₀(k)（例えば、Wチャネル）の複素共益を示す。また、P_x(k)、P_y(k)、P_z(k)は、１次の固有ビームP_1(-1)(k)、P₁₀(k)、P₁₁(k)をｘ，ｙ，ｚ軸にそれぞれ揃える（投影する）ための球面調和係数を用いた線形結合で得られる。

【0025】

音源の方向を指す単位ベクトル（又はDoA単位ベクトルとも呼ぶ）uは、例えば、次式(2)で与えられる。

【数2】

【0026】

式(2)において、関数||I(k)||は、I(k)に対するL2ノルム演算を表す。

【0027】

以上、SMAを用いてDoA推定を行う方法について説明した。

【0028】

DoA推定の精度を向上する方法に、例えば、低演算量推定調和（estimation consistency, EC）アプローチが提案されている（例えば、非特許文献１を参照）。ECアプローチでは、時間周波数ビン（例えば、時間周波数（TF）ポイントとも呼ぶ）毎に推定されるDoA単位ベクトルに対して後処理が適用される。この後処理は、例えば、一つの音源又は雑音源を特定するためのパラメータの推定処理、及び、より正確なDoA情報を有する時間周波数ポイントを特定する処理を含む。ECアプローチによれば、演算量を低減しつつ、DoA推定精度を向上できる。

【0029】

図３は、ECアプローチを用いた到来方向推定装置の構成例を示すブロック図である。

【0030】

図３に示す到来方向推定装置１において、DoA単位ベクトル推定部１０は、入力されるSMA信号（換言すると、マルチチャネルデジタル音響信号又は入力オーディオスペクトル）に基づいて、DoA単位ベクトルを推定する。SMA信号は、例えば、q個のマイクロホンで収録された音響信号m=[m₁(t), m₂(t), …, m_q(t)]から構成されてよい。以下では、時間フレームτ及び周波数ビンkにおけるDoA単位ベクトルを「u(τ, k)」と表す（又は、単に「u」と表す）。DoA単位ベクトルuは、数学的には次式(3)で表される。

【数3】

【0031】

ここで、θは方位角（azimuth）を示し、φは仰角（elevation）を示す。

【0032】

DoA単位ベクトルは、SMA信号の各時間周波数ポイント（例えば、τ及びｋ）に対して推定され、例えば、行列U（例えば、図４を参照）を形成する。図３に示す到来方向推定装置１は、例えば、DoA単位ベクトルu（又は行列U）に基づいて、以下のようにDoA推定を行う。

【0033】

重み係数算出部２０は、例えば、図５に示すように、平均DoA単位ベクトル推定部２１と、時間重み算出部２２と、周波数重み算出部２３と、乗算部２４と、を有する。

【0034】

図５において、平均DoA単位ベクトル推定部２１は、例えば、図４に示すように、各時間フレームτにおけるDoA単位ベクトルuの平均値u^(τ)を算出する。DoA単位ベクトルの平均値u^(τ)は、例えば、次式(4)で表される。

【数4】

【0035】

時間重み算出部２２は、例えば、各時間フレームτにおいて、当該時間フレームが単音源から構成されるか、複数の音源（雑音を含む）から構成されるかを特定するための時間重み係数を算出する。時間重み算出部２２は、この推定を、例えば、変動係数の計算により行う。変動係数には、例えば、平均DoA単位ベクトル推定部２１において推定される各時間フレームτにおけるDoA単位ベクトルuの平均値u^(τ)が用いられてよい。例えば、時間重み算出部２２は、平均DoA単位ベクトルu^(τ)のノルム（||u^(τ)||）に基づいて、時間フレームτが単音源から構成されるか、複数の音源から構成されるかを推定する。

【0036】

時間重み算出部２２は、例えば、次式(5)に示す時間重み係数ψ(τ)を算出する。

【数5】

【0037】

ψ(τ)は、時間フレームτが単音源から構成されるか、複数の音源又は雑音から構成されるかを表す。例えば、ψ(τ)が１に近いほど、時間フレームτでは単音源が存在する可能性が高いことを表し、ψ(τ)が０に近いほど、時間フレームτでは複数音源又は雑音が存在する可能性が高いことを表す。

【0038】

周波数重み算出部２３は、DoA推定において本来のDoA（換言すると、正確なDoA）の推定に寄与する周波数ポイントを特定するための周波数重み係数を算出する。例えば、周波数重み算出部２３は、時間フレームτの平均DoA単位ベクトルu^(τ)に基づいて、角度偏差（換言すると、角度距離）に基づいて、周波数重み係数λ(τ, k)を算出する。周波数重み係数λ(τ, k)は、例えば、次式(6)によって算出される。

【数6】

【0039】

ここで、cos^-1(u(τ, k)^Tu^(τ)/||u(τ, k)||||u^(τ)||)は、角度偏差のラジアン表記である。周波数重み係数λ(τ, k)は、角度偏差が小さいほど、高くなる。換言すると、式(6)では、周波数重み係数λ(τ, k)は、対応するDoA単位ベクトルu(τ, k)が平均DoA単位ベクトルu^(τ)に近いほど、１に近い値となり、対応するDoA単位ベクトルu(τ, k)が平均DoA単位ベクトルu^(τ)から遠いほど、０に近い値となる。

【0040】

乗算部２４は、例えば、次式(7)に示すように、ψ(τ, k)とλ(τ, k)との積によって重み係数w(τ, k)を推定する。

【数7】

【0041】

ここで、＊は乗算を表す。

【0042】

例えば、単音源の時間フレームτにおいて、平均DoA単位ベクトルに近いDoA単位ベクトルを有する周波数成分ｋに対して、より高い重み係数w(τ, k)が与えられる。また、例えば、各時間フレームにおいて１つの音源が存在する場合（又はアクティブである場合）を想定する場合に、ψ(τ)が１に近い時間フレームτに対して、より高い重み係数w(τ, k)が与えられる。一方、ψ(τ)が０に近い時間フレームτに対しては、反響音又は雑音が存在する可能性が高いため、より低い重み係数w(τ, k)が与えられる。

【0043】

図３において、選択部３０は、重み係数w(τ, k)に基づいて、DoA単位ベクトルu(τ, k)の中から、単音源である可能性が高く、より正確と推測される時間周波数ポイントのDoA単位ベクトルu(τ, k)を選択する。

【0044】

例えば、図６に示すように、選択部３０は、各時間周波数ポイント（換言すると、τ及びｋの組み合わせ）にそれぞれ対応する重み係数w(τ, k)の中で、上位P%の重み係数に対応するDoA単位ベクトルu(τ, k)を選択する。選択されたDoA単位ベクトルu(τ, k)を要素とする行列は、図６に示す「行列U^'」である。なお、Pの値は、例えば、経験的に選定されてもよい。

【0045】

図３において、クラスタリング部４０は、例えば、音源数Nに関する情報に基づいて、選択されたDoA単位ベクトルu(τ, k)から成る行列U^'をクラスタリングし、各クラスタのセントロイドを各音源に対応するDoAとして出力する。

【0046】

以上、ECアプローチを用いた到来方向推定装置の一例について説明した。

【0047】

このように、図３に示す到来方向推定装置１では、平均DoA単位ベクトルu^(τ)に対応する方向を時間フレームτにおける音源の方向（音響信号のDoA）と仮定している。例えば、到来方向推定装置１は、観測対象の範囲にある全ての時間周波数ポイントにおけるDoA単位ベクトルuと、各時間フレームの平均DoA単位ベクトルu^との角度偏差を用いて、各時間周波数ポイントにおけるDoA単位ベクトルに対応するDoAの確からしさを重み係数として計算する。

【0048】

しかしながら、平均DoA単位ベクトルには、目標としない音源、周囲雑音又は反響音等（換言すると、Outlier）の影響を受けたDoA単位ベクトルも含まれ得る。このため、計算された平均DoA単位ベクトルには、目標としない音源、周囲雑音又は反響音の成分がバイアスとして含まれ得る。よって、図３に示す到来方向推定装置１では、目標としない音源又は雑音成分によってDoAの推定精度が低下する可能性がある。

【0049】

また、例えば、音声の母音のような調波構造を有する音の場合、信号成分がハーモニクスのピーク部分に集中し、スペクトルの谷間の部分が背景雑音に埋もれる場合がある。このような場合、平均DoA単位ベクトルは、本来のDoA単位ベクトルの特徴が雑音成分等によって希薄化され得る。このように、到来方向推定装置１は、目標としない音源、周囲雑音又は反響音等に対してロバストなDoA推定を行えない可能性がある。

【0050】

また、例えば、互いに近接した音源が存在する場合、目標としない音源又は雑音成分が存在しない場合でも、平均DoA単位ベクトルは、これらの近接した音源の方向に対応するDoA単位ベクトルの平均値（換言すると、何れの音源の方向にも相当しない方向）となるので、到来方向推定装置１では、DoAの推定精度が低下する可能性がある。

【0051】

そこで、本開示の一実施例では、音源に対応するDoAの推定精度を向上する方法について説明する。

【0052】

［システムの概要］
図７は、本実施の形態に係るシステム（例えば、音響信号伝送システム）の構成例を示す。

【0053】

図７に示す音響信号伝送システムは、例えば、到来方向推定装置１００と、ビームフォーマ２００と、符号化装置３００と、復号装置４００と、を備える。

【0054】

図７に示す音響信号伝送システムにおいて、図示しない球状マイクロホンアレイ（SMA）からSMA信号が到来方向推定装置１００及びビームフォーマ２００に入力される。

【0055】

到来方向推定装置１００は、SMA信号に基づいて、音源からの信号（例えば、音響信号）の到来方向（DoA）を推定し、推定したDoAに関するDoA情報をビームフォーマ２００に出力する。なお、到来方向推定装置１００における動作例については後述する。

【0056】

ビームフォーマ２００は、到来方向推定装置１００から入力されるDoA情報、及び、SMA信号に基づいて、DoAへのビームを形成するビームフォーミング処理を行う。ビームフォーマ２００は、DoAへのビームフォーミング処理によって、目標とする音響信号を抽出し、抽出した音響信号を符号化装置３００へ出力する。ビームフォーマ２００の構成方法及びビームフォーミング処理は、種々の方法を利用できる。

【0057】

符号化装置３００は、ビームフォーマ２００から入力される音響信号を符号化し、符号化情報を、例えば、伝送路又は記憶媒体等を介して、復号装置４００に送出する。例えば、符号化装置３００は、Moving Picture Experts Group（MPEG）、3rd Generation Partnership Project（3GPP）又はInternational Telecommunication Union Telecommunication Standardization Sector（ITU-T）等で規格化されている種々の音声音響コーデック（エンコーダ）を用いてもよい。

【0058】

復号装置４００は、例えば、伝送路又は記憶媒体等を介して、符号化装置３００から受け取った符号化情報（換言すると、音響信号）を復号して電気信号に変換する。復号装置４００は、例えば、電気信号を、スピーカ又はヘッドホンを介して音波として出力する。なお、復号装置４００は、例えば、前述した音声音響コーデックに対応するデコーダを用いてもよい。

【0059】

なお、音響信号伝送システムは、図７に示す構成に限定されない。例えば、音源が複数存在する場合、DoA情報は、メタデータとして音響信号とセットで扱うことにより、音響オブジェクトとして扱うことも可能である。

【0060】

図８は、この場合の音響信号伝送システムの構成例を示す。図８に示す音響信号伝送システムは、図７の構成に加え、メタデータ符号化装置５００、多重化部６００、逆多重化部７００、メタデータ復号装置８００及びレンダラ（renderer）９００を備える。

【0061】

図８において、符号化側では、メタデータ符号化装置５００は、DoA情報をメタデータとして符号化し、多重化部６００は、メタデータ符号化情報と、音響信号符号化情報とを多重化する。また、図８において、復号側では、逆多重化部７００は、受信した多重化情報を逆多重化（多重化分離）して、音響信号符号化情報とメタデータ符号化情報とに分離する。メタデータ復号装置８００は、メタデータ符号化情報を復号し、レンダラ９００は、メタデータの情報に基づいて、復号された音響信号に対するレンダリング処理を行い、立体音響信号を出力する。

【0062】

なお、図８に示す構成に限定されず、例えば、符号化装置３００は、複数の音響オブジェクトを符号化する構成でもよく、メタデータ符号化装置５００は、それら複数の音響オブジェクトに対するそれぞれのメタデータを符号化する構成でもよい。図９は、一例として、音響オブジェクトが２つの場合の音響信号伝送システムの構成例を示す。

【0063】

図９に示す送信側において、到来方向推定装置１００は、例えば、２つの音響オブジェクトの到来方向に関する情報（例えば、DoA情報）をそれぞれビームフォーマ２００－１及び２００－２に出力する。ビームフォーマ２００－１及び２００－２は、例えば、DoA情報、及び、SMA信号に基づいて、それぞれの到来方向成分の音響オブジェクト信号を抽出し、２種類の音響オブジェクト信号としてそれぞれ符号化装置３００－１及び３００－２へ出力する。符号化装置３００－１及び３００－２は、例えば、２つの音響オブジェクト信号をそれぞれ符号化し、符号化結果（例えば、音響オブジェクト信号符号化情報とも呼ぶ）を多重化部６００に出力する。また、到来方向推定装置１００から出力される２つの音響オブジェクト信号の到来方向に関する情報（例えば、DoA情報）は、それぞれメタデータ符号化装置５００－１及び５００－２へ出力される。メタデータ符号化装置５００－１及び５００－２は、例えば、DoA情報をメタデータとして符号化し、メタデータ符号化情報を多重化部６００に出力する。多重化部６００は、例えば、メタデータ符号化情報と音響オブジェクト信号符号化情報とを多重化・パケット化し、伝送路へ出力する。多重化・パケット化された情報は伝送路を介して受信側の逆多重化部７００に入力される。

【0064】

図９に示す受信側において、逆多重化部７００は、多重化・パケット化された情報を多重化分離・パケット分解し、２つの音響オブジェクト信号符号化情報と、２つのメタデータ符号化情報とに分離・分解し、２つの音響オブジェクト信号符号化情報をそれぞれ復号装置４００－１及び４００－２へ出力し、２つのメタデータ符号化情報をそれぞれメタデータ復号装置８００－１及び８００－２へ出力する。メタデータ復号装置８００－１及び８００－２は、例えば、メタデータ符号化情報を復号して、復号メタデータ情報をレンダラ９００に出力する。復号装置４００－１及び４００－２は、例えば、音響オブジェクト信号符号化情報を復号して、復号音響オブジェクト信号をレンダラ９００に出力する。レンダラ９００は、例えば、復号メタデータ情報に基づいて、復号音響オブジェクト信号のレンダリング処理を行い、所望のチャネル数の立体音響信号（換言すると、出力信号）を出力する。

【0065】

なお、図９では、一例として、２種類の音響オブジェクトを符号化する構成を示したが、符号化対象の音響オブジェクト信号は、２種類に限定されず、３種類以上の音響オブジェクトを符号化する構成でもよい。また、図９では、一例として、音響オブジェクト信号が１つずつ別々に符号化及び復号される例を示したが、これに限定されず、例えば、複数の音響オブジェクト信号をまとめてマルチチャネル信号として符号化及び復号する構成でもよい。

【0066】

また、図１０は、図９の構成において、複数の音響オブジェクト信号をダウンミックスしたモノラル信号の符号化ビットストリームを埋め込んだビットストリームを出力可能なモノラルビットストリームエンベデッド構成のスケーラブル符号化装置の一例を示す。

【0067】

例えば、図１０に示す符号化装置３００－２において、複数の音響オブジェクトのうち、１つの音響オブジェクトは、加算部１０００において他の音響オブジェクトを足し合わせた（すなわち、ダウンミックスした）モノラル音響信号として符号化されてよい。また、例えば、減算部１１００において、図１０に示す復号装置４００－２において復号されたダウンミックスモノラル音響信号から、復号装置４００－１において復号された他の復号音響オブジェクト信号を減算することにより、ダウンミックス前の音響オブジェクト信号の復号信号を得てよい。

【0068】

このような構成により、例えば、ダウンミックスモノラル音響信号を符号化した符号化装置３００－２に対応する復号装置４００－２を搭載した受信器であれば、ダウンミックスモノラル音響信号の符号化データ部分のみを取り出して復号することにより、トランスコーディング（換言すると、タンデムコーディング）無しにダウンミックスモノラル音響信号の復号が可能となる。

【0069】

なお、複数の音響オブジェクト信号のうち、ダウンミックスモノラル音響信号として送信される音響オブジェクト信号の選択方法は、例えば、全ての音響オブジェクト信号の中で最も信号レベルが高い音響オブジェクト信号を選択する方法でもよい。この選択方法により、他の音響オブジェクト信号の符号化誤差（例えば、復号信号に残留する他の音響オブジェクト信号の成分）と送信したい音響オブジェクト信号の信号レベルとの相対比を小さく抑える（換言すると、送信したい音響オブジェクト信号成分の比を最大化する）ことが可能である。

【0070】

［到来方向推定装置の構成例］
次に、図７又は図８に示す到来方向推定装置１００の構成例について説明する。

【0071】

図１１は、本実施の形態に係る到来方向推定装置１００の一部の構成を示すブロック図である。図１１に示す到来方向推定装置１００において、算出部（例えば、後述する図１２の重み係数算出部１０１に相当）は、マイクロホンアレイ（例えば、SMA）において収録された信号の複数の周波数成分（例えば、周波数ビン又は周波数ポイント）のそれぞれにおける音源の方向を示す単位ベクトル（例えば、DoA単位ベクトル）間の差分に基づいて、複数の周波数成分に対する周波数重み係数をそれぞれ算出する。推定部（例えば、図１２の選択部３０及びクラスタリング部４０に相当）は、周波数重み係数に基づいて、信号の到来方向を推定する。

【0072】

図１２は、本実施の形態に係る到来方向推定装置１００の構成例を示すブロック図である。

【0073】

なお、図１２において、図３に示す到来方向推定装置１と同様の構成には同一の符号を付し、その説明を省略する。例えば、図１２に示す到来方向推定装置１００では、重み係数算出部１０１の動作が、図３に示す到来方向推定装置１と異なる。

【0074】

図１３は、重み係数算出部１０１の構成例を示すブロック図である。図１３に示す重み係数算出部１０１は、例えば、平均DoA単位ベクトル推定部２１と、時間重み算出部２２と、代表DoA単位ベクトル推定部１１０と、周波数重み算出部１２０と、乗算部２４と、を備える。

【0075】

なお、図１３において、平均DoA単位ベクトル推定部２１、時間重み算出部２２、及び、乗算部２４の動作は、図５と同様の動作であるので、その説明を省略する。

【0076】

図１３において、代表DoA単位ベクトル推定部１１０は、例えば、次式(8)に従って、各時間フレームτにおける複数の周波数ビンにそれぞれ対応するDoA単位ベクトルu(τ, k)の中から、代表DoA単位ベクトルu~(τ)を推定（換言すると、選択）する。

【数8】

【0077】

式(8)では、代表DoA単位ベクトル推定部１１０は、時間フレームτにおいて、着目する周波数ビン（例えば、k_i）のDoA単位ベクトルu(τ, k_i)と、着目する周波数ビンと異なる他の周波数ビン（例えば、k_j）のDoA単位ベクトルu(τ, k_j)とのユークリッド距離（換言すると、L2-ノルム）の総和が最小となる周波数ビンk_iのDoA単位ベクトルu(τ, k_i)を、時間フレームτにおける代表DoA単位ベクトルu~(τ)とする。

【0078】

図１３において、周波数重み算出部１２０は、例えば、次式(9)に従って、周波数重み係数λ^-(τ, k)を算出する。

【数9】

【0079】

周波数重み算出部１２０は、式(9)に示すように、図５に示す周波数重み算出部２３で用いる式(6)と同様の式を用いるが、平均DoA単位ベクトルu＾(τ)を、代表DoA単位ベクトルu~(τ)に置き換える。換言すると、周波数重み算出部１２０では、代表DoA単位ベクトルu~(τ)に対応する方向を時間フレームτにおける音源の方向（音響信号のDoA）と仮定する。

【0080】

乗算部２４は、ψ(τ)とλ^-(τ, k)との積によって重み係数w^- ₁(τ, k)を推定する。

【0081】

このように、到来方向推定装置１００は、複数の周波数ビンのそれぞれにおけるDoA単位ベクトル間の差分（例えば、ユークリッド距離）に基づいて重み係数w^- ₁(τ, k)を算出し、算出した重み係数w^- ₁(τ, k)に基づいて、DoA推定を行う。

【0082】

ここで、上述したように、例えば、目標としない音源、周囲雑音又は反響音等のOutlierの影響によって、各時間フレームτにおける周波数ビンｋ毎のDoA単位ベクトルu(τ, k)は変動し得る。

【0083】

仮に、各時間フレームτにおいて単一の音源が存在する場合（換言すると、アクティブである場合）に、当該単一の音源にそれぞれ対応する多数の周波数ビンkと、雑音等に対応する少数の周波数ビンkとが含まれることを想定する。この想定において、単一の音源に対応する周波数ビンkのDoA単位ベクトル（換言すると、支配的な音源に対応するDoA単位ベクトル群）は、それぞれ同様の方向を示し得る。一方、雑音等に対応する周波数ビンkのDoA単位ベクトルは、それぞれ異なる方向（例えば、ランダムな方向又は散乱する方向）を示し得る。

【0084】

よって、この想定において、他のDoA単位ベクトルとのユークリッド距離（換言すると、差分又は誤差）が最小となる代表DoA単位ベクトルは、雑音等に対応する周波数ビンkのDoA単位ベクトルではなく、単一の音源に対応する周波数ビンkのDoA単位ベクトルの何れかである可能性が高い。換言すると、代表DoA単位ベクトルには、例えば、上述した支配的な音源に対応するDoA単位ベクトル群の中心付近に存在するDoA単位ベクトルが選択される。

【0085】

このため、代表DoA単位ベクトルは、複数の周波数ビンkに対応するDoA単位ベクトルのうち、本来の音源の方向により近いベクトルである可能性が高い。換言すると、代表DoA単位ベクトルは、Outlierの影響を受けたDoA単位ベクトルである可能性が低い。

【0086】

したがって、到来方向推定装置１００は、目標としない音源、周囲雑音又は反響音等が存在する場合でも、これらの成分がバイアスとして含まれない代表DoA単位ベクトルに基づく重み係数に基づいてDoAを推定できる。換言すると、到来方向推定装置１００は、周囲雑音又は反響音等に対応するDoA単位ベクトルに対する重み係数を低く設定し、当該DoA単位ベクトルを、DoA推定（換言すると、選択又はクラスタリング処理）に用いない。よって、到来方向推定装置１００は、目標としない音源、周囲雑音又は反響音等に対してロバストなDoA推定が可能となり、DoAの推定精度を向上できる。

【0087】

また、例えば、音声の母音のような調波構造を有する音の場合、上述したように、信号成分がハーモニクスのピーク部分に集中し、スペクトルの谷間の部分が背景雑音に埋もれる場合がある。このような場合でも、代表DoA単位ベクトルは、雑音成分等の影響を受けにくいので、到来方向推定装置１００は、目標としない音源、周囲雑音又は反響音等に対してロバストなDoA推定が可能となる。

【0088】

また、例えば、互いに近接した音源が存在する場合、例えば、上述した平均DoA単位ベクトルに基づくDoA推定（例えば、図３を参照）では、これらの音源の方向の間（例えば、中間）の方向を誤って推定する可能性がある。これに対して、本実施の形態では、到来方向推定装置１００は、近接した音源のいずれか一つの方向に対応するDoA単位ベクトルを代表DoA単位ベクトルに設定することで、DoAの推定精度を向上できる。

【0089】

換言すると、到来方向推定装置１００は、複数の音源が存在するフレームでも、複数の音源のうち支配的な音源に対応するDoA単位ベクトル群（例えば、DoA単位ベクトル数がより多い群）の中心付近に存在するDoA単位ベクトルを代表DoA単位ベクトルに設定すればよい。これにより、到来方向推定装置１００は、複数の音源のうち、代表DoA単位ベクトルに対応する音源と異なる音源のDoA単位ベクトルの影響を低減して、代表DoA単位ベクトルに対応する音源に対してDoA推定を行うことができる。

【0090】

また、本実施の形態によれば、例えば、音源間の間隔に関する事前情報を必要としない。

【0091】

なお、式(8)では、代表DoA単位ベクトルが、他の周波数ビンのDoA単位ベクトルとのユークリッド距離の総和が最小となる周波数ビンのDoA単位ベクトルである場合について説明した。しかし、代表DoA単位ベクトルの決定方法は、これに限定されない。例えば、代表DoA単位ベクトルは、他の周波数ビンのDoA単位ベクトルとのユークリッド距離の総和が閾値以下のDoA単位ベクトルの中から選択されてもよい。

【0092】

（バリエーション１）
バリエーション１では、時間重み係数は、各時間フレーム（換言すると、時間成分）τにおける、複数の周波数ビン（換言すると、周波数成分）のDoA単位ベクトルの平均値（例えば、平均DoA単位ベクトル）に基づいて算出される値を二値化した値（例えば、０又は１）である。

【0093】

図１４は、バリエーション１に係る重み係数算出部１０１ａの構成例を示すブロック図である。

【0094】

なお、図１４において、図１３と同様の構成には同一の符号を付し、その説明を省略する。例えば、図１４では、時間重み二値化部１３０を備える点が図１３と異なる。

【0095】

時間重み二値化部１３０は、時間重み算出部２２から入力される時間重み係数ψ(τ)を、例えば、大きい値のクラスタ（換言すると、分類又はグループ）、及び、小さい値のクラスタの何れに属するかを判定（換言するとクラスタリング）する。例えば、時間重み二値化部１３０は、大きい値のクラスタに属する時間重み係数ψ^-(τ)=１に設定し、小さい値のクラスタに属する時間重み係数ψ^-(τ)=０に設定する。時間重み二値化部１３０は、時間重み係数ψ^-(τ)を乗算部２４へ出力する。

【0096】

例えば、時間重み二値化部１３０は、時間重み係数ψ(τ)を、閾値以上のクラスタ（時間重み係数ψ^-(τ)=１）と、閾値未満のクラスタ（時間重み係数ψ^-(τ)=０）とに分類してもよい。

【0097】

なお、閾値は、例えば、事前に設定されてもよい。例えば、時間重み二値化部１３０は、複数の時間フレームにおいて求められた時間重み係数ψ(τ)を含むデータベースに基づいて、K-means法又はFuzzy c-means法等に従って時間重み係数を２つのクラスタにクラスタリングしてよい。そして、時間重み二値化部１３０は、２つのクラスタのセントロイドの平均値（又は、中間点）を閾値に設定してもよい。

【0098】

図１４において、乗算部２４は、ψ^-(τ)とλ^-(τ, k)との積によって重み係数w^- ₂(τ, k)を推定する。

【0099】

バリエーション１によれば、重み係数算出部１０１ａは、例えば、閾値以上の時間重み係数ψ(τ)に対応する時間フレームτ、つまり、単音源が存在する可能性がより高い時間フレームτのDoA単位ベクトルに基づいて重み係数w^- ₂(τ, k)を算出する。換言すると、重み係数算出部１０１ａは、単音源が存在する可能性（換言すると、正しいDoAに対応する可能性）がより高い時間フレームτに対する時間重み係数をより強調して算出する。

【0100】

これにより、到来方向推定装置１００は、例えば、目標としない音源、周囲雑音又は反響音等が含まれる可能性が低い時間フレームτにおけるDoA単位ベクトルに基づいて、DoA推定を行うことが可能となり、DoAの推定精度を向上できる。

【0101】

また、バリエーション１によれば、音源（換言すると、単音源）が存在する可能性の高い時間フレームτの時間重み係数を、単音源が存在する可能性の低い時間フレームτの時間重み係数と比較して強調する。これにより、到来方向推定装置１００は、例えば、単音源が存在する可能性（換言すると、正しいDoAに対応する可能性）の高い時間フレームτにおけるDoAの推定結果に基づく重み係数w^- ₂(τ, k)を推定できる。換言すると、重み係数w^- ₂(τ, k)の推定において、単音源が存在する可能性（換言すると、正しいDoAに対応する可能性）の低い時間フレームτにおけるDoAの推定結果の影響を低減できる。よって、例えば、互いに近接した音源が存在する場合でも、到来方向推定装置１００は、これらの近接した音源のそれぞれがアクティブである各時間フレームτにおいて、各音源の方向に対応するDoA単位ベクトルを代表DoA単位ベクトルに設定しやすくなり、DoAの推定精度を向上できる。

【0102】

（バリエーション２）
図１５は、バリエーション１に係る重み係数算出部１０１ｂの構成例を示すブロック図である。

【0103】

なお、図１５において、図１３と同様の構成には同一の符号を付し、その説明を省略する。例えば、図１５では、図１３と比較して、平均DoA単位ベクトル推定部２１を備えず、時間重み算出部２２の代わりに、時間重み算出部１４０を備える。

【0104】

図１５において、時間重み算出部１４０は、周波数重み算出部１２０から入力される周波数重み係数λ^-(τ, k)に基づいて、時間重み係数ψ⁼(τ)を算出する。例えば、時間重み算出部１４０は、次式(10)に従って、時間重み係数ψ⁼(τ)を算出する。

【数10】

【0105】

式(10)に示すように、時間重み係数ψ⁼(τ)は、時間フレームτにおける周波数重み係数λ^-(τ, k)の平均値である。

【0106】

ここで、各時間フレームτ及び各周波数ビンkにおける周波数重み係数λ^-(τ, k)は、例えば、対応するDoA単位ベクトルu(τ, k)と、代表DoA単位ベクトルu~(τ, k)との離れ具合に応じて決定される。例えば、DoA単位ベクトルu(τ, k)と代表DoA単位ベクトルu~(τ, k)とが離れるほど、周波数重み係数λ^-(τ, k)は小さくなる。

【0107】

よって、各時間フレームτにおいて、代表DoA単位ベクトルu~(τ, k)から離れている単位ベクトルu(τ, k)を有する周波数ビンが多いほど、代表DoA単位ベクトルの方向と異なる方向に音源が存在していることを意味し、周波数重み係数λ^-(τ, k)の平均値（換言すると、ψ⁼(τ)）も小さくなる。一方、各時間フレームτにおいて、代表DoA単位ベクトルu~(τ, k)と近い単位ベクトルu(τ, k)を有する周波数ビンが多いほど、代表DoA単位ベクトルの方向に音源が存在していることを意味し、周波数重み係数λ^-(τ, k)の平均値（換言すると、ψ⁼(τ)）も高くなる。

【0108】

よって、周波数重み係数λ^-(τ, k)の平均値が小さいほど、時間重み係数ψ⁼(τ)は、音源が２つ以上ある可能性を示す指標となる。換言すると、周波数重み係数λ^-(τ, k)の平均値が大きいほど、時間重み係数ψ⁼(τ)は、単音源である可能性を示す指標となる。

【0109】

このように、バリエーション２によれば、重み係数算出部１０１ｂは、例えば、時間重み係数ψ⁼(τ)がより高い時間フレームτ、すなわち、単音源が存在する可能性がより高い時間フレームτのDoA単位ベクトルに基づいて重み係数を算出する。これにより、到来方向推定装置１００は、例えば、目標としない音源、周囲雑音又は反響音等が含まれる可能性が低い時間フレームτにおけるDoA単位ベクトルに基づいて、DoA推定を行うことが可能となり、DoAの推定精度を向上できる。

【0110】

なお、時間重み係数が単音源及び複数の音源の何れかを示す指標である場合、音源がマイクロホンからどれだけ離れているかは無関係となる。このため、時間重み算出部１４０は、例えば、次式(11)に従って、時間重み係数ψ⁼(τ)を算出してもよい。

【数11】

【0111】

ここで、Thは、単一音源として許容するλの範囲を規定する閾値を示す。換言すると、時間重み算出部１４０は、周波数重み係数λ^-(τ, k)を二値化した値（0又は1の何れか）に基づいて、時間重み係数を算出してもよい。

【0112】

これにより、重み係数算出部１０１ｂは、単音源が存在する可能性（換言すると、正しいDoAに対応する可能性）がより高い時間フレームτに対する時間重み係数ψ⁼(τ)をより強調して算出でき、DoAの推定精度を向上できる。

【0113】

（バリエーション３）
上記実施の形態及びバリエーション１、２では、代表DoA単位ベクトルの算出にユークリッド距離を用いる場合について説明した。しかし、代表DoA単位ベクトルの算出には、ユークリッド距離の他のパラメータが用いられてもよい。例えば、代表DoA単位ベクトルの算出には、次式(12)に示す角度距離が用いられてもよい。

【数12】

【0114】

以上、本開示の実施の形態について説明した。

【0115】

なお、本開示はソフトウェア、ハードウェア、又は、ハードウェアと連携したソフトウェアで実現することが可能である。上記実施の形態の説明に用いた各機能ブロックは、部分的に又は全体的に、集積回路であるＬＳＩとして実現され、上記実施の形態で説明した各プロセスは、部分的に又は全体的に、一つのＬＳＩ又はＬＳＩの組み合わせによって制御されてもよい。ＬＳＩは個々のチップから構成されてもよいし、機能ブロックの一部または全てを含むように一つのチップから構成されてもよい。ＬＳＩはデータの入力と出力を備えてもよい。ＬＳＩは、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。集積回路化の手法はＬＳＩに限るものではなく、専用回路、汎用プロセッサ又は専用プロセッサで実現してもよい。また、ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。本開示は、デジタル処理又はアナログ処理として実現されてもよい。さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

【0116】

本開示は、通信機能を持つあらゆる種類の装置、デバイス、システム（通信装置と総称）において実施可能である。通信装置は無線送受信機（トランシーバー）と処理／制御回路を含んでもよい。無線送受信機は受信部と送信部、またはそれらを機能として、含んでもよい。無線送受信機（送信部、受信部）は、ＲＦ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ）モジュールと１または複数のアンテナを含んでもよい。ＲＦモジュールは、増幅器、ＲＦ変調器／復調器、またはそれらに類するものを含んでもよい。通信装置の、非限定的な例としては、電話機（携帯電話、スマートフォン等）、タブレット、パーソナル・コンピューター（ＰＣ）（ラップトップ、デスクトップ、ノートブック等）、カメラ（デジタル・スチル／ビデオ・カメラ等）、デジタル・プレーヤー（デジタル・オーディオ／ビデオ・プレーヤー等）、着用可能なデバイス（ウェアラブル・カメラ、スマートウオッチ、トラッキングデバイス等）、ゲーム・コンソール、デジタル・ブック・リーダー、テレヘルス・テレメディシン（遠隔ヘルスケア・メディシン処方）デバイス、通信機能付きの乗り物又は移動輸送機関（自動車、飛行機、船等）、及び上述の各種装置の組み合わせがあげられる。

【0117】

通信装置は、持ち運び可能又は移動可能なものに限定されず、持ち運びできない又は固定されている、あらゆる種類の装置、デバイス、システム、例えば、スマート・ホーム・デバイス（家電機器、照明機器、スマートメーター又は計測機器、コントロール・パネル等）、自動販売機、その他ＩｏＴ（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ）ネットワーク上に存在し得るあらゆる「モノ（Things）」をも含む。

【0118】

通信には、セルラーシステム、無線ＬＡＮシステム、通信衛星システム等によるデータ通信に加え、これらの組み合わせによるデータ通信も含まれる。

【0119】

また、通信装置には、本開示に記載される通信機能を実行する通信デバイスに接続又は連結される、コントローラやセンサー等のデバイスも含まれる。例えば、通信装置の通信機能を実行する通信デバイスが使用する制御信号やデータ信号を生成するような、コントローラやセンサーが含まれる。

【0120】

また、通信装置には、上記の非限定的な各種装置と通信を行う、あるいはこれら各種装置を制御する、インフラストラクチャ設備、例えば、基地局、アクセスポイント、その他あらゆる装置、デバイス、システムが含まれる。

【0121】

本開示の一実施例に係る到来方向推定装置は、マイクロホンアレイにおいて収録された信号の複数の周波数成分のそれぞれにおける音源の方向を示す単位ベクトル間の差分に基づいて、前記複数の周波数成分に対する周波数重み係数をそれぞれ算出する算出回路と、前記周波数重み係数に基づいて、前記音源からの前記信号の到来方向を推定する推定回路と、を具備する。

【0122】

本開示の一実施例において、前記算出回路は、前記複数の周波数成分の前記単位ベクトルのうち、他の周波数成分の単位ベクトルとの差分が最小の単位ベクトルに基づいて、前記周波数重み係数を算出する。

【0123】

本開示の一実施例において、前記差分は、前記単位ベクトル間のユークリッド距離及び角度距離の少なくとも一つである。

【0124】

本開示の一実施例において、前記算出回路は、前記周波数重み係数に加え、前記信号の時間成分に対する時間重み係数を算出し、前記推定回路は、前記周波数重み係数と前記時間重み係数との積に基づいて、前記到来方向を推定する。

【0125】

本開示の一実施例において、前記時間重み係数は、各時間成分における、前記複数の周波数成分の前記単位ベクトルの平均値に基づいて算出される値を二値化した値である。

【0126】

本開示の一実施例において、前記算出回路は、前記周波数重み係数に基づいて、前記時間重み係数を算出する。

【0127】

本開示の一実施例において、前記算出回路は、前記周波数重み係数を二値化した値に基づいて、前記時間重み係数を算出する。

【0128】

本開示の一実施例に係るシステムは、音源からの信号の到来方向を推定する到来方向推定装置と、前記到来方向へのビームフォーミングによって音響信号を抽出するビームフォーマと、前記音響信号を符号化する符号化装置と、前記符号化された音響信号を復号する復号装置と、を具備し、前記到来方向推定装置は、マイクロホンアレイにおいて収録された前記信号の複数の周波数成分のそれぞれにおける音源の方向を示す単位ベクトル間の差分に基づいて、前記複数の周波数成分に対する周波数重み係数をそれぞれ算出し、前記周波数重み係数に基づいて、前記到来方向を推定する。

【0129】

本開示の一実施例に係る到来方向推定方法は、到来方向推定装置が、マイクロホンアレイにおいて収録された信号の複数の周波数成分のそれぞれにおける音源の方向を示す単位ベクトル間の差分に基づいて、前記複数の周波数成分に対する周波数重み係数をそれぞれ算出し、前記周波数重み係数に基づいて、前記音源からの前記信号の到来方向を推定する。

【0130】

２０１９年４月２４日出願の特願２０１９－０８２９９８の日本出願に含まれる明細書図面および要約書の開示内容は、すべて本願に援用される。

【産業上の利用可能性】

【0131】

本開示の一実施例は、音響信号伝送システム等に有用である。

【符号の説明】

【0132】

１，１００ 到来方向推定装置
１０ DoA単位ベクトル推定部
２０，１０１，１０１ａ，１０１ｂ 重み係数算出部
２１ 平均DoA単位ベクトル推定部
２２，１４０ 時間重み算出部
２３，１２０ 周波数重み算出部
２４ 乗算部
３０ 選択部
４０ クラスタリング部
１１０ 代表DoA単位ベクトル推定部
１３０ 時間重み二値化部
２００，２００－１，２００－２ ビームフォーマ
３００，３００－１，３００－２ 符号化装置
４００，４００－１，４００－２ 復号装置
５００，５００－１，５００－２ メタデータ符号化装置
６００ 多重化部
７００ 逆多重化部
８００，８００－１，８００－２ メタデータ復号装置
９００ レンダラ
１０００ 加算部
１１００ 減算部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】