(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023054780
(43)【公開日】2023-04-14
(54)【発明の名称】空間オーディオキャプチャ
(51)【国際特許分類】
H04S 1/00 20060101AFI20230407BHJP
G10L 25/51 20130101ALI20230407BHJP
【ＦＩ】
H04S1/00 200
G10L25/51 400
【審査請求】有
【請求項の数】20
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2022159375
(22)【出願日】2022-10-03
(31)【優先権主張番号】2114186.6
(32)【優先日】2021-10-04
(33)【優先権主張国・地域又は機関】GB
(71)【出願人】
【識別番号】515076873
【氏名又は名称】ノキア テクノロジーズ オサケユイチア
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100092624
【弁理士】
【氏名又は名称】鶴田 準一
(74)【代理人】
【識別番号】100141162
【弁理士】
【氏名又は名称】森 啓
(72)【発明者】
【氏名】ミッコ タピオ タンミ
(72)【発明者】
【氏名】トニ ヘンリク マキネン
(72)【発明者】
【氏名】ミッコ－ビッレ ライティネン
【テーマコード（参考）】
5D162
【Ｆターム（参考）】
5D162AA07
5D162BA07
5D162CA21
5D162CD11
5D162DA02
5D162EG02
(57)【要約】
【課題】本願発明の実施形態は、従来技術に関連する問題を解決することを目的とする。
【解決手段】それぞれの２つ以上のマイクから２つ以上のオーディオ信号を取得することと、２つ以上のオーディオ信号の１つ以上の周波数帯域において、２つ以上のオーディオ信号の処理に基づいて、第１音源方向パラメータを決定することであって、２つ以上のオーディオ信号の処理は、２つ以上のオーディオ信号に基づいて１つ以上の修正されたオーディオ信号を提供するようさらに構成される、決定することと、２つ以上のオーディオ信号の１つ以上の周波数帯域において、１つ以上の修正されたオーディオ信号に少なくとも部分的に少なくとも基づいて、少なくとも第２音源方向パラメータを決定することと、を行うように構成されている手段を備える、装置。
【選択図】図６
【解決手段】それぞれの２つ以上のマイクから２つ以上のオーディオ信号を取得することと、２つ以上のオーディオ信号の１つ以上の周波数帯域において、２つ以上のオーディオ信号の処理に基づいて、第１音源方向パラメータを決定することであって、２つ以上のオーディオ信号の処理は、２つ以上のオーディオ信号に基づいて１つ以上の修正されたオーディオ信号を提供するようさらに構成される、決定することと、２つ以上のオーディオ信号の１つ以上の周波数帯域において、１つ以上の修正されたオーディオ信号に少なくとも部分的に少なくとも基づいて、少なくとも第２音源方向パラメータを決定することと、を行うように構成されている手段を備える、装置。
【選択図】図６
【特許請求の範囲】
【請求項1】
それぞれの２つ以上のマイクから、２つ以上のオーディオ信号を取得することと、
前記２つ以上のオーディオ信号の１つ以上の周波数帯域において、前記２つ以上のオーディオ信号の処理に基づいて、第１音源方向パラメータを決定することであって、前記２つ以上のオーディオ信号を処理することは、前記２つ以上のオーディオ信号に基づいて、１つ以上の修正されたオーディオ信号を提供するようにさらに構成される、決定することと、
前記２つ以上のオーディオ信号の前記１つ以上の周波数帯域において、前記１つ以上の修正されたオーディオ信号に少なくとも部分的に少なくとも基づいて、少なくとも第２音源方向パラメータを決定することと、
を行うように構成された手段を含む装置。
前記２つ以上のオーディオ信号の１つ以上の周波数帯域において、前記２つ以上のオーディオ信号の処理に基づいて、第１音源方向パラメータを決定することであって、前記２つ以上のオーディオ信号を処理することは、前記２つ以上のオーディオ信号に基づいて、１つ以上の修正されたオーディオ信号を提供するようにさらに構成される、決定することと、
前記２つ以上のオーディオ信号の前記１つ以上の周波数帯域において、前記１つ以上の修正されたオーディオ信号に少なくとも部分的に少なくとも基づいて、少なくとも第２音源方向パラメータを決定することと、
を行うように構成された手段を含む装置。
【請求項2】
前記２つ以上のオーディオ信号に基づいて、１つ以上の修正されたオーディオ信号を提供するように構成された前記手段が、さらに、
前記第１音源方向パラメータによって定義される第１音源の投射で前記２つ以上のオーディオ信号を修正することに基づいて、修正された２つ以上のオーディオ信号を生成するように構成され、
前記２つ以上のオーディオ信号の前記１つ以上の周波数帯域において、前記１つ以上の修正されたオーディオ信号に少なくとも部分的に少なくとも基づいて、少なくとも第２音源方向パラメータを決定するように構成された手段は、前記２つ以上のオーディオ信号の前記１つ以上の周波数帯域において、前記修正された２つ以上のオーディオ信号を処理することによって、少なくとも前記第２音源方向パラメータを決定する、
請求項１に記載の装置。
前記第１音源方向パラメータによって定義される第１音源の投射で前記２つ以上のオーディオ信号を修正することに基づいて、修正された２つ以上のオーディオ信号を生成するように構成され、
前記２つ以上のオーディオ信号の前記１つ以上の周波数帯域において、前記１つ以上の修正されたオーディオ信号に少なくとも部分的に少なくとも基づいて、少なくとも第２音源方向パラメータを決定するように構成された手段は、前記２つ以上のオーディオ信号の前記１つ以上の周波数帯域において、前記修正された２つ以上のオーディオ信号を処理することによって、少なくとも前記第２音源方向パラメータを決定する、
請求項１に記載の装置。
【請求項3】
前記手段は、さらに
前記２つ以上のオーディオ信号の１つ以上の周波数帯域において、前記２つ以上のオーディオ信号の前記処理に基づいて、第１音源エネルギーパラメータを決定することと、
前記１つ以上の修正されたオーディオ信号および前記第１音源エネルギーパラメータに少なくとも部分的に少なくとも基づいて、少なくとも第２音源エネルギーパラメータを決定することと、
を行うように構成される、請求項１または２に記載の装置。
前記２つ以上のオーディオ信号の１つ以上の周波数帯域において、前記２つ以上のオーディオ信号の前記処理に基づいて、第１音源エネルギーパラメータを決定することと、
前記１つ以上の修正されたオーディオ信号および前記第１音源エネルギーパラメータに少なくとも部分的に少なくとも基づいて、少なくとも第２音源エネルギーパラメータを決定することと、
を行うように構成される、請求項１または２に記載の装置。
【請求項4】
前記第１および第２音源エネルギーパラメータは、直接対全エネルギー比であり、前記手段は、前記１つ以上の修正されたオーディオ信号に少なくとも部分的に少なくとも基づいて、少なくとも第２音源エネルギーパラメータを決定するように構成され、
前記１つ以上の修正されたオーディオ信号の解析に基づいて、中間的な第２音源エネルギーパラメータ直接対全エネルギー比を決定することと、
前記中間的な第２音源エネルギーパラメータ直接対総エネルギー比、または、前記第１音源エネルギーパラメータ直接対総エネルギー比の値のうち最も小さいものを選択すること、および、前記中間的な第２音源エネルギー直接対総エネルギー比に、前記第１音源エネルギー直接対総エネルギー比の値を１から減算した値を乗算すること、のうちの１つに基づいて、前記第２音源エネルギーパラメータ直接対全エネルギー比を生成することと、
を行うように構成される、請求項３に記載の装置。
前記１つ以上の修正されたオーディオ信号の解析に基づいて、中間的な第２音源エネルギーパラメータ直接対全エネルギー比を決定することと、
前記中間的な第２音源エネルギーパラメータ直接対総エネルギー比、または、前記第１音源エネルギーパラメータ直接対総エネルギー比の値のうち最も小さいものを選択すること、および、前記中間的な第２音源エネルギー直接対総エネルギー比に、前記第１音源エネルギー直接対総エネルギー比の値を１から減算した値を乗算すること、のうちの１つに基づいて、前記第２音源エネルギーパラメータ直接対全エネルギー比を生成することと、
を行うように構成される、請求項３に記載の装置。
【請求項5】
前記１つ以上の修正されたオーディオ信号および前記第１音源エネルギーパラメータに少なくとも部分的に少なくとも基づいて、前記少なくとも第２音源エネルギーパラメータを決定するように構成された手段は、前記第１音源方向パラメータと第２音源方向パラメータとの前記差に対してスケーリングされるように、前記第１音源方向パラメータにさらに基づいて、前記第２音源エネルギーパラメータを決定するように構成される、請求項３記載の装置。
【請求項6】
前記２つ以上のオーディオ信号の１つ以上の周波数帯域において、前記２つ以上のオーディオ信号の処理に基づいて、第１音源方向パラメータを決定するように構成された前記手段は、
前記２つ以上のマイクの第１ペアを選択することと、
前記２つ以上のマイクの前記選択されたペアからのそれぞれのオーディオ信号の第１ペアを選択することと、
前記２つ以上のマイクのうちの前記選択されたペアから、それぞれのオーディオ信号の前記第１ペアの間の相関を最大化する遅延を決定することと、
前記２つ以上のマイクの前記選択されたペアからのそれぞれのオーディオ信号の前記第１ペアの間の前記相関を最大化する前記遅延に関連する方向のペアを決定することであって、前記第１音源方向パラメータは、前記決定された方向のペアから選択される、決定することと、
を行うように構成される、請求項１乃至５のいずれかに記載の装置。
前記２つ以上のマイクの第１ペアを選択することと、
前記２つ以上のマイクの前記選択されたペアからのそれぞれのオーディオ信号の第１ペアを選択することと、
前記２つ以上のマイクのうちの前記選択されたペアから、それぞれのオーディオ信号の前記第１ペアの間の相関を最大化する遅延を決定することと、
前記２つ以上のマイクの前記選択されたペアからのそれぞれのオーディオ信号の前記第１ペアの間の前記相関を最大化する前記遅延に関連する方向のペアを決定することであって、前記第１音源方向パラメータは、前記決定された方向のペアから選択される、決定することと、
を行うように構成される、請求項１乃至５のいずれかに記載の装置。
【請求項7】
前記２つ以上のオーディオ信号の１つ以上の周波数帯域において、前記２つ以上のオーディオ信号の処理に基づいて、第１音源方向パラメータを決定するように構成された前記手段は、前記２つ以上のマイクの選択されたさらなるペアからのそれぞれのオーディオ信号のさらなるペアの間のさらなる相関を最大化するさらなる遅延のさらなる決定に基づいて、前記決定された方向のペアから前記第１音源方向パラメータを選択するように構成されている、請求項６に記載の装置。
【請求項8】
請求項３に従属する場合、前記２つ以上のオーディオ信号の１つ以上の周波数帯域において、前記２つ以上のオーディオ信号の前記処理に基づいて、前記第１音源エネルギーパラメータを決定するように構成された前記手段は、前記周波数帯域について前記第１ペアのそれぞれのオーディオ信号のエネルギーに対する最大化された相関を正規化することにより、前記第１音源方向パラメータに対応する前記第１音源エネルギー比を決定するように構成されている、請求項６または７に記載の装置。
【請求項9】
前記２つ以上のオーディオ信号に基づいて１つ以上の修正されたオーディオ信号を提供するように構成された前記手段は、
前記決定された第１音源方向パラメータに基づいて、それぞれのオーディオ信号の第１ペアの間の遅延を決定することと、
前記決定された遅延をそれぞれのオーディオ信号の前記第１ペアのうちの１つに適用することに基づいて、それぞれのオーディオ信号の前記第１ペアを整合させることと、
それぞれのオーディオ信号の前記第１ペアのそれぞれから共通成分を特定することと、
それぞれのオーディオ信号の前記第１ペアのそれぞれから前記共通成分を減算することと、
前記それぞれのオーディオ信号１つの前記減算された成分に対して前記遅延を復元し、１つまたは複数の修正されたオーディオ信号を生成することと、
を行うように構成される、請求項１乃至８のいずれかに記載の装置。
前記決定された第１音源方向パラメータに基づいて、それぞれのオーディオ信号の第１ペアの間の遅延を決定することと、
前記決定された遅延をそれぞれのオーディオ信号の前記第１ペアのうちの１つに適用することに基づいて、それぞれのオーディオ信号の前記第１ペアを整合させることと、
それぞれのオーディオ信号の前記第１ペアのそれぞれから共通成分を特定することと、
それぞれのオーディオ信号の前記第１ペアのそれぞれから前記共通成分を減算することと、
前記それぞれのオーディオ信号１つの前記減算された成分に対して前記遅延を復元し、１つまたは複数の修正されたオーディオ信号を生成することと、
を行うように構成される、請求項１乃至８のいずれかに記載の装置。
【請求項10】
前記２つ以上のオーディオ信号に基づいて１つ以上の修正されたオーディオ信号を提供するように構成された前記手段は、
前記決定された第１音源方向パラメータに基づいて、それぞれのオーディオ信号の第１ペアの間の遅延を決定することと、
前記決定された遅延をそれぞれのオーディオ信号の前記第１ペアのうちの１つに適用することに基づいて、それぞれのオーディオ信号の前記第１ペアを整合させることと、
それぞれのオーディオ信号の前記第１ペアのそれぞれから共通成分を特定することと、
修正された共通成分をそれぞれのオーディオ信号の前記第１ペアのそれぞれから減算することであって、前記修正された共通成分は、マイクの前記ペアに関連付けられたマイクに関連付けられた利得値を乗じた前記共通成分である、減算することと、
前記それぞれのオーディオ信号の１つの前記減算された利得乗算成分に前記遅延を復元して、前記修正された２つ以上のオーディオ信号を生成することと、
を行うように構成される、請求項１乃至８のいずれかに記載の装置。
前記決定された第１音源方向パラメータに基づいて、それぞれのオーディオ信号の第１ペアの間の遅延を決定することと、
前記決定された遅延をそれぞれのオーディオ信号の前記第１ペアのうちの１つに適用することに基づいて、それぞれのオーディオ信号の前記第１ペアを整合させることと、
それぞれのオーディオ信号の前記第１ペアのそれぞれから共通成分を特定することと、
修正された共通成分をそれぞれのオーディオ信号の前記第１ペアのそれぞれから減算することであって、前記修正された共通成分は、マイクの前記ペアに関連付けられたマイクに関連付けられた利得値を乗じた前記共通成分である、減算することと、
前記それぞれのオーディオ信号の１つの前記減算された利得乗算成分に前記遅延を復元して、前記修正された２つ以上のオーディオ信号を生成することと、
を行うように構成される、請求項１乃至８のいずれかに記載の装置。
【請求項11】
前記２つ以上のオーディオ信号に基づいて、１つ以上の修正されたオーディオ信号を提供するように構成された前記手段は、
前記決定された第１音源方向パラメータに基づいて、それぞれのオーディオ信号の第１ペア間の遅延を決定することであって、前記それぞれのオーディオ信号は、前記２つ以上のマイクの選択された第１ペアからのものである、決定することと、
前記決定された遅延をそれぞれのオーディオ信号の前記第１ペアのうちの１つに適用することに基づいて、それぞれのオーディオ信号の前記第１ペアを整合させることと、
前記２つ以上のマイクのうちの選択された追加のペアからそれぞれのオーディオ信号の追加のペアを選択することと、
決定された追加の音源方向パラメータに基づいて、それぞれのオーディオ信号の前記追加のペアの間の追加の遅延を決定することと、
前記決定された追加の遅延をそれぞれのオーディオ信号の前記追加のペアのうちの１つへの適用に基づいて、それぞれのオーディオ信号の前記追加のペアを整合させることと、
それぞれのオーディオ信号の前記第１および第２ペアから共通成分を特定することと、
前記共通成分または修正された共通成分をそれぞれのオーディオ信号の前記第１ペアのそれぞれから減算することであって、前記修正された共通成分は、マイクの前記第１ペアに関連付けられたマイクに関連付けられた利得値を乗じた共通成分である、減算することと、
前記それぞれのオーディオ信号のうちの１つの前記減算された利得乗算成分に前記遅延を復元し、前記修正された２つ以上のオーディオ信号を生成することと、
を行うように構成される、請求項１乃至８のいずれかに記載の装置。
前記決定された第１音源方向パラメータに基づいて、それぞれのオーディオ信号の第１ペア間の遅延を決定することであって、前記それぞれのオーディオ信号は、前記２つ以上のマイクの選択された第１ペアからのものである、決定することと、
前記決定された遅延をそれぞれのオーディオ信号の前記第１ペアのうちの１つに適用することに基づいて、それぞれのオーディオ信号の前記第１ペアを整合させることと、
前記２つ以上のマイクのうちの選択された追加のペアからそれぞれのオーディオ信号の追加のペアを選択することと、
決定された追加の音源方向パラメータに基づいて、それぞれのオーディオ信号の前記追加のペアの間の追加の遅延を決定することと、
前記決定された追加の遅延をそれぞれのオーディオ信号の前記追加のペアのうちの１つへの適用に基づいて、それぞれのオーディオ信号の前記追加のペアを整合させることと、
それぞれのオーディオ信号の前記第１および第２ペアから共通成分を特定することと、
前記共通成分または修正された共通成分をそれぞれのオーディオ信号の前記第１ペアのそれぞれから減算することであって、前記修正された共通成分は、マイクの前記第１ペアに関連付けられたマイクに関連付けられた利得値を乗じた共通成分である、減算することと、
前記それぞれのオーディオ信号のうちの１つの前記減算された利得乗算成分に前記遅延を復元し、前記修正された２つ以上のオーディオ信号を生成することと、
を行うように構成される、請求項１乃至８のいずれかに記載の装置。
【請求項12】
それぞれの２つ以上のマイクから２つ以上のオーディオ信号を取得するように構成された前記手段が、さらに、
前記２つ以上のオーディオ信号を取得するために前記２つ以上のマイクの第１ペアを選択し、２つ以上のオーディオ信号の第２ペアを取得するために前記２つ以上のマイクの第２ペアを選択することを含み、前記２つ以上のマイクの前記第２ペアは、前記第１音源方向パラメータに対してオーディオシャドウにあり、前記２つ以上のオーディオ信号に基づいて１つ以上の修正されたオーディオ信号を提供するように構成された前記手段が、前記２つ以上のオーディオ信号の前記１つ以上の周波数帯域において、前記１つ以上の修正されたオーディオ信号に少なくとも部分的に少なくとも基づいて、少なくとも第２音源方向パラメータを決定するように構成された前記手段から、２つ以上のオーディオ信号の前記第２ペアを提供するように構成される、請求項１から１１のいずれかに記載の装置。
前記２つ以上のオーディオ信号を取得するために前記２つ以上のマイクの第１ペアを選択し、２つ以上のオーディオ信号の第２ペアを取得するために前記２つ以上のマイクの第２ペアを選択することを含み、前記２つ以上のマイクの前記第２ペアは、前記第１音源方向パラメータに対してオーディオシャドウにあり、前記２つ以上のオーディオ信号に基づいて１つ以上の修正されたオーディオ信号を提供するように構成された前記手段が、前記２つ以上のオーディオ信号の前記１つ以上の周波数帯域において、前記１つ以上の修正されたオーディオ信号に少なくとも部分的に少なくとも基づいて、少なくとも第２音源方向パラメータを決定するように構成された前記手段から、２つ以上のオーディオ信号の前記第２ペアを提供するように構成される、請求項１から１１のいずれかに記載の装置。
【請求項13】
前記１つ以上の周波数帯域は、閾値周波数より低い、請求項１２に記載の装置。
【請求項14】
装置のための方法であって、
それぞれの２つ以上のマイクから２つ以上のオーディオ信号を取得することと、
前記２つ以上のオーディオ信号の１つ以上の周波数帯域において、前記２つ以上のオーディオ信号の処理に基づいて、第１音源方向パラメータを決定することであって、前記２つ以上のオーディオ信号の処理は、前記２つ以上のオーディオ信号に基づいて、１つ以上の修正されたオーディオ信号を提供するようにさらに構成される、決定することと、
前記２つ以上のオーディオ信号の前記１つ以上の周波数帯域において、前記１つ以上の修正されたオーディオ信号に少なくとも部分的に少なくとも基づいて、少なくとも第２音源方向パラメータを決定することと、
を含む、方法。
それぞれの２つ以上のマイクから２つ以上のオーディオ信号を取得することと、
前記２つ以上のオーディオ信号の１つ以上の周波数帯域において、前記２つ以上のオーディオ信号の処理に基づいて、第１音源方向パラメータを決定することであって、前記２つ以上のオーディオ信号の処理は、前記２つ以上のオーディオ信号に基づいて、１つ以上の修正されたオーディオ信号を提供するようにさらに構成される、決定することと、
前記２つ以上のオーディオ信号の前記１つ以上の周波数帯域において、前記１つ以上の修正されたオーディオ信号に少なくとも部分的に少なくとも基づいて、少なくとも第２音源方向パラメータを決定することと、
を含む、方法。
【請求項15】
前記２つ以上のオーディオ信号に基づいて、１つ以上の修正されたオーディオ信号を提供することは、さらに、
前記第１音源方向パラメータによって定義される第１音源の投射で前記２つ以上のオーディオ信号を修正することに基づいて、修正された２つ以上のオーディオ信号を生成ことと、
前記２つ以上のオーディオ信号の前記１つ以上の周波数帯域において、前記１つ以上の修正されたオーディオ信号に少なくとも部分的に少なくとも基づいて、少なくとも第２音源方向パラメータを決定することであって、前記２つ以上のオーディオ信号の前記１つ以上の周波数帯域において、前記修正された２つ以上のオーディオ信号を処理することによって、前記少なくとも第２音源方向パラメータを決定することを含む、決定することと、
を含む、請求項１４に記載の方法。
前記第１音源方向パラメータによって定義される第１音源の投射で前記２つ以上のオーディオ信号を修正することに基づいて、修正された２つ以上のオーディオ信号を生成ことと、
前記２つ以上のオーディオ信号の前記１つ以上の周波数帯域において、前記１つ以上の修正されたオーディオ信号に少なくとも部分的に少なくとも基づいて、少なくとも第２音源方向パラメータを決定することであって、前記２つ以上のオーディオ信号の前記１つ以上の周波数帯域において、前記修正された２つ以上のオーディオ信号を処理することによって、前記少なくとも第２音源方向パラメータを決定することを含む、決定することと、
を含む、請求項１４に記載の方法。
【請求項16】
前記２つ以上のオーディオ信号の１つ以上の周波数帯域において、前記２つ以上のオーディオ信号の前記処理に基づいて、第１音源エネルギーパラメータを決定することと、
前記１つ以上の修正されたオーディオ信号および前記第１音源エネルギーパラメータに少なくとも部分的に少なくとも基づいて、少なくとも第２音源エネルギーパラメータを決定することと、
をさらに含む、請求項１４または１５のいずれかに記載の方法。
前記１つ以上の修正されたオーディオ信号および前記第１音源エネルギーパラメータに少なくとも部分的に少なくとも基づいて、少なくとも第２音源エネルギーパラメータを決定することと、
をさらに含む、請求項１４または１５のいずれかに記載の方法。
【請求項17】
前記第１および第２音源エネルギーパラメータは、直接対全エネルギー比であり、前記１つ以上の修正されたオーディオ信号に少なくとも部分的に少なくとも基づいて、少なくとも第２音源エネルギーパラメータを決定することは、
前記１つ以上の修正されたオーディオ信号の解析に基づいて、中間的な第２音源エネルギーパラメータ直接対全体エネルギー比を決定することと、
前記中間的な第２音源エネルギーパラメータ直接対全エネルギー比、または、前記第１音源エネルギーパラメータ直接対全エネルギー比の値から１を減じた値のうち、最も小さいものを選択すること、または、
前記中間的な第２音源エネルギーパラメータ直接対全エネルギー比に、前記第１音源エネルギーパラメータ直接対全エネルギー比の値から１を減じた値を乗算すること、
のうちの１つに基づいて、前記第２音源エネルギーパラメータ直接対全エネルギー比を生成することと、
を含む、請求項１６に記載の方法。
前記１つ以上の修正されたオーディオ信号の解析に基づいて、中間的な第２音源エネルギーパラメータ直接対全体エネルギー比を決定することと、
前記中間的な第２音源エネルギーパラメータ直接対全エネルギー比、または、前記第１音源エネルギーパラメータ直接対全エネルギー比の値から１を減じた値のうち、最も小さいものを選択すること、または、
前記中間的な第２音源エネルギーパラメータ直接対全エネルギー比に、前記第１音源エネルギーパラメータ直接対全エネルギー比の値から１を減じた値を乗算すること、
のうちの１つに基づいて、前記第２音源エネルギーパラメータ直接対全エネルギー比を生成することと、
を含む、請求項１６に記載の方法。
【請求項18】
前記１つ以上の修正されたオーディオ信号および前記第１音源エネルギーパラメータに少なくとも部分的に少なくとも基づいて、前記少なくとも第２音源エネルギーパラメータを決定することは、第２音源エネルギーパラメータが、前記第１音源方向パラメータと第２音源方向パラメータとの前記差に対してスケーリングされるように、前記第１音源方向パラメータにさらに基づいて、前記少なくとも第２音源エネルギーパラメータを決定することを含む、請求項１６に記載の方法。
【請求項19】
前記２つ以上のオーディオ信号の１つ以上の周波数帯域において、前記２つ以上のオーディオ信号の処理に基づいて、第１音源方向パラメータを決定することは、
前記２つ以上のマイクの第１ペアを選択することと、
前記選択された２つ以上のマイクの前記選択されたペアから、それぞれのオーディオ信号の第１ペアを選択することと、
前記２つ以上のマイクのうちの前記選択されたペアからのそれぞれのオーディオ信号の前記第１ペアの間の相関を最大化する遅延を決定することと、
前記２つ以上のマイクの前記選択されたペアからのそれぞれのオーディオ信号の前記第１ペアの間の前記相関を最大化する前記遅延に関連する方向のペアを決定することであって、前記第１音源方向パラメータは、決定された方向の前記ペアから選択される、決定することと、
を含む、請求項１４乃至１８のいずれか一項に記載の方法。
前記２つ以上のマイクの第１ペアを選択することと、
前記選択された２つ以上のマイクの前記選択されたペアから、それぞれのオーディオ信号の第１ペアを選択することと、
前記２つ以上のマイクのうちの前記選択されたペアからのそれぞれのオーディオ信号の前記第１ペアの間の相関を最大化する遅延を決定することと、
前記２つ以上のマイクの前記選択されたペアからのそれぞれのオーディオ信号の前記第１ペアの間の前記相関を最大化する前記遅延に関連する方向のペアを決定することであって、前記第１音源方向パラメータは、決定された方向の前記ペアから選択される、決定することと、
を含む、請求項１４乃至１８のいずれか一項に記載の方法。
【請求項20】
前記２つ以上のオーディオ信号の１つ以上の周波数帯域において、前記２つ以上のオーディオ信号の処理に基づいて、第１音源方向パラメータを決定することは、前記２つ以上のマイクの選択されたさらなるペアからのそれぞれのオーディオ信号のさらなるペアの間のさらなる相関を最大化するさらなる遅延のさらなる決定に基づいて、決定した方向の前記ペアから前記第１音源方向パラメータを選択することを含む、請求項１９に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、空間オーディオキャプチャのための装置および方法に関し、特に、空間オーディオキャプチャによってキャプチャされた音場内の２つ以上の特定されたソースの到来方向およびエネルギーに基づく比を決定するための装置および方法に関する。
【背景技術】
【0002】
マイクアレイを用いた空間オーディオキャプチャは、携帯端末やカメラ等の多くの最新のデジタル機器に利用されており、多くの場合、ビデオキャプチャと併用されている。空間オーディオは、ヘッドホンやラウドスピーカを用いて再生することによって、マイクアレイがキャプチャしたオーディオシーンをユーザに体験させることができる。
【0003】
パラメトリック空間オーディオキャプチャ法は、多様なマイクの構成や配置で空間オーディオキャプチャを可能にするため、携帯端末等の民生機器に採用することができる。パラメトリック空間オーディオキャプチャ法は、複数のマイクから利用可能な情報を利用してデバイスの周囲の空間オーディオフィールドを解析するための信号処理ソリューションに基づいている。一般的に、これらの方法は、マイクのオーディオ信号を知覚的に解析し、周波数帯域の関連情報を決定する。この情報には、例えば、支配的な音源（または、オーディオ源や、オーディオオブジェクト）の方向や、全体の帯域エネルギーに対する音源エネルギーの関係等が含まれる。この決定された情報に基づいて、例えば、ヘッドホンやラウドスピーカを使用して、空間オーディオを再生することができる。最終的に、ユーザやリスナは、キャプチャデバイスが録音していたオーディオシーンに存在していたかのように、環境オーディオを体験することができる。
【0004】
オーディオ解析および合成の性能が高ければ高いほど、ユーザやリスナが体験する結果はよりリアルになる。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本願発明の実施形態は、従来技術に関連する問題を解決することを目的とする。
【課題を解決するための手段】
【0006】
第１態様によれば、それぞれの２つ以上のマイクから２つ以上のオーディオ信号を取得することと、２つ以上のオーディオ信号の１つ以上の周波数帯域において、２つ以上のオーディオ信号の処理に基づいて、第１音源方向パラメータを決定することであって、２つ以上のオーディオ信号の処理は、２つ以上のオーディオ信号に基づいて１つ以上の修正されたオーディオ信号を提供するようにさらに構成される、決定することと、２つ以上のオーディオ信号の１つ以上の周波数帯域において、１つ以上の修正されたオーディオ信号に少なくとも部分的に少なくとも基づいて、少なくとも第２音源方向パラメータを決定することと、を行うように構成された手段を含む装置が提供される。
【0007】
２つ以上のオーディオ信号に基づいて１つ以上の修正されたオーディオ信号を提供するように構成された手段は、さらに、第１音源方向パラメータによって定義される第１音源の投射を用いて２つ以上のオーディオ信号を修正することに基づいて、修正された２つ以上のオーディオ信号を生成することを含むように構成され、２つ以上のオーディオ信号の１つ以上の周波数帯域において、１つ以上の修正されたオーディオ信号に少なくとも部分的に少なくとも基づいて、少なくとも第２音源方向パラメータを決定するように構成された手段は、修正された２つ以上のオーディオ信号を処理することにより、２つ以上のオーディオ信号の１つ以上の周波数帯域において、少なくとも第２音源方向パラメータを決定するように構成されてよい。
【0008】
本手段は、２つ以上のオーディオ信号の１つ以上の周波数帯域において、２つ以上のオーディオ信号の処理に基づいて、第１音源エネルギーパラメータを決定することと、１つ以上の修正されたオーディオ信号および第１音源エネルギーパラメータに少なくとも部分的に少なくとも基づいて、少なくとも第２音源エネルギーパラメータを決定することと、をさらに行うように構成されてよい。
【0009】
第１および第２音源エネルギーパラメータは、直接対全エネルギー比であってもよく、１つ以上の修正されたオーディオ信号に少なくとも部分的に基づいて、少なくとも第２音源エネルギーパラメータを決定する手段は、１つ以上の修正されたオーディオ信号の解析に基づいて、中間的な第２音源エネルギーパラメータ直接対全エネルギー比を決定することと、第２音源エネルギーパラメータ直接対全エネルギー比を、中間的な第２音源エネルギーパラメータ直接対全エネルギー比、または、第１音源エネルギーパラメータ直接対全エネルギー比を１の値から減算した値のうち最小のものを選択すること、あるいは、中間的な第２音源エネルギーパラメータ直接対全エネルギー比と第１音源エネルギーパラメータ直接対全エネルギー比を１の値から減算した値とを乗じること、のいずれかに基づいて生成することと、を行うように構成される。
【0010】
１つ以上の修正されたオーディオ信号および第１音源エネルギーパラメータに少なくとも部分的に少なくとも基づいて、少なくとも第２音源エネルギーパラメータを決定するように構成された手段は、第２音源エネルギーパラメータが、第１音源方向パラメータと第２音源方向パラメータとの差に対してスケーリングされるように、第１音源方向パラメータにさらに基づいて、少なくとも第２音源エネルギーパラメータを決定するようにさらに構成されてよい。
【0011】
２つ以上のオーディオ信号の１つ以上の周波数帯域において、２つ以上のオーディオ信号の処理に基づいて、第１音源方向パラメータを決定するように構成された手段は、２つ以上のマイクの第１ペアを選択することと、２つ以上のマイクの選択されたペアから、それぞれのオーディオ信号の第１ペアを選択することと、２つ以上のマイクの選択されたペアからのそれぞれのオーディオ信号の第１ペア間の相関を最大化する遅延を決定することと、２つ以上のマイクの選択されたペアからのそれぞれのオーディオ信号の第１ペア間の相関を最大化する遅延に関連する方向のペアを決定することであって、第１音源方向パラメータは、決定した方向のペアから選択される、決定されることと、を行うように構成されてよい。
【0012】
２つ以上のオーディオ信号の１つ以上の周波数帯域において、２つ以上のオーディオ信号の処理に基づいて、第１音源方向パラメータを決定するように構成された手段は、２つ以上のマイクの選択されたさらなるペアからのそれぞれのオーディオ信号のさらなるペア間のさらなる相関を最大化する、さらなる遅延の決定に基づいて、第１音源方向パラメータを決定した方向のペアから選択するように構成されてよい。
【0013】
２つ以上のオーディオ信号の１つ以上の周波数帯域において、２つ以上のオーディオ信号の処理に基づいて、第１音源エネルギーパラメータを決定するように構成された手段は、周波数帯域に対する第１ペアのそれぞれのオーディオ信号のエネルギーに対する最大化された相関を正規化することによって、第１音源方向パラメータに対応する第１音源エネルギー比を決定するように構成されてよい。
【0014】
２つ以上のオーディオ信号に基づいて１つ以上の修正されたオーディオ信号を提供するように構成された手段は、決定された第１音源方向パラメータに基づいて、それぞれのオーディオ信号の第１ペアの間の遅延を決定することと、それぞれのオーディオ信号の第１ペアの１つへの決定された遅延の適用に基づいて、それぞれのオーディオ信号の第１ペアを整合させることと、それぞれのオーディオ信号の第１ペアのそれぞれから、共通成分を特定することと、それぞれのオーディオ信号の第１ペアのそれぞれから、共通成分を減算することと、１つ以上の修正されたオーディオ信号を生成するために、遅延を、それぞれのオーディオ信号の１つの減算した成分に復元することと、を行うよう構成されてよい。
【0015】
２つ以上のオーディオ信号に基づいて１つ以上の修正されたオーディオ信号を提供するように構成された手段は、決定された第１音源方向パラメータに基づいて、それぞれのオーディオ信号の第１ペアの間の遅延を決定することと、決定された遅延をそれぞれのオーディオ信号の第１ペアのうちの１つに適用することに基づいて、それぞれのオーディオ信号の第１ペアを整合させることと、それぞれのオーディオ信号の第１ペアのそれぞれから、共通成分を特定することと、修正された共通成分をそれぞれのオーディオ信号の第１ペアのそれぞれから減算することであって、修正された共通成分は、マイクのペアに関連付けられ、マイクに関連付けられた利得値を乗じた共通成分である、減算することと、遅延を、それぞれのオーディオ信号のうちの１つの減算された利得乗算成分に復元して、修正された２つ以上のオーディオ信号を生成することと、を含むように構成されてよい。
【0016】
２つ以上のオーディオ信号に基づいて、１つ以上の修正されたオーディオ信号を提供するように構成された手段は、決定された第１音源方向パラメータ、２つ以上のマイクの選択された第１ペアからのそれぞれのオーディオ信号に基づいて、それぞれのオーディオ信号の第１ペアの間の遅延を決定することと、決定された遅延をそれぞれのオーディオ信号の第１ペアのうちの１つに適用することに基づいて、それぞれのオーディオ信号の第１ペアを整合させることと、２つ以上のマイクのうちの選択された追加のペアから、それぞれのオーディオ信号の追加のペアを選択することと、決定された追加の音源方向パラメータに基づいて、それぞれのオーディオ信号の追加のペアの間の追加の遅延を決定することと、決定された追加の遅延をそれぞれのオーディオ信号の追加のペアのうちの１つに適用することに基づいて、それぞれのオーディオ信号の追加のペアを整合させることと、それぞれのオーディオ信号の第１および第２ペアから、共通成分を特定することと、共通成分または修正された共通成分をそれぞれのオーディオ信号の第１ペアのそれぞれから減算することであって、修正された共通成分は、マイクの第１ペアに関連付けられた、マイクに関連付けられた利得値を乗じた共通成分である、減算することと、それぞれのオーディオ信号のうちの１つの減算された利得乗算成分に遅延を復元し、修正された２つ以上のオーディオ信号を生成することと、を行うように構成されてよい。
【0017】
２つ以上のマイクのそれぞれから２つ以上のオーディオ信号を取得するように構成された手段は、さらに、２つ以上のオーディオ信号を取得するために２つ以上のマイクの第１ペアを選択し、２つ以上のオーディオ信号の第２ペアを取得するために２つ以上のマイクの第２ペアを選択するように構成され、２つ以上のマイクの第２ペアは、第１音源方向パラメータに関して、オーディオシャドウに存在し、２つ以上のオーディオ信号に基づいて１つ以上の修正されたオーディオ信号を提供するように構成された手段が、２つ以上のオーディオ信号の１つ以上の周波数帯域において、１つ以上の修正されたオーディオ信号に少なくとも部分的に少なくとも基づいて、少なくとも第２音源方向パラメータを決定するように構成された手段から、２つ以上のオーディオ信号の第２ペアを提供するように構成される。
【0018】
１つ以上の周波数帯域は、閾値周波数より低くてよい。
【0019】
第２態様によれば、装置のための方法が提供され、該方法は、２つ以上のマイクのそれぞれから２つ以上のオーディオ信号を取得することと、２つ以上のオーディオ信号の１つ以上の周波数帯域において、２つ以上のオーディオ信号の処理に基づいて、第１音源方向パラメータを決定することであって、２つ以上のオーディオ信号を処理することは、２つ以上のオーディオ信号に基づいて、１つ以上の修正されたオーディオ信号を提供するようにさらに構成される、決定することと、２つ以上のオーディオ信号の１つ以上の周波数帯域において、１つ以上の修正されたオーディオ信号に少なくとも部分的に少なくとも基づいて、少なくとも第２音源方向パラメータを決定することと、を含む。
【0020】
２つ以上のオーディオ信号に基づいて１つ以上の修正されたオーディオ信号を提供することは、さらに、第１音源方向パラメータによって定義される第１音源の投射で２つ以上のオーディオ信号を修正することに基づいて、修正された２つ以上のオーディオ信号を生成することと、２つ以上のオーディオ信号の１つ以上の周波数帯域において、１つ以上の修正されたオーディオ信号に少なくとも部分的に少なくとも基づいて、少なくとも第２音源方向パラメータを決定することと、を含み、２つ以上のオーディオ信号の１つ以上の周波数帯域において、２つ以上の修正されたオーディオ信号を処理することによって、少なくとも第２音源方向パラメータを決定することを含んでよい。
【0021】
本方法は、２つ以上のオーディオ信号の１つ以上の周波数帯域において、２つ以上のオーディオ信号の処理に基づいて、第１音源エネルギーパラメータを決定することと、１つ以上の修正されたオーディオ信号および第１音源エネルギーパラメータに少なくとも部分的に少なくとも基づいて、少なくとも第２音源エネルギーパラメータを決定することと、をさらに含んでよい。
【0022】
第１および第２音源エネルギーパラメータは、直接対全エネルギー比であってよく、１つ以上の修正されたオーディオ信号に少なくとも部分的に少なくとも基づいて、少なくとも第２音源エネルギーパラメータを決定することは、１つ以上の修正されたオーディオ信号の解析に基づいて、中間的な第２音源エネルギーパラメータ直接対全エネルギー比を決定することと、中間的な第２音源エネルギーパラメータ直接対全エネルギー比、または、第１音源エネルギーパラメータ直接対全エネルギー比を１の値から減算した値のうち最小のものを選択すること、あるいは、中間的な第２音源エネルギーパラメータ直接対全エネルギー比と第１音源エネルギーパラメータ直接対全エネルギー比を１の値から減算した値とを乗算すること、のうちの１つに基づいて、第２音源エネルギーパラメータ直接対全エネルギー比を生成することと、のうちの１つに基づいて、第２音源エネルギーパラメータ直接対全エネルギー比を生成することと、を含んでよい。
【0023】
１つ以上の修正されたオーディオ信号および第１音源エネルギーパラメータに少なくとも部分的に少なくとも基づいて、少なくとも第２音源エネルギーパラメータを決定することは、第２音源エネルギーパラメータが、第１音源方向パラメータと第２音源方向パラメータとの差に対してスケーリングされるように、さらに第１音源方向パラメータに基づいて、少なくとも第２音源エネルギーパラメータを決定することを含んでよい。
【0024】
２つ以上のオーディオ信号の１つ以上の周波数帯域において、２つ以上のオーディオ信号の処理に基づいて、第１音源方向パラメータを決定することは、２つ以上のマイクの第１ペアを選択することと、２つ以上のマイクの選択されたペアから、それぞれのオーディオ信号の第１ペアを選択することと、２つ以上のマイクの選択されたペアからのそれぞれのオーディオ信号の第１ペア間の相関を最大化する遅延を決定することと、２つ以上のマイクの選択されたペアからのそれぞれのオーディオ信号の第１ペア間の相関を最大化する遅延に関連する方向のペアを決定することであって、第１音源方向パラメータが決定された方向のペアから選択される、決定することと、を含んでよい。
【0025】
２つ以上のオーディオ信号の１つ以上の周波数帯域において、２つ以上のオーディオ信号の処理に基づいて、第１音源方向パラメータを決定することは、２つ以上のマイクの選択されたさらなるペアからのそれぞれのオーディオ信号のさらなるペア間のさらなる相関を最大化するさらなる遅延のさらなる決定に基づいて、決定された方向のペアから、第１音源方向パラメータを選択することを含んでよい。
【0026】
２つ以上のオーディオ信号の１つ以上の周波数帯域において、２つ以上のオーディオ信号の処理に基づいて、第１音源エネルギーパラメータを決定することは、周波数帯域に対するそれぞれのオーディオ信号の第１ペアのエネルギーに対する最大化された相関を正規化することによって、第１音源方向パラメータに対応する第１音源エネルギー比を決定することを含んでよい。
【0027】
２つ以上のオーディオ信号に基づいて１つ以上の修正されたオーディオ信号を提供することは、決定された第１音源方向パラメータに基づいて、それぞれのオーディオ信号の第１ペアの間の遅延を決定することと、それぞれのオーディオ信号の第１ペアの１つへの決定された遅延の適用に基づいて、それぞれのオーディオ信号の第１ペアを整合させることと、それぞれのオーディオ信号の第１ペアのそれぞれから共通成分を特定することと、それぞれのオーディオ信号の第１ペアのそれぞれから共通成分を減算することと、それぞれのオーディオ信号の１つの減算した成分に遅延を復元して、１つ以上の修正されたオーディオ信号を生成することと、を含んでよい。
【0028】
２つ以上のオーディオ信号に基づいて１つ以上の修正されたオーディオ信号を提供することは、決定された第１音源方向パラメータに基づいて、それぞれのオーディオ信号の第１ペアの間の遅延を決定することと、それぞれのオーディオ信号の第１ペアの１つへの決定された遅延の適用に基づいて、それぞれのオーディオ信号の第１ペアを整合させることと、それぞれのオーディオ信号の第１ペアのそれぞれから共通成分を特定することと、それぞれのオーディオ信号の第１ペアのそれぞれから、修正された共通成分を減算することであって、修正された共通成分は、マイクのペアに関連付けられたマイクに関連付けられた利得値を乗じた共通成分である、減算することと、それぞれのオーディオ信号の１つの減算された利得乗算成分に遅延を回復させて、修正された２つ以上のオーディオ信号を生成することと、を含んでよい。
【0029】
２つ以上のオーディオ信号に基づいて１つ以上の修正されたオーディオ信号を提供することは、決定された第１音源方向パラメータに基づいて、それぞれのオーディオ信号の第１ペア間の遅延を決定することであって、それぞれのオーディオ信号は２つ以上のマイクのうちの選択された第１ペアからのものである、決定することと、それぞれのオーディオ信号の第１ペアの１つへの決定された遅延の適用に基づいて、それぞれのオーディオ信号の第１ペアを整合させることと、２つ以上のマイクのうちの選択された追加のペアから、それぞれのオーディオ信号の追加のペアを選択することと、決定された追加の音源方向パラメータに基づいて、それぞれのオーディオ信号の追加のペアの間の追加の遅延を決定することと、それぞれのオーディオ信号の追加のペアの１つへの決定された追加の遅延の適用に基づいて、それぞれのオーディオ信号の追加のペアを整合させることと、それぞれのオーディオ信号の第１および第２ペアのから、共通成分を特定することと、それぞれのオーディオ信号の第１ペアのそれぞれから、共通成分または修正された共通成分を減算することであって、修正された共通成分は、マイクの第１ペアに関連付けられたマイクに関連付けられた利得値を乗じた共通成分である、減算することと、それぞれのオーディオ信号に１つの減算した利得乗算成分に遅延を復元し、修正された２つ以上のオーディオ信号を生成することと、を含んでよい。
【0030】
それぞれの２つ以上のマイクから２つ以上のオーディオ信号を取得することは、２つ以上のオーディオ信号を取得するために２つ以上のマイクの第１ペアを選択し、２つ以上のオーディオ信号の第２ペアを取得するために２つ以上のマイクの第２ペアを選択することを含み、２つ以上のマイクの第２ペアは、第１音源方向パラメータに対してオーディオシャドウに存在し、２つ以上のオーディオ信号に基づいて１つ以上の修正されたオーディオ信号を提供することは、２つ以上のオーディオ信号の１つ以上の周波数帯域において、１つ以上の修正されたオーディオ信号に少なくとも部分的に少なくとも基づいて、少なくとも第２音源方向パラメータを決定することから、２つ以上のオーディオ信号の第２ペアを提供することを含む。
【0031】
１つ以上の周波数帯域は、閾値周波数より低くてもよい。
【0032】
第３態様によれば、少なくとも１つのプロセッサと、コンピュータプログラムコードを含む少なくとも１つのメモリと、を備える装置であって、少なくとも１つのメモリおよびコンピュータプログラムコードは、少なくとも１つのプロセッサによって、装置に少なくとも、それぞれの２つ以上のマイクから２つ以上のオーディオ信号を取得することと、２つ以上のオーディオ信号の１つ以上の周波数帯域において、２つ以上のオーディオ信号の処理に基づいて、第１音源方向パラメータを決定することであって、２つ以上のオーディオ信号の処理は、２つ以上のオーディオ信号に基づいて、１つ以上の修正されたオーディオ信号を提供するようにさらに構成される、決定することと、２つ以上のオーディオ信号の１つ以上の周波数帯域において、１つ以上の修正されたオーディオ信号に少なくとも部分的に少なくとも基づいて、少なくとも第２音源方向パラメータを決定することと、を行わせるように構成される、装置が提供される。
【0033】
２つ以上のオーディオ信号に基づいて１つ以上の修正されたオーディオ信号を提供するようにされた装置は、さらに、第１音源方向パラメータによって定義される第１音源の投射で２つ以上のオーディオ信号を修正することに基づいて修正された２つ以上のオーディオ信号を生成するようにされてよく、２つ以上のオーディオ信号の１つ以上の周波数帯域において、１つ以上の修正されたオーディオ信号に少なくとも部分的に少なくとも基づいて、少なくとも第２音源方向パラメータを決定させられる装置は、修正された２つ以上のオーディオ信号の処理によって、２つ以上のオーディオ信号の１つ以上の周波数帯域において、少なくとも第２音源方向パラメータを決定させられてよい。
【0034】
装置は、さらに、２つ以上のオーディオ信号の１つ以上の周波数帯域において、２つ以上のオーディオ信号の処理に基づいて、第１音源エネルギーパラメータを決定することと、１つ以上の修正されたオーディオ信号および第１音源エネルギーパラメータに少なくとも部分的に少なくとも基づいて、少なくとも第２音源エネルギーパラメータを決定することと、を行うようにされてよい。
【0035】
第１および第２音源エネルギーパラメータは、直接対全エネルギー比であってよく、１つ以上の修正されたオーディオ信号に少なくとも部分的に少なくとも基づいて、少なくとも第２音源エネルギーパラメータを決定するようにされる装置は、１つ以上の修正されたオーディオ信号の解析に基づいて、中間的な第２音源エネルギーパラメータ直接対全エネルギー比を決定することと、中間的な第２音源エネルギーパラメータ直接対全エネルギー比、または、第１音源エネルギーパラメータ直接対全エネルギー比を１の値から減算した値のうち最小のものを選択すること、または、中間的な第２音源エネルギーパラメータ直接対全エネルギー比に、第１音源エネルギーパラメータ直接対全エネルギー比を１の値から減算した値を乗算すること、のいずれかに基づいて、第２音源エネルギーパラメータ直接対全エネルギー比を生成することと、を行うようにされてよい。
【0036】
１つ以上の修正されたオーディオ信号および第１音源エネルギーパラメータに少なくとも部分的に少なくとも基づいて、少なくとも第２音源エネルギーパラメータを決定するようにされる装置は、第２音源エネルギーパラメータが、第１音源方向パラメータと第２音源方向パラメータとの差に対してスケーリングされるように、第１音源方向パラメータにさらに基づいて、少なくとも第２音源エネルギーパラメータを決定するようにされてよい。
【0037】
２つ以上のオーディオ信号の１つ以上の周波数帯域において、２つ以上のオーディオ信号の処理に基づいて、第１音源方向パラメータを決定するようにされる装置は、２つ以上のマイクの第１ペアを選択することと、２つ以上のマイクの選択されたペアから、それぞれのオーディオ信号の第１ペアを選択することと、２つ以上のマイクの選択されたペアからのそれぞれのオーディオ信号の第１ペア間の相関を最大化する遅延を決定することと、２つ以上のマイクの選択されたペアからのそれぞれのオーディオ信号の第１ペア間の相関を最大化する遅延に関連する方向のペアを決定することであって、第１音源方向パラメータは、決定された方向のペアから選択される、決定することと、を行うようにされてよい。
【0038】
２つ以上のオーディオ信号の１つ以上の周波数帯域において、２つ以上のオーディオ信号の処理に基づいて、第１音源方向パラメータを決定するようにされる装置は、２つ以上のマイクの選択されたさらなるペアからのそれぞれのオーディオ信号のさらなるペアの間のさらなる相関を最大化するさらなる遅延のさらなる決定に基づいて決定された方向のペアから第１音源方向パラメータを選択するようにされてよい。
【0039】
２つ以上のオーディオ信号の１つ以上の周波数帯域において、２つ以上のオーディオ信号の処理に基づいて、第１音源エネルギーパラメータを決定するようにされる装置は、周波数帯域に対するそれぞれのオーディオ信号の第１ペアのエネルギーに対する最大化された相関を正規化することによって、第１音源方向パラメータに対応する第１音源エネルギー比を決定するようにされてよい。
【0040】
２つ以上のオーディオ信号に基づいて、１つ以上の修正されたオーディオ信号を提供するようにされた装置は、決定された第１音源方向パラメータに基づいて、それぞれのオーディオ信号の第１ペアの間の遅延を決定することと、それぞれのオーディオ信号の第１ペアの１つへの決定された遅延の適用に基づいて、それぞれのオーディオ信号の第１ペアを整合させることと、それぞれのオーディオ信号の第１ペアのそれぞれから共通成分を特定することと、それぞれのオーディオ信号の第１ペアのそれぞれから共通成分を減算することと、それぞれのオーディオ信号の１つの減算した成分に遅延を復元して、１つ以上の修正されたオーディオ信号を生成することと、を行うようにされてよい。
【0041】
２つ以上のオーディオ信号に基づいて、１つ以上の修正されたオーディオ信号を提供するようにされた装置は、決定された第１音源方向パラメータに基づいて、それぞれのオーディオ信号の第１ペアの間の遅延を決定することと、それぞれのオーディオ信号の第１ペアのうちの１つへの決定された遅延の適用に基づいて、それぞれのオーディオ信号の第１ペアを整合させることと、それぞれのオーディオ信号の第１ペアのそれぞれから共通成分を特定することと、それぞれのオーディオ信号の第１ペアのそれぞれから、修正された共通成分を減算することであって、修正された共通成分は、マイクのペアに関連付けられたマイクに関連付けられた利得値を乗じた共通成分である、減算することと、それぞれのオーディオ信号の１つの減算された利得を乗じた成分に遅延を復元し、修正された２つ以上のオーディオ信号を生成することと、を行うようにされてよい。
【0042】
２つ以上のオーディオ信号に基づいて１つ以上の修正されたオーディオ信号を提供するようにされた装置は、決定された第１音源方向パラメータに基づいて、それぞれのオーディオ信号の第１ペアの間の遅延を決定することであって、それぞれのオーディオ信号は、２つ以上のマイクの選択された第１ペアからのものである、決定することと、決定された遅延をそれぞれのオーディオ信号の第１ペアの１つに適用することに基づいて、それぞれのオーディオ信号の第１ペアを整合させることと、２つ以上のマイクの選択された追加のペアから、それぞれのオーディオ信号の追加のペアを選択することと、決定された追加の音源方向パラメータに基づいて、それぞれのオーディオ信号の追加のペアの間の追加の遅延を決定することと、決定された追加の遅延の、それぞれのオーディオ信号の追加のペアの１つへの適用に基づいて、それぞれのオーディオ信号の追加のペアを整合させることと、それぞれのオーディオ信号の第１および第２ペアから共通成分を特定することと、共通成分または修正された共通成分をそれぞれのオーディオ信号の第１ペアのそれぞれから減算することであって、修正された共通成分は、マイクの第１ペアに関連付けられたマイクに関連付けられた利得値を乗じた共通成分である、減算することと、遅延をそれぞれのオーディオ信号の１つの減算された利得乗算成分に復元して、修正された２つ以上のオーディオ信号を生成することと、を行うようにされてよい。
【0043】
それぞれの２つ以上のマイクから２つ以上のオーディオ信号を取得するようにされた装置は、さらに、２つ以上のオーディオ信号を取得するために２つ以上のマイクの第１ペアを選択し、２つ以上のオーディオ信号の第２ペアを取得するために２つ以上のマイクの第２ペアを選択するようにされ、２つ以上のマイクの第２ペアは、第１音源方向パラメータに対してオーディオシャドウにあり、２つ以上のオーディオ信号に基づいて１つ以上の修正されたオーディオ信号を提供するようにされた装置は、２つ以上のオーディオ信号の１つ以上の周波数帯域において、１つ以上の修正されたオーディオ信号に少なくとも部分的に少なくとも基づいて、少なくとも第２音源方向パラメータを決定するようにされた装置から、２つ以上のオーディオ信号の第２ペアを提供するようにされてよい。
【0044】
１つ以上の周波数帯域は、閾値周波数より低くてもよい。
【0045】
第４態様によれば、それぞれの２つ以上のマイクから２つ以上のオーディオ信号を取得する手段と、２つ以上のオーディオ信号の１つ以上の周波数帯域において、２つ以上のオーディオ信号の処理に基づいて、第１音源方向パラメータを決定する手段であって、２つ以上のオーディオ信号の処理は、２つ以上のオーディオ信号に基づいて、１つ以上の修正されたオーディオ信号を提供するようにさらに構成される、決定する手段と、２つ以上のオーディオ信号の１つ以上の周波数帯域において、１つ以上の修正されたオーディオ信号に少なくとも部分的に少なくとも基づいて、少なくとも第２音源方向パラメータを決定する手段と、を備える装置が提供される。
【0046】
第５態様によれば、装置に少なくとも、それぞれの２つ以上のマイクから２つ以上のオーディオ信号を取得することと、２つ以上のオーディオ信号の１つ以上の周波数帯域において、２つ以上のオーディオ信号の処理に基づいて、第１音源方向パラメータを決定することであって、２つ以上のオーディオ信号の処理は、２つ以上のオーディオ信号に基づいて、１つ以上の修正されたオーディオ信号を提供するようにさらに構成されている、決定することと、２つ以上のオーディオ信号の１つ以上の周波数帯域において、１つ以上の修正されたオーディオ信号に少なくとも部分的に少なくとも基づいて、少なくとも第２音源方向パラメータを決定することと、を実行させるための命令［または、プログラム命令を含むコンピュータ可読媒体］を含むコンピュータプログラムが提供される。
【0047】
第６態様によれば、装置に少なくとも、それぞれの２つ以上のマイクから２つ以上のオーディオ信号を取得することと、２つ以上のオーディオ信号の１つ以上の周波数帯域において、２つ以上のオーディオ信号の処理に基づいて、第１音源方向パラメータを決定することであって、２つ以上のオーディオ信号の処理は、２つ以上のオーディオ信号に基づいて、１つ以上の修正されたオーディオ信号を提供するようにさらに構成されている、決定することと、２つ以上のオーディオ信号の１つ以上の周波数帯域において、１つ以上の修正されたオーディオ信号に少なくとも部分的に少なくとも基づいて、少なくとも第２音源方向パラメータを決定することと、を実行させるためのプログラム命令を含む非一時的コンピュータ可読媒体が提供される。
【0048】
第７態様によれば、それぞれの２つ以上のマイクから２つ以上のオーディオ信号を取得するように構成された取得回路と、２つ以上のオーディオ信号の１つ以上の周波数帯域において、２つ以上のオーディオ信号の処理に基づいて、第１音源方向パラメータを決定するように構成された決定回路であって、２つ以上のオーディオ信号の処理は、２つ以上のオーディオ信号に基づいて１つ以上の修正されたオーディオ信号を提供するようにさらに構成される、決定回路と、２つ以上のオーディオ信号の１つ以上の周波数帯域において、１つ以上の修正されたオーディオ信号に少なくとも部分的に少なくとも基づいて、少なくとも第２音源方向パラメータを決定する手段と、を備える装置が提供される。
【0049】
第８態様によれば、装置に少なくとも、それぞれの２つ以上のマイクから２つ以上のオーディオ信号を取得することと、２つ以上のオーディオ信号の１つ以上の周波数帯域において、２つ以上のオーディオ信号の処理に基づいて、第１音源方向パラメータを決定することであって、２つ以上のオーディオ信号の処理は、２つ以上のオーディオ信号に基づいて、１つ以上の修正されたオーディオ信号を提供するようにさらに構成される、決定することと、２つ以上のオーディオ信号の１つ以上の周波数帯域において、１つ以上の修正されたオーディオ信号に少なくとも部分的に少なくとも基づいて、少なくとも第２音源方向パラメータを決定することと、を実行させるためのプログラム命令を含むコンピュータ可読媒体が提供される。
【0050】
上記の方法の動作を実行するための手段を含む装置。
【0051】
上記に記載の方法の動作を実行するように構成された装置。
【0052】
上記の方法をコンピュータに実行させるためのプログラム命令を含む、コンピュータプログラム。
【0053】
媒体に格納されたコンピュータプログラム製品は、装置に本明細書に記載の方法を実行させることができる。
【0054】
電子機器は、本明細書に記載されるような装置を含んでよい。
【0055】
チップセットは、本明細書で説明するような装置で構成されてよい。
【図面の簡単な説明】
【0056】
本願のより良い理解のために、次に、添付の図面を例として参照する。
【発明を実施するための形態】
【0057】
以下の実施形態に関して、本明細書でさらに詳細に説明する概念は、オーディオシーンのキャプチャに関する。
【0058】
以下の説明では、音源という用語は、音場（または、オーディオシーン）内の（人工の、または、現実の）定義された要素を説明するために使用される。また、音源という用語は、オーディオオブジェクトまたはオーディオ源として定義することができ、これらの用語は、本明細書に記載される実施例の理解に関して置換可能である。
【0059】
本明細書の実施形態は、空間オーディオキャプチャ（ＳＰＡＣ）技術等のパラメトリックオーディオキャプチャ装置および方法に関する。時間周波数タイルごとに、装置は、支配的な音源の方向を推定するように構成され、音源の直接成分およびアンビエント成分の相対エネルギーは、直接対全エネルギー比として表される。
【0060】
以下の例は、携帯端末の寸法が他の寸法に対して少なくとも１つの短い（または、薄い）寸法を含む典型的な携帯端末内で見られるような、チャレンジングなマイク配置または構成を有するデバイスに好適である。本明細書に示す例では、キャプチャされた空間オーディオ信号は、ヘッドホン聴取用のバイノーラルフォーマットのオーディオ信号、または、ラウドスピーカ聴取用のマルチチャンネル信号フォーマットのオーディオ信号等の空間オーディオ信号を生成するための空間シンセサイザの好適な入力である。
【0061】
いくつかの実施形態では、これらの例は、ＩＶＡＳ互換のオーディオ信号およびメタデータを生成することによって、イマーシブボイスアンドオーディオサービシズ（ＩＶＡＳ）標準コーデックの空間キャプチャフロントエンドの一部として実装することができる
【0062】
一般的な空間解析は、時間周波数タイルごとに、支配的な音源の方向および直接対全エネルギー比を推定することを含む。これらのパラメータは、原理的に類似した特徴に基づく人間の聴覚システムに動機づけられている。しかしながら、ある状況下では、このようなモデルでは最適な音質を得ることができないことが知られている。
【0063】
一般に、複数の音源が同時に存在する場合、あるいは、音源が背景雑音でほとんど遮蔽されている場合には、パラメータの推定に問題が生じることがある。１つ目のケースでは、解析された支配的な音源の方向が実際の音源の方向とずれてしまったり、音源からの音の合計によっては、解析が音源の方向の平均値になってしまうことがある。２つ目のケースでは、音源の瞬間的なレベルや雰囲気によって、支配的な音源が見つかることもあれば、見つからないこともある。上記の両ケースにおいて、方向値のばらつきに加え、推定されるエネルギー比が不安定になることがある。
【0064】
これらのような状況では，方向およびエネルギー比の解析によって，合成されたオーディオ信号に歪みが生じることがある。例えば、音源の方向が不安定になったり、不正確に聞こえたり、背景のオーディオが残響になったりすることがある。
【0065】
例として、図１に示すように，キャプチャデバイスの周囲に３０度および－２０度の方位角に同じ大きさの２つの音源がある場合の主音源の方向推定例を示す。図１に示すように、時間の経過とともに、どちらかの音源が支配的であると判断され、空間シンセサイザにより、両方の音源が推定された方向に合成される。このとき、推定される方向は２つの値の間を連続的にジャンプするため、その結果は曖昧であり、ユーザやリスナは２つの音源がどの方向から発せられたものであるかを検出することは困難である。また、この推定された方向が連続的に変化するため、合成された音場は不安定かつ不自然な音となる。
【0066】
利用可能な情報量が増加した場合、上記の問題を改善するための技術が提案されている。例えば、時間周波数タイルごとに最も支配的な２つの方向についてのパラメータを推定することが提案されている。例えば、現在策定中の３ＧＰＰ（登録商標）ＩＶＡＳ規格では、同時に２つの方向をサポートすることが計画されている。
【0067】
しかしながら、一般的な携帯端末のマイクを用いたパラメトリックオーディオコーディングでは、２つの支配的な音源の方向を推定する信頼性の高い方法はない。さらに、推定に信頼性が低い場合、実際には音源が存在しない方向に音源が合成されたり、音源位置がある位置から別の位置に連続的に移動したり、不安定になる可能性がある。すなわち、推定の信頼性が低い場合、複数の方向を推定するメリットがなく、空間シンセサイザで生成される空間オーディオ信号が品質低下する可能性がある。
【0068】
したがって、要するに、本明細書に記載された実施形態は、２つ以上のマイクを用いたパラメトリック空間オーディオキャプチャに関連する。さらに少なくとも、２つ以上のマイクからのオーディオ信号に基づいて、すべての時間周波数タイルにおいて２つの方向およびエネルギー比パラメータが推定される。
【0069】
これらの実施形態では、複数の音源方向の検出精度の改善を達成するために、第２方向を推定する際に、第１推定方向の影響が考慮される。これは、いくつかの実施形態において、合成された空間オーディオの知覚上の品質の改善をもたらし得る。
【0070】
実際に、本明細書で説明する実施形態は、空間的により安定し、（正しい、または、実際の位置に関して）より正確であると認識される音源の推定値を生成する。
【0071】
いくつかの実施形態では、第１方向およびエネルギー比は、任意の適切な推定方法を用いて推定される（推定することができる）。さらに、第２方向を推定する場合、第１方向の影響は、最初にマイク信号から除去される。いくつかの実施形態では、これは、最初に第１方向に基づく信号間の任意の遅延を除去し、次に両方の信号から共通成分を減算することによって実施することができる。最後に、元の遅延が復元される。次に、第２方向パラメータは、第１方向の推定と同様の方法を用いて推定することができる。
【0072】
いくつかの実施形態では、低周波で２つの異なる方向を推定するために、異なるマイクのペアが使用される。これにより、デバイスの物理的形状に起因する音の自然なシャドーイングが強調され、デバイスの異なる側の音源を検出する可能性が向上する。
【0073】
いくつかの実施形態では、第２方向のエネルギー比は、第１方向のエネルギー比の推定と同様の方法を用いて最初に解析される。さらにいくつかの実施形態では、第２エネルギー比は、第１方向のエネルギー比に基づいて、かつ、第１推定音源方向と第２推定音源方向との間の角度差に基づいて、さらに修正される。
【0074】
図２に関して、本明細書に記載の実施形態を実施するのに適した装置の概略図である。
【0075】
この例では、マイクアレイ２０１を含む装置が示されている。マイクアレイ２０１は、オーディオ信号をキャプチャするように構成された複数（２つ以上）のマイクで構成される。マイクアレイ内のマイクは、任意の適切なマイクタイプ、配置、または、構成とすることができる。マイクアレイ２０１によって生成されたマイクオーディオ信号２０２は、空間アナライザ２０３に渡すことができる。
【0076】
本装置は、マイクオーディオ信号２０２を受信または他の方法で取得するように構成された空間アナライザ２０３を備えることができ、各時間周波数ブロックについて少なくとも２つの支配的な音またはオーディオ源を決定するために、マイクオーディオ信号を空間的に解析するように構成される。
【0077】
空間アナライザは、いくつかの実施形態では、携帯端末またはコンピュータのＣＰＵとすることができる。空間アナライザ２０３は、オーディオ信号だけでなく、解析された空間情報２０４のメタデータを含むデータストリームを生成するように構成される。
【0078】
ユースケースに応じて、データストリームを保存したり、圧縮して別の場所に送信したりすることができる。
【0079】
本装置は、さらに、空間シンセサイザ２０５を有する。空間シンセサイザ２０５は、オーディオ信号およびメタデータを含むデータストリームを取得するように構成される。いくつかの実施形態において空間シンセサイザ２０５は、（ここでは、図２に示すように）空間アナライザ２０３と同じ装置内に実装されるが、いくつかの実施形態では、さらに、異なる装置またはデバイス内に実装することができる。
【0080】
空間シンセサイザ２０５は、ＣＰＵまたは同様のプロセッサ内に実装することができる。空間シンセサイザ２０５は、データストリーム２０４からのオーディオ信号および関連するメタデータに基づいて、出力オーディオ信号２０６を生成するように構成される。
【0081】
さらにユースケースに応じて、出力信号２０６は、任意の適切な出力フォーマットとすることができる。例えば、いくつかの実施形態では、出力フォーマットは、バイノーラルヘッドホン信号（出力オーディオ信号を提示する出力装置がヘッドホン／イヤホン等のセットである）、または、マルチチャンネルラウドスピーカオーディオ信号（出力装置がラウドスピーカのセットである）である。出力装置２０７（上述のように、例えばヘッドホンまたはラウドスピーカであってよい）は、出力オーディオ信号２０６を受信して、出力をリスナまたはユーザに対して提示するように構成され得る。
【0082】
【0083】
図３に示すように、ステップ３０１により、マイクオーディオ信号を取得する。
【0084】
図３に示すように、ステップ３０３によって、マイクオーディオ信号を空間的に解析し、時間周波数タイルごとに、第１および第２オーディオ源の方向およびエネルギー比を含む空間的オーディオ信号およびメタデータを生成する。
【0085】
図３に示すように、ステップ３０５によって、空間オーディオ信号に空間合成を適用し、好適な出力オーディオ信号を生成する。
【0086】
図３に示すように、ステップ３０７によって、出力オーディオ信号を出力装置に出力する。
【0087】
ある実施形態では、空間解析はＩＶＡＳコーデックと関連して使用することができる。この実施例では、空間解析出力はＩＶＡＳ互換のＭＡＳＡ（ｍｅｔａｄａｔａ－ａｓｓｉｓｔｅｄ ｓｐａｔｉａｌ ａｕｄｉｏ）フォーマットであり、ＩＶＡＳエンコーダに直接供給することができる。ＩＶＡＳエンコーダはＩＶＡＳデータストリームを生成する。受信側では、ＩＶＡＳデコーダが直接、所望の出力オーディオフォーマットを生成することができる。すなわち、このような実施形態では、個別の空間合成ブロックは存在しない。
【0088】
【0089】
図４に示すこの例では、装置はマイクアレイ２０１も含む。空間アナライザ２０３に渡されるマイクオーディオ信号２０２を生成するように構成されている。
【0090】
空間アナライザ２０３は、マイクオーディオ信号２０２を受信またはその他の方法で取得し、各時間周波数ブロックについて少なくとも２つの支配的な音源またはオーディオ源を決定するように構成される。空間アナライザ２０３によって生成されたデータストリーム、ＭＡＳＡフォーマットデータストリーム（オーディオ信号だけでなく、解析された空間情報のメタデータも含む）４０４は、次に、ＩＶＡＳエンコーダ４０５に渡すことができる。
【0091】
本装置は、ＭＡＳＡフォーマットデータストリーム４０４を受け取り、破線４１６で示すように、送信または保存することができるＩＶＡＳデータストリーム４０６を生成するように構成されたＩＶＡＳエンコーダ４０５をさらに備えることができる。
【0092】
本装置は、さらに、ＩＶＡＳデコーダ４０７（空間シンセサイザ）を有する。ＩＶＡＳデコーダ４０７は、ＩＶＡＳデータストリームをデコードし、さらに、適切な出力装置２０７への出力オーディオ信号２０６を生成するために、決定されたオーディオ信号を空間合成するように構成される。
【0093】
出力装置２０７（上述したように、例えば、ヘッドホンまたはラウドスピーカとすることができる）は、出力オーディオ信号２０６を受信し、リスナまたはユーザに出力を提示するように構成することができる。
【0094】
【0095】
図５に示すように、ステップ３０１によって、マイクオーディオ信号を取得する。
【0096】
図５に示すように、ステップ５０３によって、マイクオーディオ信号を空間的に解析し、ＭＡＳＡフォーマットの出力（空間オーディオ信号ならびに時間周波数タイルごとの第１および第２オーディオ源の方向およびエネルギー比を含むメタデータ）を生成する。
【0097】
図５に示すように、ステップ５０５によって、生成データストリームをＩＶＡＳ符号化する。
【0098】
図５に示すように、ステップ５０７によって、符号化されたＩＶＡＳデータストリームを復号し（そして、復号された空間オーディオ信号に空間合成を行い）、適切な出力オーディオ信号を生成する。
【0099】
図５に示すように、ステップ３０７によって、出力オーディオ信号を出力装置に出力する。
【0100】
いくつかの実施形態では、その代わりに、出力オーディオ信号がアンビソニック信号である。そのような実施形態では、すぐに入手可能な直接的な出力装置は存在しない可能性がある。
【0101】
【0102】
いくつかの実施形態における空間アナライザ２０３は、ストリーム（トランスポート）オーディオ信号ジェネレータ６０７を有する。ストリームオーディオ信号ジェネレータ６０７は、マイクオーディオ信号２０２を受信し、マルチプレクサ６０９に渡されるストリームオーディオ信号（複数可）６０８を生成するように構成される。オーディオストリーム信号は、任意の好適な方法に基づいて、入力マイクオーディオ信号から生成される。例えば、いくつかの実施形態では、１つまたは２つのマイク信号が、マイクオーディオ信号２０２から選択され得る。あるいは、いくつかの実施形態では、マイクオーディオ信号２０２は、ストリームオーディオ信号６０８を生成するためにダウンサンプリングおよび／または圧縮され得る。
【0103】
以下の例では、空間解析は周波数領域で実行されるが、いくつかの実施形態では、解析は、また、マイクオーディオ信号の時間領域サンプリングバージョンを使用して時間領域で実行できることが理解されよう。
【0104】
いくつかの実施形態における空間アナライザ２０３は、時間周波数変換器６０１を有する。時間周波数変換器６０１は、マイクオーディオ信号２０２を受信し、周波数領域に変換するように構成される。いくつかの実施形態では、変換前において、時間領域のマイクオーディオ信号は、ｓｉ（ｔ）と表すことができ、ｔは時間インデックスであり、ｉはマイクチャネルインデックスである。周波数領域への変換は、ＳＴＦＴ（短時間フーリエ変換）または（複素変調）ＱＭＦ（直交ミラーフィルタバンク）等の任意の適切な時間周波数変換によって実施することができる。結果として得られる時間周波数領域のマイク信号６０２は、Ｓｉ（ｂ，ｎ）と表記され、ｉはマイクチャネルインデックス、ｂは周波数ビンインデックス、ｎは時間フレームインデックスである。ｂの値は、範囲０，・・・，Ｂ－１であり、Ｂは、時間インデックスｎ毎のビンインデックスの数である。
【0105】
周波数ビンは、さらにサブバンドｋ＝０，・・・，Ｋ－１と組み合わせることができる。各サブバンドは、１つ以上の周波数ビンから構成される。各サブバンドｋは、最低ビンｂｋ，ｌｏｗと最高ビンｂｋ，ｈｉｇｈを有する。サブバンドの幅は、通常、人間の聴覚特性に基づいて選択され、例えば、等価長方形帯域幅（ＥＲＢ）またはＢａｒｋスケールが使用され得る。
【0106】
いくつかの実施形態では、空間アナライザ２０３は、第１方向アナライザ６０３を含んでいる。第１方向アナライザ６０３は、時間周波数領域マイクオーディオ信号６０２を受信し、（ファースト）第１方向６１４および（ファースト）第１比率６１６の各時間周波数タイルについて第１音源の推定値を生成するように構成される。
【0107】
第１方向アナライザ６０３は、ＳＰＡＣ等の任意の好適な方法に基づいて第１方向の推定値を生成するように構成される（ＵＳ９３１３５９９において、さらに詳細に説明されている通りである）。
【0108】
いくつかの実施形態において、例えば、時間フレームインデックスに対する最も支配的な方向は、サブバンドｋについて２つの（マイクオーディオ信号）チャネル間の相関を最大化する時間シフトτｋを検索することによって推定される。Ｓｉ（ｂ，ｎ）は以下のようにτサンプルだけシフトされ得る。
【数1】
【0109】
そして、２つのマイクチャネル間の相関を最大化する各サブバンドｋの遅延τｋを求める。
【数2】
【0110】
上式では、マイク１とマイク２の間で「最適」な遅延を探索する。Ｒｅは結果の実部、＊は信号の複素共役を示す。遅延探索範囲パラメータＤｍａｘは、マイク間距離に基づいて定義される。すなわち、マイク間距離と音速を考慮した物理的に可能な範囲でのみτｋの値を探索する。
【0111】
このとき、第１方向の角度は次のように定義される。
【数3】
【0112】
このように、角度の符号には、まだ不確かさが残っている。
【0113】
上記で、マイク１とマイク２の間の方向解析が定義された。他のマイクペア間でも同様の手順を繰り返すことで、曖昧さを解消することができる（および／または他の軸を基準とした方向を求めることができる）。すなわち、
の符号の曖昧さを解消するために、他の解析ペアからの情報を利用することができる。
【0114】
例えば、図８は、マイクアレイが３つのマイク、第１マイク８０１、第２マイク８０３、および、第３マイク８０５を含み、第１軸上の距離だけ離れた第１ペア（第１マイク８０１および第３マイク８０３）、ならびに、第２軸（この例では第１軸は第２軸に垂直である）上の距離だけ離れた第２ペア（第１マイク８０１および第２マイク８０５）が存在するように配置されている例である。さらに、この例では、３つのマイクは、第１軸および第２軸に垂直なもの（および、図が印刷されている紙の平面に垂直なもの）として定義される同じ第３軸上に存在することが可能である。マイクの第１ペア８０１と８０３の間の遅延の解析は、２つの代替的な角度、α８０７と－α８０９をもたらす。次に、マイクの第２ペア８０１と８０５との間の遅延の解析は、代替角度のうちのいずれが正しいかを決定するために使用され得る。いくつかの実施形態では、この解析から必要とされる情報は、音がマイク８０１または８０５のどちらに最初に到着するかである。音がマイク８０５に到着した場合、角度αは正しい。そうでない場合は、－αが選択される。
【0115】
さらに、複数のマイクペア間の推定に基づいて、第１空間アナライザは正しい方向角
を決定または推定することができる。
【0116】
限られたマイクの構成または配置、例えば、マイクが２つだけあるいくつかの実施形態では、方向の曖昧さを解決することができない。このような実施例では、空間アナライザは、全ての音源が常にデバイスの前方にあると定義するように構成される場合がある。この状況は、２つ以上のマイクがある場合でも同じであり、それらの位置によって、例えば、前後方向の解析ができない。
【0117】
本明細書では開示しないが、垂直軸上にある複数のペアのマイクで仰角と方位を推定することができる。
【0118】
第１方向アナライザ６０３は、さらに、例えば、以下のようにして正規化した後の相関値ｃ（ｋ，ｎ）を用いて、角度θ１（ｋ，ｎ）に対応するエネルギー比ｒ１（ｋ，ｎ）を決定または推定することが可能である。
【数4】
【0119】
ｒ１（ｋ，ｎ）の値は－１～１であり、通常は、さらに０～１の間に限定される。
【0120】
いくつかの実施形態では、第１方向アナライザ６０３は、修正された時間周波数マイクオーディオ信号６０４を生成するように構成される。修正された時間周波数マイクオーディオ信号６０４は、第１音源成分がマイク信号から除去されたものである。
【0121】
したがって、例えば、第１マイクペア（図８のマイクの構成例で示したマイク８０１、８０３）に関して、サブバンドｋについて、最も高い相関を与える遅延は、τｋである。サブバンドｋ毎に、第２マイク信号をτｋサンプルだけシフトして、シフトされた第２マイク信号Ｓ２，τｋ（ｂ，ｎ）を得る。
【0122】
これらの時間軸を揃えた信号の平均値として、音源成分の推定値を求めることができる。
【数5】
【0123】
いくつかの実施形態では、音源成分を決定するための他の任意の適切な方法を使用することができる。
【0124】
音源成分Ｃ（ｂ，ｎ）の推定値が（例えば、上記の数式例において）決まれば、これをマイクオーディオ信号から除去することができる。一方、他の同時音源は位相がずれているため、Ｃ（ｂ，ｎ）は減衰している。ここで、（シフトしたものと、しないものの）マイク信号からＣ（ｂ，ｎ）を減少させることができる。
【数6】
【0125】
さらに、シフトされた修正されたマイクオーディオ信号
は、τｋに戻る。
【数7】
【0126】
これらの修正された信号
は、次に、第２方向アナライザ６０５に渡すことができる。
【0127】
いくつかの実施形態では、空間アナライザ２０３は、第２方向アナライザ６０５を含む。第２方向アナライザ６０５は、時間周波数マイクオーディオ信号６０２、修正された時間周波数マイクオーディオ信号６０４、第１方向６１４、および、第１比率６１６推定値を受信し、第２方向６２４および第２比率６２６推定値を生成するように構成される。
【0128】
第２方向のパラメータ値の推定は、第１方向の推定と同じサブバンド構造を採用し、第１方向の推定について前述したのと同様の操作に従うことができる。
【0129】
したがって、第２方向パラメータθ２（ｋ，ｎ）およびｒ２´（ｋ，ｎ）を推定することができる。このような実施形態では、方向推定を決定するために、時間周波数マイクオーディオ信号６０２Ｓ１（ｂ，ｎ）およびＳ２（ｂ，ｎ）ではなく、修正時間周波数マイクオーディオ信号
が使用される。
【0130】
さらに、いくつかの実施形態では、エネルギー比ｒ２´（ｋ，ｎ）は、第１および第２比の合計が１を超えてはならないため、制限される。
【0131】
いくつかの実施形態では、第２比率は以下のように制限される。
または、
【数8】
【数9】
【0132】
ここで，関数ｍｉｎは，与えられた選択肢のうち，より小さいものを選択する。どちらの代替案も良好な品質比の値を提供することがわかった。
【0133】
上記の例では、複数のマイクペアがあるため、修正信号は各ペアで別々に計算する必要があり、すなわち、マイクペア８０１と８０５、または、ペア８０１と８０３を考慮すると、
は同じ信号ではないことに注意されたい。
【0134】
第１方向推定値６１４、第１比率推定値６１６、第２方向推定値６２４、第２比率推定値６２６は、推定値とストリームオーディオ信号６０８の組み合わせから、データストリーム２０４／４０４を生成するように構成されているマルチプレクサ（ｍｕｘ）６０９に渡される。
【0135】
【0136】
図７に示すように、ステップ７０１によって、マイクオーディオ信号が取得される。
【0137】
そして、図７に示すように、ステップ７０２によって、マイクオーディオ信号からストリームオーディオ信号が生成される。
【0138】
さらに、図７に示すように、ステップ７０３によって、マイクオーディオ信号を時間周波数領域変換することができる。
【0139】
その後、図７に示すように、ステップ７０５によって、第１方向および第１比率のパラメータ推定値を決定することができる。
【0140】
次に、図７に示すように、ステップ７０７によって、時間周波数領域のマイクオーディオ信号を（第１ソース成分を除去するために）修正することができる。
【0141】
次に、図７に示すように、ステップ７０９によって、修正された時間周波数領域のマイクオーディオ信号は、第２方向および第２比率パラメータ推定値を決定するために解析される。
【0142】
そして、図７に示すように、ステップ７１１によって、第１方向、第１比率、第２方向、第２比率のパラメータ推定値とストリームオーディオ信号を多重化して、データストリーム（ＭＡＳＡフォーマットのデータストリームでもよい）を生成する。
【0143】
そこで、図９に示すように、１つのサブバンドの方向解析結果の一例を示す。入力は２方向から同時に到来する無相関のノイズ信号であり、第１方向から到来する信号が第２方向より１ｄＢ大きくなっている。多くの場合、より強い音源が第１方向として検出されるが、時には第２方向の音源が第１方向として検出されることもある。もし、１つの方向しか推定されなかった場合、方向推定値は２つの値の間をジャンプすることになり、これは潜在的に品質上の問題を引き起こす可能性がある。２方向解析の場合、両方の音源が第１または第２方向に含まれるため、合成される信号の品質は常に良好に保たれる。
【0144】
【0145】
いくつかの実施形態では、共通成分Ｃ（ｂ，ｎ）（第１ソース成分）を決定するために他の方法が採用されてよい。例えば、いくつかの実施形態では、主成分解析（ＰＣＡ）または他の関連する方法を採用することができる。いくつかの実施形態では、共通成分を生成または減算する際に、異なるチャネルに対する個々の利得が適用される。したがって、例えば、いくつかの実施形態では、以下のようになる。
および、
【数10】
【数11】
【0146】
このような実施形態では、例えば、マイクにおけるオーディオ信号のレベルが異なることを考慮しながら、マイク信号から共通成分を除去することができる。
【0147】
さらに、上記の例では、共通成分（結合信号）Ｃ（ｂ，ｎ）は、２つのマイク信号を用いて生成されるが、いくつかの実施形態では、より多くのマイクを採用することができる。例えば、利用可能な３つのマイクがある場合、マイクのペア８０１と８０３、および、８０１と８０５の間の「最適な」遅延を推定することができる。これらをそれぞれτｋ（１，２）およびτｋ（１，３）と表記する。そのような実施形態では、結合信号は、以下のように求められる。
【数12】
【0148】
上記と同様に、第２方向を解析する前に、３つのマイク信号すべてから合成信号を除去することができる。
【0149】
上記の例では、２つの方向を推定するための方法は、一般に良好な結果を提供する。しかしながら、典型的な携帯端末のマイク構成におけるマイク位置は、推定値をさらに改善し、いくつかの例では、特に最低周波数における第２方向解析の信頼性を改善するために使用することが可能である。
【0150】
例えば、図１１は最近の携帯端末における典型的なマイクの構成位置を示している。この端末は、ディスプレイ１１０９およびカメラ筐体１１０７を有する。マイク１１０１と１１０５は、互いにかなり近くに配置されているのに対し、マイク１１０３は、さらに離れた位置に配置されている。端末の物理的な形状は、マイクによってキャプチャされるオーディオ信号に影響を与える。マイク１１０５は、端末のメインカメラ側にある。端末のディスプレイ側から到来する音は、マイク１１０５に到達するために端末のエッジを周回しなければならない。この長い経路のため、信号は減衰し、周波数によっては６～１０ｄＢも減衰する。一方、マイク１１０１は装置の端にあり、装置の左側から到来する音はマイクに直接届き、右側から到来する音はコーナーを１周する必要がある。このように、マイク１１０１と１１０５が近接していても、キャプチャする信号が全く異なる場合がある。
【0151】
この２つのマイク信号の差は、方位解析に利用することができる。上に示した式を用いると、マイクペア１～２（マイク番号１１０１と１１０３）、３～２（マイク番号１１０５と１１０３）間のマイク間の最適遅延τｋ（１，２）およびτｋ（３，２）を推定することができ、それに応じた角度
についても推定可能である。マイクペア間の距離が異なるため、角度を計算する際に考慮する必要がある。
【0152】
特に、
が明らかに異なる方向を指している場合、すなわち、異なる支配的な音源を見つけた場合は、これらの２つの方向を２方向推定として直接利用することが可能である。
【数13】
【0153】
エネルギー比は、先に示したのと同様に計算することができ、ｒ２（ｋ，ｎ）の値は、ｒ１（ｋ，ｎ）の値に基づいて再び制限される必要がある。
の値の符号の曖昧さは、上記と同様に解くことができ、換言すれば、マイクペア１～３は、方向性の曖昧さを解くために利用することができる。
【0154】
これらの実施形態は、一般的なマイク構成で２方向の推定が最も困難な最低周波数帯域で特に有用であることを明らかにした。
【0155】
上記の実施形態では、第２方向のエネルギー比ｒ２（ｋ，ｎ）が、第１エネルギー比ｒ１（ｋ，ｎ）の値に基づいて制限されることが議論されてきた。いくつかの実施形態では、第１および第２方向推定の間の角度差が、比率（複数可）を修正するために使用される。
【0156】
したがって、いくつかの実施形態では、θ１（ｋ，ｎ）およびθ２（ｋ，ｎ）が同じ方向を向いている場合、第１方向のエネルギー比パラメータは既に十分な量のエネルギーを含み、与えられた第２方向にこれ以上エネルギーを割り当てる必要はない、すなわち、ｒ２（ｋ，ｎ）は、ゼロに設定することが可能である。反対に、θ１（ｋ，ｎ）およびθ２（ｋ，ｎ）が反対方向を向いている場合、比率ｒ２（ｋ，ｎ）の影響が最も大きく、ｒ２（ｋ，ｎ）の値を最大に維持する必要がある。
【0157】
これは、β（ｋ，ｎ）がθ１（ｋ，ｎ）とθ２（ｋ，ｎ）との間の絶対的な角度差である、いくつかの実施形態で実施可能であり、
であり、β（ｋ，ｎ）の値は－πとπの間で折り返される。
【数14】
【数15】
【0158】
そうすると、第２方向のエネルギー比に対する第１方向の総合的な効果は、次のように計算できる。
または、
【数16】
【数17】
【0159】
ここで、ｒ２´（ｋ，ｎ）は、元の比率であり、ｒ２（ｋ，ｎ）は、修正された比率である。この例では、角度差は、ｒ２（ｋ，ｎ）のスケーリングに対して線形的な効果を有する。いくつかの実施形態では、例えば、正弦波重み付け等の他の重み付けオプションがある。
【0160】
【0161】
いくつかの実施形態における空間シンセサイザ２０５／ＩＶＡＳデコーダ４０７は、デマルチプレクサ１２０１を有する。いくつかの実施形態におけるデマルチプレクサ（Ｄｅｍｕｘ）１２０１は、データストリーム２０４／４０４を受信し、データストリームをストリームオーディオ信号１２０８と、第１方向１２１４推定値、第１比率１２１６推定値、第２方向１２２４推定値、および、第２比率１２２６推定値等の空間パラメータ推定値に分離させる。データストリームが（例えば、ＩＶＡＳエンコーダを使用して）符号化された、いくつかの実施形態では、データストリームはここで復号化され得る。
【0162】
これらは、空間プロセッサ／シンセサイザ１２０３に渡される。
【0163】
空間シンセサイザ２０５／ＩＶＡＳデコーダ４０７は、空間プロセッサ／シンセサイザ１２０３を含み、推定値およびストリームオーディオ信号を受信し、出力オーディオ信号をレンダリングするように構成される。空間プロセッシング／合成は、ＥＰ３７９１６０５に記載されているような、任意の適切な２方向ベースの合成とすることができる。
【0164】
図１３は、いくつかの実施形態による実施例を示す概略図である。この装置は、マイクアレイ２０１、空間アナライザ２０３、および、空間シンセサイザ２０５の構成要素を含むキャプチャ／再生装置１３０１である。さらに装置１３０１は、オーディオ信号およびメタデータ（データストリーム）２０４を格納するように構成されたストレージ（メモリ）１２０１を有する。
【0165】
キャプチャ／再生装置１３０１は、いくつかの実施形態において、携帯端末とすることができる。
【0166】
図１４に関して、コンピュータ、エンコーダプロセッサ、デコーダプロセッサ、または、本明細書に記載の機能ブロックのいずれかとして使用され得る例示的な電子装置が示されている。装置は、任意の適切な電子機器または装置であってよい。例えば、いくつかの実施形態では、装置１６００は、携帯端末、ユーザ機器、タブレットコンピュータ、コンピュータ、オーディオ再生装置等である。
【0167】
いくつかの実施形態では、装置１６００は、少なくとも１つのプロセッサ、または、中央処理装置１６０７を有する。プロセッサ１６０７は、本明細書に記載されるような方法等、様々なプログラムコードを実行するように構成され得る。
【0168】
いくつかの実施形態では、デバイス１６００は、メモリ１６１１を有する。いくつかの実施形態では、少なくとも１つのプロセッサ１６０７は、メモリ１６１１に接続される。メモリ１６１１は、任意の適切な記憶手段であり得る。いくつかの実施形態では、メモリ１６１１は、プロセッサ１６０７に実装可能なプログラムコードを格納するためのプログラムコード部を含む。さらに、いくつかの実施形態では、メモリ１６１１は、データ、例えば、本明細書に記載されるような実施形態に従って処理された、または、処理されるべきデータを格納するための格納データセクションをさらに備えることができる。プログラムコードセクション内に格納された実装されたプログラムコード、および、格納されたデータセクション内に格納されたデータは、メモリ－プロセッサ接続を介して、必要なときに、プロセッサ１６０７によって取り出すことができる。
【0169】
いくつかの実施形態では、装置１６００は、ユーザインタフェース１６０５を備える。ユーザインタフェース１６０５は、いくつかの実施形態において、プロセッサ１６０７に接続され得る。いくつかの実施形態において、プロセッサ１６０７は、ユーザインタフェース１６０５の動作を制御し、ユーザインタフェース１６０５から入力を受信することができる。いくつかの実施形態において、ユーザインタフェース１６０５は、ユーザが、例えば、キーパッドを介して、デバイス１６００に命令を入力することを可能にすることができる。いくつかの実施形態において、ユーザインタフェース１６０５は、ユーザが装置１６００から情報を取得することを可能にすることができる。例えば、ユーザインタフェース１６０５は、ユーザに対して装置１６００からの情報を表示するように構成されたディスプレイを含んでよい。ユーザインタフェース１６０５は、いくつかの実施形態において、装置１６００に情報を入力することを可能にし、さらに、装置１６００のユーザに対して、情報を表示することの両方が可能なタッチスクリーンまたはタッチインタフェースを備え得る。
【0170】
いくつかの実施形態において、装置１６００は、入力／出力ポート１６０９を有する。いくつかの実施形態における入力／出力ポート１６０９は、トランシーバを有する。そのような実施形態におけるトランシーバは、プロセッサ１６０７に接続され、例えば、無線通信ネットワークを介して、他の装置または電子機器との通信を可能にするよう構成され得る。トランシーバ、または、任意の適切なトランシーバ、または、送信および／または受信手段は、いくつかの実施形態において、有線または無線接続を介して、他の電子機器または装置と通信するように構成され得る。
【0171】
トランシーバは、任意の適切な既知の通信プロトコルによって、さらなる装置と通信することができる。例えば、いくつかの実施形態では、トランシーバは、適切なユニバーサル移動通信システム（ＵＭＴＳ）プロトコル、例えば、ＩＥＥＥ８０２．Ｘ等の無線ローカルエリアネットワーク（ＷＬＡＮ）プロトコル、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の適切な短距離無線周波数通信プロトコル、または、赤外線データ通信経路（ＩＲＤＡ）を使用することができる。
【0172】
トランシーバ入力／出力ポート１６０９は、適切なコードを実行するプロセッサ１６０７を使用することによって、オーディオ信号、ビットストリームを送信／受信し、いくつかの実施形態において、上述のような動作および方法を実行するように構成され得る。
【0173】
一般的に、本発明の様々な実施形態は、ハードウェアまたは特殊用途回路、ソフトウェア、ロジック、または、それらの任意の組み合わせにおいて実装されてよい。例えば、いくつかの態様は、ハードウェアで実装されてもよく、他の態様は、コントローラ、マイクロプロセッサ、または、他のコンピューティングデバイスによって実行されてもよいファームウェアまたはソフトウェアで実装されてもよいが、本発明はこれらには限定されない。本発明の様々な態様は、ブロック図、フローチャートとして、または、他の何らかの図形的表現を用いて図示および説明され得るが、本明細書に記載されるこれらのブロック、装置、システム、技術または方法は、非限定的な例として、ハードウェア、ソフトウェア、ファームウェア、特殊用途回路もしくはロジック、汎用ハードウェアもしくはコントローラもしくは他の計算装置、または、これらの何らかの組み合わせで実施されてよいことは十分に理解されよう。
【0174】
本発明の実施形態は、プロセッサエンティティ等の携帯端末のデータプロセッサにより実行可能なコンピュータソフトウェアによって、または、ハードウェアによって、または、ソフトウェアとハードウェアの組み合わせによって、実装されてもよい。さらに、この点で、図のような論理フローの任意のブロックは、プログラムステップ、または、相互接続された論理回路、ブロックおよび機能、または、プログラムステップおよび論理回路、ブロックおよび機能の組み合わせを表すことができることに留意されたい。ソフトウェアは、メモリチップ、または、プロセッサ内に実装されたメモリブロック、磁気媒体、および、光媒体等の物理的媒体に格納されてもよい。
【0175】
メモリは、ローカルな技術環境に適した任意のタイプであってよく、半導体ベースのメモリ装置、磁気メモリ装置およびシステム、光学メモリ装置およびシステム、固定メモリおよび取り外し可能メモリ等、任意の好適なデータ記憶技術を使用して実装することができる。データプロセッサは、ローカルな技術環境に適した任意のタイプであってよく、非限定的な例として、汎用コンピュータ、特殊用途コンピュータ、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、ゲートレベル回路およびマルチコアプロセッサアーキテクチャに基づくプロセッサの１つ以上を含んでもよい。
【0176】
本発明の実施形態は、集積回路モジュール等の様々な部品において実施することができる。集積回路の設計は、概して高度に自動化されたプロセスである。論理レベル設計を、半導体基板上にエッチングして形成するのに適した半導体回路設計に変換するために、複雑で強力なソフトウェアツールが利用可能である。
【0177】
カリフォルニア州マウンテンビューのシノプシス社や、カリフォルニア州サンノゼのケイデンスデザイン社等のプログラムは、確立された設計ルールと予め保存された設計モジュールのライブラリを使って、半導体チップ上の導体の配線や部品の配置を自動的に行う。半導体回路の設計が完了したら、設計結果を標準化された電子フォーマット（Ｏｐｕｓ、ＧＤＳＩＩ等）で半導体製造施設または「ファブ」に送信し、製造を委託することができる。
【0178】
上述の説明は、例示的かつ非限定的な例によって、本発明の例示的な実施形態の完全かつ参考となる説明を提供した。しかしながら、添付の図面および添付の特許請求の範囲と併せて読むと、上述の説明を考慮して、様々な変更および適用が、関連する分野の当業者には明らかになるであろう。しかしながら、この発明の教示のすべてのそのような、および、類似の修正は、やはり添付の特許請求の範囲で定義される本発明の範囲に入るであろう。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【手続補正書】
【提出日】2023-02-06
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
少なくとも１つのプロセッサと、コンピュータプログラムコードを含む少なくとも１つのメモリと、を備える装置であって、前記少なくとも１つのメモリおよび前記コンピュータプログラムコードは、前記少なくとも１つのプロセッサにより、前記装置に、少なくとも、
それぞれの２つ以上のマイクから、２つ以上のオーディオ信号を取得することと、
前記２つ以上のオーディオ信号の１つ以上の周波数帯域において、前記２つ以上のオーディオ信号の処理に基づいて、第１音源方向パラメータを決定することであって、前記２つ以上のオーディオ信号を処理することは、前記２つ以上のオーディオ信号に基づいて、１つ以上の修正されたオーディオ信号を提供するようにさらに構成される、決定することと、
前記２つ以上のオーディオ信号の前記１つ以上の周波数帯域において、前記１つ以上の修正されたオーディオ信号に少なくとも部分的に少なくとも基づいて、少なくとも第２音源方向パラメータを決定することと、
を行わせる、装置。
それぞれの２つ以上のマイクから、２つ以上のオーディオ信号を取得することと、
前記２つ以上のオーディオ信号の１つ以上の周波数帯域において、前記２つ以上のオーディオ信号の処理に基づいて、第１音源方向パラメータを決定することであって、前記２つ以上のオーディオ信号を処理することは、前記２つ以上のオーディオ信号に基づいて、１つ以上の修正されたオーディオ信号を提供するようにさらに構成される、決定することと、
前記２つ以上のオーディオ信号の前記１つ以上の周波数帯域において、前記１つ以上の修正されたオーディオ信号に少なくとも部分的に少なくとも基づいて、少なくとも第２音源方向パラメータを決定することと、
を行わせる、装置。
【請求項2】
前記１つ以上の修正されたオーディオ信号を提供する前記装置が、さらに、
前記第１音源方向パラメータによって定義される第１音源の投射で前記２つ以上のオーディオ信号を修正することに基づいて、修正された２つ以上のオーディオ信号を生成するようにされ、
前記２つ以上のオーディオ信号の前記１つ以上の周波数帯域において、前記１つ以上の修正されたオーディオ信号に少なくとも部分的に少なくとも基づいて、少なくとも第２音源方向パラメータを決定するように構成された手段は、前記２つ以上のオーディオ信号の前記１つ以上の周波数帯域において、前記修正された２つ以上のオーディオ信号を処理することによって、少なくとも前記第２音源方向パラメータを決定する、
ようにされる、請求項１に記載の装置。
前記第１音源方向パラメータによって定義される第１音源の投射で前記２つ以上のオーディオ信号を修正することに基づいて、修正された２つ以上のオーディオ信号を生成するようにされ、
前記２つ以上のオーディオ信号の前記１つ以上の周波数帯域において、前記１つ以上の修正されたオーディオ信号に少なくとも部分的に少なくとも基づいて、少なくとも第２音源方向パラメータを決定するように構成された手段は、前記２つ以上のオーディオ信号の前記１つ以上の周波数帯域において、前記修正された２つ以上のオーディオ信号を処理することによって、少なくとも前記第２音源方向パラメータを決定する、
ようにされる、請求項１に記載の装置。
【請求項3】
前記２つ以上のオーディオ信号の１つ以上の周波数帯域において、前記２つ以上のオーディオ信号の前記処理に基づいて、第１音源エネルギーパラメータを決定することと、
前記１つ以上の修正されたオーディオ信号および前記第１音源エネルギーパラメータに少なくとも部分的に少なくとも基づいて、少なくとも第２音源エネルギーパラメータを決定することと、
をさらに行うようにされる、請求項１に記載の装置。
前記１つ以上の修正されたオーディオ信号および前記第１音源エネルギーパラメータに少なくとも部分的に少なくとも基づいて、少なくとも第２音源エネルギーパラメータを決定することと、
をさらに行うようにされる、請求項１に記載の装置。
【請求項4】
前記第１および第２音源エネルギーパラメータは、直接対全エネルギー比であり、前記装置は、少なくとも前記第２音源エネルギーパラメータを決定するようにされ、
前記１つ以上の修正されたオーディオ信号の解析に基づいて、中間的な第２音源エネルギーパラメータ直接対全エネルギー比を決定することと、
前記中間的な第２音源エネルギーパラメータ直接対総エネルギー比、または、前記第１音源エネルギーパラメータ直接対総エネルギー比の値のうち最も小さいものを選択すること、および、前記中間的な第２音源エネルギー直接対総エネルギー比に、前記第１音源エネルギー直接対総エネルギー比の値を１から減算した値を乗算すること、のうちの１つに基づいて、前記第２音源エネルギーパラメータ直接対全エネルギー比を生成することと、
をさらに行うようにされる、請求項３に記載の装置。
前記１つ以上の修正されたオーディオ信号の解析に基づいて、中間的な第２音源エネルギーパラメータ直接対全エネルギー比を決定することと、
前記中間的な第２音源エネルギーパラメータ直接対総エネルギー比、または、前記第１音源エネルギーパラメータ直接対総エネルギー比の値のうち最も小さいものを選択すること、および、前記中間的な第２音源エネルギー直接対総エネルギー比に、前記第１音源エネルギー直接対総エネルギー比の値を１から減算した値を乗算すること、のうちの１つに基づいて、前記第２音源エネルギーパラメータ直接対全エネルギー比を生成することと、
をさらに行うようにされる、請求項３に記載の装置。
【請求項5】
前記決定された少なくとも第２音源エネルギーパラメータは、前記装置に、前記第１音源方向パラメータと第２音源方向パラメータとの前記差に対してスケーリングされるように、前記第１音源方向パラメータにさらに基づいて、前記第２音源エネルギーパラメータを決定させる、請求項３記載の装置。
【請求項6】
前記決定された第１音源方向パラメータは、前記装置に、
前記２つ以上のマイクの第１ペアを選択することと、
前記２つ以上のマイクの前記選択されたペアからのそれぞれのオーディオ信号の第１ペアを選択することと、
前記２つ以上のマイクのうちの前記選択されたペアから、それぞれのオーディオ信号の前記第１ペアの間の相関を最大化する遅延を決定することと、
前記２つ以上のマイクの前記選択されたペアからのそれぞれのオーディオ信号の前記第１ペアの間の前記相関を最大化する前記遅延に関連する方向のペアを決定することであって、前記第１音源方向パラメータは、前記決定された方向のペアから選択される、決定することと、
を行わせる、請求項１に記載の装置。
前記２つ以上のマイクの第１ペアを選択することと、
前記２つ以上のマイクの前記選択されたペアからのそれぞれのオーディオ信号の第１ペアを選択することと、
前記２つ以上のマイクのうちの前記選択されたペアから、それぞれのオーディオ信号の前記第１ペアの間の相関を最大化する遅延を決定することと、
前記２つ以上のマイクの前記選択されたペアからのそれぞれのオーディオ信号の前記第１ペアの間の前記相関を最大化する前記遅延に関連する方向のペアを決定することであって、前記第１音源方向パラメータは、前記決定された方向のペアから選択される、決定することと、
を行わせる、請求項１に記載の装置。
【請求項7】
前記２つ以上のオーディオ信号の処理に基づいて、前記決定された第１音源方向パラメータは、前記２つ以上のマイクの選択されたさらなるペアからのそれぞれのオーディオ信号のさらなるペアの間のさらなる相関を最大化するさらなる遅延のさらなる決定に基づいて、前記決定された方向のペアから前記第１音源方向パラメータを選択するように構成されている、請求項６に記載の装置。
【請求項8】
前記２つ以上のオーディオ信号の前記処理に基づいて、前記決定された第１音源エネルギーパラメータは、前記装置に、前記周波数帯域について前記第１ペアのそれぞれのオーディオ信号のエネルギーに対する最大化された相関を正規化することにより、前記第１音源方向パラメータに対応する第１音源エネルギー比を決定させる、請求項６に記載の装置。
【請求項9】
前記提供された１つ以上の修正されたオーディオ信号は、前記装置に、
前記決定された第１音源方向パラメータに基づいて、それぞれのオーディオ信号の第１ペアの間の遅延を決定することと、
前記決定された遅延をそれぞれのオーディオ信号の前記第１ペアのうちの１つに適用することに基づいて、それぞれのオーディオ信号の前記第１ペアを整合させることと、
それぞれのオーディオ信号の前記第１ペアのそれぞれから共通成分を特定することと、
それぞれのオーディオ信号の前記第１ペアのそれぞれから前記共通成分を減算することと、
前記それぞれのオーディオ信号１つの前記減算された成分に対して前記遅延を復元し、１つまたは複数の修正されたオーディオ信号を生成することと、
を行わせる、請求項１に記載の装置。
前記決定された第１音源方向パラメータに基づいて、それぞれのオーディオ信号の第１ペアの間の遅延を決定することと、
前記決定された遅延をそれぞれのオーディオ信号の前記第１ペアのうちの１つに適用することに基づいて、それぞれのオーディオ信号の前記第１ペアを整合させることと、
それぞれのオーディオ信号の前記第１ペアのそれぞれから共通成分を特定することと、
それぞれのオーディオ信号の前記第１ペアのそれぞれから前記共通成分を減算することと、
前記それぞれのオーディオ信号１つの前記減算された成分に対して前記遅延を復元し、１つまたは複数の修正されたオーディオ信号を生成することと、
を行わせる、請求項１に記載の装置。
【請求項10】
前記提供された１つ以上の修正されたオーディオ信号は、前記装置に、
前記決定された第１音源方向パラメータに基づいて、それぞれのオーディオ信号の第１ペアの間の遅延を決定することと、
前記決定された遅延をそれぞれのオーディオ信号の前記第１ペアのうちの１つに適用することに基づいて、それぞれのオーディオ信号の前記第１ペアを整合させることと、
それぞれのオーディオ信号の前記第１ペアのそれぞれから共通成分を特定することと、
修正された共通成分をそれぞれのオーディオ信号の前記第１ペアのそれぞれから減算することであって、前記修正された共通成分は、マイクの前記ペアに関連付けられたマイクに関連付けられた利得値を乗じた前記共通成分である、減算することと、
前記それぞれのオーディオ信号の１つの前記減算された利得乗算成分に前記遅延を復元して、前記修正された２つ以上のオーディオ信号を生成することと、
を行わせる、請求項１に記載の装置。
前記決定された第１音源方向パラメータに基づいて、それぞれのオーディオ信号の第１ペアの間の遅延を決定することと、
前記決定された遅延をそれぞれのオーディオ信号の前記第１ペアのうちの１つに適用することに基づいて、それぞれのオーディオ信号の前記第１ペアを整合させることと、
それぞれのオーディオ信号の前記第１ペアのそれぞれから共通成分を特定することと、
修正された共通成分をそれぞれのオーディオ信号の前記第１ペアのそれぞれから減算することであって、前記修正された共通成分は、マイクの前記ペアに関連付けられたマイクに関連付けられた利得値を乗じた前記共通成分である、減算することと、
前記それぞれのオーディオ信号の１つの前記減算された利得乗算成分に前記遅延を復元して、前記修正された２つ以上のオーディオ信号を生成することと、
を行わせる、請求項１に記載の装置。
【請求項11】
前記提供された１つ以上の修正されたオーディオ信号は、前記装置に、
前記決定された第１音源方向パラメータに基づいて、それぞれのオーディオ信号の第１ペア間の遅延を決定することであって、前記それぞれのオーディオ信号は、前記２つ以上のマイクの選択された第１ペアからのものである、決定することと、
前記決定された遅延をそれぞれのオーディオ信号の前記第１ペアのうちの１つに適用することに基づいて、それぞれのオーディオ信号の前記第１ペアを整合させることと、
前記２つ以上のマイクのうちの選択された追加のペアからそれぞれのオーディオ信号の追加のペアを選択することと、
決定された追加の音源方向パラメータに基づいて、それぞれのオーディオ信号の前記追加のペアの間の追加の遅延を決定することと、
前記決定された追加の遅延をそれぞれのオーディオ信号の前記追加のペアのうちの１つへの適用に基づいて、それぞれのオーディオ信号の前記追加のペアを整合させることと、
それぞれのオーディオ信号の前記第１および第２ペアから共通成分を特定することと、
前記共通成分または修正された共通成分をそれぞれのオーディオ信号の前記第１ペアのそれぞれから減算することであって、前記修正された共通成分は、マイクの前記第１ペアに関連付けられたマイクに関連付けられた利得値を乗じた共通成分である、減算することと、
前記それぞれのオーディオ信号のうちの１つの前記減算された利得乗算成分に前記遅延を復元し、前記修正された２つ以上のオーディオ信号を生成することと、
を行わせる、請求項１に記載の装置。
前記決定された第１音源方向パラメータに基づいて、それぞれのオーディオ信号の第１ペア間の遅延を決定することであって、前記それぞれのオーディオ信号は、前記２つ以上のマイクの選択された第１ペアからのものである、決定することと、
前記決定された遅延をそれぞれのオーディオ信号の前記第１ペアのうちの１つに適用することに基づいて、それぞれのオーディオ信号の前記第１ペアを整合させることと、
前記２つ以上のマイクのうちの選択された追加のペアからそれぞれのオーディオ信号の追加のペアを選択することと、
決定された追加の音源方向パラメータに基づいて、それぞれのオーディオ信号の前記追加のペアの間の追加の遅延を決定することと、
前記決定された追加の遅延をそれぞれのオーディオ信号の前記追加のペアのうちの１つへの適用に基づいて、それぞれのオーディオ信号の前記追加のペアを整合させることと、
それぞれのオーディオ信号の前記第１および第２ペアから共通成分を特定することと、
前記共通成分または修正された共通成分をそれぞれのオーディオ信号の前記第１ペアのそれぞれから減算することであって、前記修正された共通成分は、マイクの前記第１ペアに関連付けられたマイクに関連付けられた利得値を乗じた共通成分である、減算することと、
前記それぞれのオーディオ信号のうちの１つの前記減算された利得乗算成分に前記遅延を復元し、前記修正された２つ以上のオーディオ信号を生成することと、
を行わせる、請求項１に記載の装置。
【請求項12】
前記取得された２つ以上のオーディオ信号が、前記装置に、
前記２つ以上のオーディオ信号を取得するために前記２つ以上のマイクの第１ペアを選択し、２つ以上のオーディオ信号の第２ペアを取得するために前記２つ以上のマイクの第２ペアを選択することを含み、前記２つ以上のマイクの前記第２ペアは、前記第１音源方向パラメータに対してオーディオシャドウにあり、前記提供された１つ以上の修正されたオーディオ信号が、前記装置に、前記１つ以上の修正されたオーディオ信号に少なくとも部分的に関連して、決定された少なくとも第２音源方向パラメータに基づいて、２つ以上のオーディオ信号の前記第２ペアを提供させる、請求項１に記載の装置。
前記２つ以上のオーディオ信号を取得するために前記２つ以上のマイクの第１ペアを選択し、２つ以上のオーディオ信号の第２ペアを取得するために前記２つ以上のマイクの第２ペアを選択することを含み、前記２つ以上のマイクの前記第２ペアは、前記第１音源方向パラメータに対してオーディオシャドウにあり、前記提供された１つ以上の修正されたオーディオ信号が、前記装置に、前記１つ以上の修正されたオーディオ信号に少なくとも部分的に関連して、決定された少なくとも第２音源方向パラメータに基づいて、２つ以上のオーディオ信号の前記第２ペアを提供させる、請求項１に記載の装置。
【請求項13】
前記１つ以上の周波数帯域は、閾値周波数より低い、請求項１２に記載の装置。
【請求項14】
装置のための方法であって、
それぞれの２つ以上のマイクから２つ以上のオーディオ信号を取得することと、
前記２つ以上のオーディオ信号の１つ以上の周波数帯域において、前記２つ以上のオーディオ信号の処理に基づいて、第１音源方向パラメータを決定することであって、前記２つ以上のオーディオ信号の処理は、前記２つ以上のオーディオ信号に基づいて、１つ以上の修正されたオーディオ信号を提供するようにさらに構成される、決定することと、
前記２つ以上のオーディオ信号の前記１つ以上の周波数帯域において、前記１つ以上の修正されたオーディオ信号に少なくとも部分的に少なくとも基づいて、少なくとも第２音源方向パラメータを決定することと、
を含む、方法。
それぞれの２つ以上のマイクから２つ以上のオーディオ信号を取得することと、
前記２つ以上のオーディオ信号の１つ以上の周波数帯域において、前記２つ以上のオーディオ信号の処理に基づいて、第１音源方向パラメータを決定することであって、前記２つ以上のオーディオ信号の処理は、前記２つ以上のオーディオ信号に基づいて、１つ以上の修正されたオーディオ信号を提供するようにさらに構成される、決定することと、
前記２つ以上のオーディオ信号の前記１つ以上の周波数帯域において、前記１つ以上の修正されたオーディオ信号に少なくとも部分的に少なくとも基づいて、少なくとも第２音源方向パラメータを決定することと、
を含む、方法。
【請求項15】
前記２つ以上のオーディオ信号に基づいて、１つ以上の修正されたオーディオ信号を提供することは、さらに、
前記第１音源方向パラメータによって定義される第１音源の投射で前記２つ以上のオーディオ信号を修正することに基づいて、修正された２つ以上のオーディオ信号を生成ことと、
前記２つ以上のオーディオ信号の前記１つ以上の周波数帯域において、前記１つ以上の修正されたオーディオ信号に少なくとも部分的に少なくとも基づいて、少なくとも第２音源方向パラメータを決定することであって、前記２つ以上のオーディオ信号の前記１つ以上の周波数帯域において、前記修正された２つ以上のオーディオ信号を処理することによって、前記少なくとも第２音源方向パラメータを決定することを含む、決定することと、
を含む、請求項１４に記載の方法。
前記第１音源方向パラメータによって定義される第１音源の投射で前記２つ以上のオーディオ信号を修正することに基づいて、修正された２つ以上のオーディオ信号を生成ことと、
前記２つ以上のオーディオ信号の前記１つ以上の周波数帯域において、前記１つ以上の修正されたオーディオ信号に少なくとも部分的に少なくとも基づいて、少なくとも第２音源方向パラメータを決定することであって、前記２つ以上のオーディオ信号の前記１つ以上の周波数帯域において、前記修正された２つ以上のオーディオ信号を処理することによって、前記少なくとも第２音源方向パラメータを決定することを含む、決定することと、
を含む、請求項１４に記載の方法。
【請求項16】
前記２つ以上のオーディオ信号の１つ以上の周波数帯域において、前記２つ以上のオーディオ信号の前記処理に基づいて、第１音源エネルギーパラメータを決定することと、
前記１つ以上の修正されたオーディオ信号および前記第１音源エネルギーパラメータの少なくとも部分的に少なくとも基づいて、少なくとも第２音源エネルギーパラメータを決定することと、
をさらに含む、請求項１４に記載の方法。
前記１つ以上の修正されたオーディオ信号および前記第１音源エネルギーパラメータの少なくとも部分的に少なくとも基づいて、少なくとも第２音源エネルギーパラメータを決定することと、
をさらに含む、請求項１４に記載の方法。
【請求項17】
前記第１および第２音源エネルギーパラメータは、直接対全エネルギー比であり、前記１つ以上の修正されたオーディオ信号に少なくとも部分的に少なくとも基づいて、少なくとも第２音源エネルギーパラメータを決定することは、
前記１つ以上の修正されたオーディオ信号の解析に基づいて、中間的な第２音源エネルギーパラメータ直接対全体エネルギー比を決定することと、
前記中間的な第２音源エネルギーパラメータ直接対全エネルギー比、または、前記第１音源エネルギーパラメータ直接対全エネルギー比の値から１を減じた値のうち、最も小さいものを選択すること、または、
前記中間的な第２音源エネルギーパラメータ直接対全エネルギー比に、前記第１音源エネルギーパラメータ直接対全エネルギー比の値から１を減じた値を乗算すること、
のうちの１つに基づいて、前記第２音源エネルギーパラメータ直接対全エネルギー比を生成することと、
を含む、請求項１６に記載の方法。
前記１つ以上の修正されたオーディオ信号の解析に基づいて、中間的な第２音源エネルギーパラメータ直接対全体エネルギー比を決定することと、
前記中間的な第２音源エネルギーパラメータ直接対全エネルギー比、または、前記第１音源エネルギーパラメータ直接対全エネルギー比の値から１を減じた値のうち、最も小さいものを選択すること、または、
前記中間的な第２音源エネルギーパラメータ直接対全エネルギー比に、前記第１音源エネルギーパラメータ直接対全エネルギー比の値から１を減じた値を乗算すること、
のうちの１つに基づいて、前記第２音源エネルギーパラメータ直接対全エネルギー比を生成することと、
を含む、請求項１６に記載の方法。
【請求項18】
前記１つ以上の修正されたオーディオ信号および前記第１音源エネルギーパラメータに少なくとも部分的に少なくとも基づいて、前記少なくとも第２音源エネルギーパラメータを決定することは、第２音源エネルギーパラメータが、前記第１音源方向パラメータと第２音源方向パラメータとの前記差に対してスケーリングされるように、前記第１音源方向パラメータにさらに基づいて、前記少なくとも第２音源エネルギーパラメータを決定することを含む、請求項１６に記載の方法。
【請求項19】
前記２つ以上のオーディオ信号の１つ以上の周波数帯域において、前記２つ以上のオーディオ信号の処理に基づいて、第１音源方向パラメータを決定することは、
前記２つ以上のマイクの第１ペアを選択することと、
前記選択された２つ以上のマイクの前記選択されたペアから、それぞれのオーディオ信号の第１ペアを選択することと、
前記２つ以上のマイクのうちの前記選択されたペアからのそれぞれのオーディオ信号の前記第１ペアの間の相関を最大化する遅延を決定することと、
前記２つ以上のマイクの前記選択されたペアからのそれぞれのオーディオ信号の前記第１ペアの間の前記相関を最大化する前記遅延に関連する方向のペアを決定することであって、前記第１音源方向パラメータは、決定された方向の前記ペアから選択される、決定することと、
を含む、請求項１４に記載の方法。
前記２つ以上のマイクの第１ペアを選択することと、
前記選択された２つ以上のマイクの前記選択されたペアから、それぞれのオーディオ信号の第１ペアを選択することと、
前記２つ以上のマイクのうちの前記選択されたペアからのそれぞれのオーディオ信号の前記第１ペアの間の相関を最大化する遅延を決定することと、
前記２つ以上のマイクの前記選択されたペアからのそれぞれのオーディオ信号の前記第１ペアの間の前記相関を最大化する前記遅延に関連する方向のペアを決定することであって、前記第１音源方向パラメータは、決定された方向の前記ペアから選択される、決定することと、
を含む、請求項１４に記載の方法。
【請求項20】
前記２つ以上のオーディオ信号の１つ以上の周波数帯域において、前記２つ以上のオーディオ信号の処理に基づいて、第１音源方向パラメータを決定することは、前記２つ以上のマイクの選択されたさらなるペアからのそれぞれのオーディオ信号のさらなるペアの間のさらなる相関を最大化するさらなる遅延のさらなる決定に基づいて、決定した方向の前記ペアから前記第１音源方向パラメータを選択することを含む、請求項１９に記載の方法。
【外国語明細書】