知財求人 - 知財ポータルサイト「IP Force」
▶ フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオの特許一覧
特許5941545透かしを入れたオーディオ信号およびマイクロホンアレイを用いる到来方向推定
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】5941545
(24)【登録日】2016年5月27日
(45)【発行日】2016年6月29日
(54)【発明の名称】透かしを入れたオーディオ信号およびマイクロホンアレイを用いる到来方向推定
(51)【国際特許分類】
G10L 19/018 20130101AFI20160616BHJP
G10L 19/00 20130101ALI20160616BHJP
G10L 25/51 20130101ALI20160616BHJP
【ＦＩ】
G10L19/018
G10L19/00 330Z
G10L25/51 400
【請求項の数】16
【全頁数】42
(21)【出願番号】特願2014-527673(P2014-527673)
(86)(22)【出願日】2012年8月31日
(65)【公表番号】特表2014-527649(P2014-527649A)
(43)【公表日】2014年10月16日
(86)【国際出願番号】EP2012066964
(87)【国際公開番号】WO2013030339
(87)【国際公開日】20130307
【審査請求日】2014年4月28日
(31)【優先権主張番号】11179591.0
(32)【優先日】2011年8月31日
(33)【優先権主張国】EP
(73)【特許権者】
【識別番号】591037214
【氏名又は名称】フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ
(74)【代理人】
【識別番号】100079577
【弁理士】
【氏名又は名称】岡田 全啓
(74)【代理人】
【識別番号】100167966
【弁理士】
【氏名又は名称】扇谷 一
(72)【発明者】
【氏名】ティールガルト オリヴァー
(72)【発明者】
【氏名】デル ガルド ジョヴァンニ
(72)【発明者】
【氏名】コルベック フロリアン
(72)【発明者】
【氏名】クラチウン アレクサンドラ
(72)【発明者】
【氏名】クレーゲロウ シュテファン
(72)【発明者】
【氏名】ボーサム ユリアーネ
(72)【発明者】
【氏名】ブリーム トビアス
【審査官】
間宮 嘉誉
(56)【参考文献】
【文献】
特開２００８−６４５６８（ＪＰ，Ａ）
【文献】
特開２００９−８０３０９（ＪＰ，Ａ）
【文献】
特開２０１０−１５６７４１（ＪＰ，Ａ）
【文献】
特開２０１１−１３９３７８（ＪＰ，Ａ）
【文献】
米国特許出願公開第２００４／０１６９５８１（ＵＳ，Ａ１）
【文献】
特開２０１０−１６９４４３（ＪＰ，Ａ）
【文献】
石井三知夫，外２名，マイクロホンアレーを用いた複数種音源位置推定及び種別判定，映像情報メディア学会技術報告，日本，社団法人映像情報メディア学会，２００９年 ２月２８日，Vol.33, No.11，pp.33-36
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｇ１０Ｌ １９／００−１９／２６
Ｇ１０Ｌ ２５／００−２５／９３
(57)【特許請求の範囲】
【請求項1】
埋め込まれた透かしを有する再生されたオーディオ信号（ａｗｍ）に基づいて方向情報を提供するための装置（１００）であって、
異なる空間位置で少なくとも２つのオーディオレシーバ（２２１、２２２）によって記録される少なくとも２つの記録された透かしを入れたオーディオ信号（ｒｘ１、ｒｘ２）を処理するように構成される信号プロセッサ（１１０）であって、前記オーディオレシーバ（２２１、２２２）は、前記記録された透かしを入れたオーディオ信号（ｒｘ１、ｒｘ２）を得るために前記再生されたオーディオ信号（ａｗｍ）の音波を記録するように構成され、それぞれの記録された透かしを入れたオーディオ信号（ｒｘ１、ｒｘ２）は、前記埋め込まれた透かしを含み、前記信号プロセッサ（１１０）は、記録された透かしを入れたオーディオ信号（ｒｘ１、ｒｘ２）ごとのレシーバに特有の情報として位相情報を得るために前記記録された透かしを入れたオーディオ信号（ｒｘ１、ｒｘ２）を処理するように構成され、前記レシーバに特有の情報は、前記記録された透かしを入れたオーディオ信号（ｒｘ１、ｒｘ２）に埋め込まれる前記埋め込まれた透かしに依存する、信号プロセッサ、および
記録された透かしを入れたオーディオ信号（ｒｘ１、ｒｘ２）ごとの前記レシーバに特有の情報に基づいて方向情報を提供するための方向情報プロバイダ（１２０）を含む、装置。
異なる空間位置で少なくとも２つのオーディオレシーバ（２２１、２２２）によって記録される少なくとも２つの記録された透かしを入れたオーディオ信号（ｒｘ１、ｒｘ２）を処理するように構成される信号プロセッサ（１１０）であって、前記オーディオレシーバ（２２１、２２２）は、前記記録された透かしを入れたオーディオ信号（ｒｘ１、ｒｘ２）を得るために前記再生されたオーディオ信号（ａｗｍ）の音波を記録するように構成され、それぞれの記録された透かしを入れたオーディオ信号（ｒｘ１、ｒｘ２）は、前記埋め込まれた透かしを含み、前記信号プロセッサ（１１０）は、記録された透かしを入れたオーディオ信号（ｒｘ１、ｒｘ２）ごとのレシーバに特有の情報として位相情報を得るために前記記録された透かしを入れたオーディオ信号（ｒｘ１、ｒｘ２）を処理するように構成され、前記レシーバに特有の情報は、前記記録された透かしを入れたオーディオ信号（ｒｘ１、ｒｘ２）に埋め込まれる前記埋め込まれた透かしに依存する、信号プロセッサ、および
記録された透かしを入れたオーディオ信号（ｒｘ１、ｒｘ２）ごとの前記レシーバに特有の情報に基づいて方向情報を提供するための方向情報プロバイダ（１２０）を含む、装置。
【請求項2】
前記信号プロセッサ（１１０）は、複数のサブバンド信号を含む時間周波数領域伝送信号を得るために前記記録された透かしを入れたオーディオ信号（ｒｘ１、ｒｘ２）を時間領域から時間周波数領域に変換するための分析モジュール（７１１、７１２、７１Ｎ）を含む、請求項１に記載の装置（１００）。
【請求項3】
前記信号プロセッサ（１１０）は、前記レシーバに特有の情報として複素数を決定するように構成される、請求項１または請求項２に記載の装置（１００）。
【請求項4】
前記信号プロセッサ（１１０）は、決定された平均化された複素係数に基づいて前記位相情報として平均化された位相値を決定するように構成される、請求項１ないし請求項３のうちの１つに記載の装置（１００）。
【請求項5】
前記信号プロセッサ（１１０）は、サブバンド信号の処理された複素係数を含む平均化された周期的なブロックを決定することによって前記平均化された複素係数を生成するように構成される、請求項４に記載の装置（１００）。
【請求項6】
前記信号プロセッサ（１１０）は、前記レシーバに特有の情報として位相情報を決定するように構成され、前記信号プロセッサ（１１０）は、決定された平均化された複素係数に基づいて前記位相情報として平均化された位相値を決定するように構成され、さらに、前記信号プロセッサ（１１０）は、前記複数のサブバンド信号のうちの１つの処理された複素係数を含む平均化された周期的なブロックを決定することによって前記平均化された複素係数を生成するように構成される、請求項２に記載の装置（１００）。
【請求項7】
前記信号プロセッサ（１１０）は、前記サブバンド信号の前記処理された複素係数のうちの少なくとも２つを結合することによって前記平均化された複素係数を決定するように構成され、前記処理された複素係数は、等しい位相値または弧度法において０．５ラジアンを超えないで異なる位相値を有する、請求項５または請求項６に記載の装置（１００）。
【請求項8】
前記信号プロセッサ（１１０）は、前記複素係数のうちの少なくとも１つの前記位相値を所定の数だけ変えることによって前記処理された複素係数を生成するように構成される、請求項５ないし請求項７のうちの１つに記載の装置（１００）。
【請求項9】
前記信号プロセッサ（１１０）は、透かし署名の第１のビットを符号化する複素係数の位置を示す同期ヒット位置を決定するように構成される、請求項１ないし請求項８のうちの１つに記載の装置（１００）。
【請求項10】
前記信号プロセッサ（１１０）は、前記記録された透かしを入れたオーディオ信号（ｒｘ１、ｒｘ２）に埋め込まれる前記埋め込まれた透かしの透かし署名の第１のビットを符号化する前記処理された複素係数のうちの少なくとも１つの位置を示す同期ヒット位置を決定するように構成される、請求項５ないし請求項８のうちの１つに記載の装置（１００）。
【請求項11】
前記方向情報プロバイダ（１２０）は、方向情報を決定しさらに提供するための複素数を使用するように構成される、請求項１ないし請求項１０のうちの１つに記載の装置（１００）。
【請求項12】
前記方向情報プロバイダ（１２０）は、方向情報として到来方向ベクトルを提供するように構成される、請求項１ないし請求項１１のうちの１つに記載の装置（１００）。
【請求項13】
空間位置推定のための装置であって、
請求項１ないし請求項１１のうちの１つに記載の方向情報を提供するための装置（１００）、および
空間位置推定のための前記装置の位置を推定するための位置推定器（３００）であって、前記位置推定器（３００）は、方向情報を提供するための前記装置によって提供される前記方向情報に基づいて空間位置推定のための前記装置の前記位置を推定するように構成される、位置推定器を含む、装置。
請求項１ないし請求項１１のうちの１つに記載の方向情報を提供するための装置（１００）、および
空間位置推定のための前記装置の位置を推定するための位置推定器（３００）であって、前記位置推定器（３００）は、方向情報を提供するための前記装置によって提供される前記方向情報に基づいて空間位置推定のための前記装置の前記位置を推定するように構成される、位置推定器を含む、装置。
【請求項14】
方向情報を提供するための方法であって、
透かしを入れたオーディオ信号を受信するステップであって、それぞれの記録された透かしを入れたオーディオ信号（ｒｘ１、ｒｘ２）は、埋め込まれた透かしを含む、ステップ、
記録された透かしを入れたオーディオ信号（ｒｘ１、ｒｘ２）ごとのレシーバに特有の情報として位相情報を決定するために異なる空間位置で少なくとも２つのオーディオレシーバによって記録される少なくとも２つの記録された透かしを入れたオーディオ信号（ｒｘ１、ｒｘ２）を処理するステップであって、前記レシーバに特有の情報は、前記記録された透かしを入れたオーディオ信号（ｒｘ１、ｒｘ２）に埋め込まれる前記埋め込まれた透かしに依存する、ステップ、および
記録された透かしを入れたオーディオ信号（ｒｘ１、ｒｘ２）ごとの前記レシーバに特有の情報に基づいて方向情報を提供するステップを含む、方法。
透かしを入れたオーディオ信号を受信するステップであって、それぞれの記録された透かしを入れたオーディオ信号（ｒｘ１、ｒｘ２）は、埋め込まれた透かしを含む、ステップ、
記録された透かしを入れたオーディオ信号（ｒｘ１、ｒｘ２）ごとのレシーバに特有の情報として位相情報を決定するために異なる空間位置で少なくとも２つのオーディオレシーバによって記録される少なくとも２つの記録された透かしを入れたオーディオ信号（ｒｘ１、ｒｘ２）を処理するステップであって、前記レシーバに特有の情報は、前記記録された透かしを入れたオーディオ信号（ｒｘ１、ｒｘ２）に埋め込まれる前記埋め込まれた透かしに依存する、ステップ、および
記録された透かしを入れたオーディオ信号（ｒｘ１、ｒｘ２）ごとの前記レシーバに特有の情報に基づいて方向情報を提供するステップを含む、方法。
【請求項15】
請求項１４に記載の空間位置推定のための方法であって、
前記透かしを入れたオーディオ信号を受信するステップは、少なくとも２つのオーディオレシーバのアレイを使用することによって行われ、それぞれの記録された透かしを入れたオーディオ信号（ｒｘ１、ｒｘ２）は、埋め込まれた透かしを含み、さらに
前記方法は、前記少なくとも２つのオーディオレシーバでの前記アレイの位置を推定するステップをさらに含み、前記位置は、前記方向情報に基づいて決定される、方法。
前記透かしを入れたオーディオ信号を受信するステップは、少なくとも２つのオーディオレシーバのアレイを使用することによって行われ、それぞれの記録された透かしを入れたオーディオ信号（ｒｘ１、ｒｘ２）は、埋め込まれた透かしを含み、さらに
前記方法は、前記少なくとも２つのオーディオレシーバでの前記アレイの位置を推定するステップをさらに含み、前記位置は、前記方向情報に基づいて決定される、方法。
【請求項16】
コンピュータまたはプロセッサによって実行されるときに、請求項１４または請求項１５に記載の方法を実行するためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、例えばラウドスピーカなどの音響ソースの到来方向を決定すること、並びに空間位置推定のための装置および方法に関する。
【背景技術】
【0002】
例えばローカライゼーション推定および入力信号の到来方向の推定などのサウンドシーンの幾何学的な情報を検索することは、この情報が例えば音響反響制御、シーン分析、ビーム形成、および分散された音響センサのための信号処理などの様々なアプリケーションにおいて有用であるので、ますます重要になっている。
【0003】
例えば、記録されたオーディオ信号を分析する方法があり、そこにおいて、透かし信号は、単一のラウドスピーカがオーディオアイテムを再生しさらにマイクロホンアレイが記録を行うために利用できる場合、埋め込まれない。他のサウンドソース、例えば人間の話し手または別の干渉物が存在しない場合、例えば、方向オーディオ符号化（Ｄｉｒｅｃｔｉｏｎａｌ Ａｕｄｉｏ Ｃｏｄｉｎｇ）を介して、到来方向を推定することが可能である。文献Jukka Ahonen, Giovanni Del Galdo, Markus Kallinger, Fabian Kuech, Ville Pulkki, and Richard Schultz-Amling, "Planar microphone array processing for the analysis and reproduction of spatial audio using directional audio coding", in Audio Engineering Society Convention 124, 5, 2008を参照する。別のソースが、その到来方向が望まれていないサウンドを同時に放出すると、正しい入射角の決定が妨げられる。現在の信号が異なる空間位置から生じる場合、到来方向の２つの異なる推定を得る。この場合、望ましいサウンド信号に関するさらなる情報が必要である。
【0004】
単に１つよりも多いラウドスピーカを有する再生システムのシナリオにおいて、再生された信号が異なる場合、前に説明されたアプローチを用いて到来方向を推定することが可能である。しかしながら、同様のオーディオアイテムが再生される場合、すなわちステレオセットアップにおいて、よく知られた現象、すなわちファントムイメージソースが起こる。これは、サウンドがラウドスピーカ間に位置する仮想ソースによって再生されたかのように知覚されることを意味する。この場合、入射角の推定が失敗する。
【0005】
再生システムの較正を含む特別なアプリケーションのために、例えばＭＬＳまたはスイープ信号を再生する他のよく知られた方法が存在し、それらは、再生されたサウンドの入射角を決定するために用いられる。文献Giovanni Del Galdo, Matthias Lang, Jose Angel Pineda Pardo, Andreas Silzle, and Oliver Thiergart, "Acoustic measurement system for 3-D loudspeaker set-ups", in Audio Engineering Society Conference: Spatial Audio: Sense the Sound of Space, 10 2010を参照する。しかしながら、これらの信号は、聞こえかつたびたびうるさい。さらに、較正は、再生システムを用いることができる前に実行される必要がある。したがって、透かしを入れたオーディオ信号の使用は、システム操作の間に校正を実行することができることを考慮して行うことが好ましい。
【0006】
センサの方向または位置を決定するためのよく用いられた技術は、無線周波数信号および様々なセンサを使用する。この技術に基づく方法が良好な推定を提供するが、それらは、無線周波数信号が禁止されるかまたは用いることが困難である領域において適用できない。さらに、そのようなシナリオにおいて、無線周波数センサが、取り付けられなければならない。
【0007】
また、透かし信号を用いる別の方法が、Ryuki Tachibana, Shuichi Shimizu, Seiji Kobayashi, and Taiga Nakamura, "An audio watermarking method using a two-dimensional pseudo-random array", Signal Process., vol. 82, pp. 1455-1469, October 2002に示される。ここで、記録位置は、１つのマイクロホンだけを用いることおよびいくつかの放出された透かしを入れたオーディオ信号の到来の遅延時間を測定することによって推定される。このシナリオにおいて、利用できる方向情報がなく、さらに、システムは、最小数のラウドスピーカの使用に制限される。
【0008】
上述のように、従来技術は、いくつかの問題を示す。いくつかの従来技術の方法によれば、所望のラウドスピーカに対応しないファントムソースがローカライズされ得る。他の従来技術の方法は、それらが室内において他のソースをローカライズしまたはそれらがラウドスピーカを実際に用いるライブ環境において再生されない特別な測定信号を必要とするという問題を示す。
【先行技術文献】
【非特許文献】
【0009】
【非特許文献1】Jukka Ahonen, Giovanni Del Galdo, Markus Kallinger, Fabian Kuech, Ville Pulkki, and Richard Schultz-Amling, "Planar microphone array processing for the analysis and reproduction of spatial audio using directional audio coding", in Audio Engineering Society Convention 124, 5, 2008
【非特許文献2】Giovanni Del Galdo, Matthias Lang, Jose Angel Pineda Pardo, Andreas Silzle, and Oliver Thiergart, "Acoustic measurement system for 3-D loudspeaker set-ups", in Audio Engineering Society Conference: Spatial Audio: Sense the Sound of Space, 10 2010
【非特許文献3】Ryuki Tachibana, Shuichi Shimizu, Seiji Kobayashi, and Taiga Nakamura, "An audio watermarking method using a two-dimensional pseudo-random array", Signal Process., vol. 82, pp. 1455-1469, October 2002
【発明の概要】
【発明が解決しようとする課題】
【0010】
本発明の目的は、伝送信号の到来方向を決定するための改良された概念を提供することである。本発明の別の態様によれば、空間位置推定のための改良された概念が提供される。
【課題を解決するための手段】
【0011】
本発明の目的は、請求項１に記載の方向情報を提供するための装置、請求項１２に記載の方向情報を提供するための方法、請求項１３に記載の方向情報を提供するためのコンピュータプログラム、請求項１４に記載の空間位置推定のための装置、請求項１５に記載の空間位置推定のための方法および請求項１６に記載の空間位置推定のためのコンピュータプログラムによって解決される。
【0012】
埋め込まれた透かしを有する再生されたオーディオ信号に基づいて方向情報を提供するための装置が提供される。装置は、異なる空間位置で少なくとも２つのオーディオレシーバによって記録される少なくとも２つの受信された透かしを入れたオーディオ信号を処理するように構成される信号プロセッサを含む。オーディオレシーバは、受信された透かしを入れたオーディオ信号を得るために再生されたオーディオ信号の音波を記録するように構成される。それぞれの受信された透かしを入れたオーディオ信号は、埋め込まれた透かしを含む。信号プロセッサは、受信された透かしを入れたオーディオ信号ごとにレシーバに特有の情報を得るために受信された透かしを入れたオーディオ信号を処理するように構成される。さらに、レシーバに特有の情報は、受信された透かしを入れたオーディオ信号に埋め込まれる埋め込まれた透かしに依存する。さらに、装置は、受信された透かしを入れたオーディオ信号ごとにレシーバに特有の情報に基づいて方向情報を提供するための方向情報プロバイダを含む。
【0013】
実施形態は、方向情報、例えばラウドスピーカによって再生されるオーディオ信号の到来方向（ＤｏＡ）を決定するために用いられる方法を述べる。信号は、時間周波数領域において生成された聞こえない透かし信号のためのキャリアとして働く。それは、少なくとも２つのマイクロホンを含むマイクロホンアレイによって記録される。これに続いて、記録は、埋め込まれた透かし信号を検出する目的でさらに処理される。一旦、透かしがリカバーされると、それを、アレイの方向に関連してサウンド源の方向を推定するために用いることができる。アプリケーションに応じて、この概念を、任意の数のラウドスピーカを含むセットアップにさらに適応しおよび適用することができる。
【0014】
実施形態において、信号プロセッサは、複数のサブバンド信号を含む時間周波数領域伝送信号を得るために受信された透かしを入れたオーディオ信号を時間領域から時間周波数領域に変換するための分析モジュールを含む。実施形態において、信号プロセッサは、レシーバに特有の情報として複素数を決定するように構成され得る。例えば、複素数は、オーディオレシーバのうちの１つによって記録される透かしを入れたオーディオ信号の複素係数または平均化された複素係数の値を示し得る。さらなる実施態様において、信号プロセッサは、レシーバに特有の情報として位相情報を決定するように構成され得る。例えば、位相情報は、オーディオレシーバのうちの１つによって記録される透かしを入れたオーディオ信号の位相値または平均化された位相値であってもよい。さらなる実施形態において、信号プロセッサは、レシーバに特有の情報としてオーディオレシーバのうちの１つによって記録される透かしを入れたオーディオ信号の振幅値または平均化された振幅値を決定するように構成され得る。
【0015】
実施形態によれば、信号プロセッサは、決定された平均化された複素係数に基づいて位相情報として平均化された位相値を決定するように構成される。信号プロセッサは、サブバンド信号の処理された複素係数を含む平均化された周期的なブロックを決定することによって平均化された複素係数を生成するように構成され得る。
【0016】
実施形態において、信号プロセッサは、サブバンド信号の少なくとも２つの処理された複素係数を結合することによって平均化された複素係数を決定するように構成され、処理された複素係数は、等しい位相値または弧度法において０．５ラジアンを超えずに異なる位相値を有する。信号プロセッサは、対蹠的ＢＰＳＫが変調スキームとして用いられるときに、所定の数だけ例えば１８０°だけ複素係数の位相値を変えることによって、または、用いられる変調スキームおよび知られた埋め込まれたシーケンスに依存する適切な位相値によって、処理された複素係数を生成するようにさらに構成され得る。
【0017】
実施形態によれば、信号プロセッサは、透かし署名の第１のビットを符号化する複素係数の位置を示す同期ヒット位置を決定するように構成される。
【0018】
方向情報プロバイダは、方向情報を決定しさらに提供するために位相値を使用するように構成され得る。さらに、方向情報プロバイダは、方向情報として到来方向ベクトルを提供するように構成され得る。
【0019】
さらに、方向情報を提供するための方法が提供される。方法は、透かしを入れたオーディオ信号を受信するステップであって、それぞれの受信された透かしを入れたオーディオ信号は、埋め込まれた透かしを含む、ステップと、受信された透かしを入れたオーディオ信号ごとにレシーバに特有の情報を決定するために異なる空間位置で少なくとも２つのオーディオレシーバによって記録される少なくとも２つの受信された透かしを入れたオーディオ信号を処理するステップであって、レシーバに特有の情報は、受信された透かしを入れたオーディオ信号に埋め込まれる埋め込まれた透かしに依存する、ステップと、受信された透かしを入れたオーディオ信号ごとにレシーバに特有の情報に基づいて方向情報を提供するステップとを含む。
【0020】
さらに、空間位置推定のための装置が提供される。装置は、実施形態による方向情報を提供するための装置と、空間位置推定のための装置の位置を推定するための位置推定器であって、位置推定器は、方向情報を提供するための装置によって提供される方向情報に基づいて空間位置推定のための装置の位置を推定するように構成される、位置推定器とを含む。
【0021】
空間位置推定のための概念は、十分な数のラウドスピーカが利用できさらにそれらの空間位置が知られていれば、マイクロホンアレイの空間記録位置を決定することに基づく。例えば、３つのラウドスピーカが、共通の平面においてマイクロホンアレイの位置を決定するために使用され得る。提案された概念が方位角の決定に制限されないことに言及すべきである。これに加えて、仰角を、用いられた方向推定方法に応じて推定することができる。
【0022】
さらに、空間位置推定のための方法が提供される。方法は、少なくとも２つのオーディオレシーバのアレイを使用することによって透かしを入れたオーディオ信号を受信するステップであって、それぞれの受信された透かしを入れたオーディオ信号は、埋め込まれた透かしを含む、ステップと、受信された透かしを入れたオーディオ信号ごとにレシーバに特有の情報を決定するために異なる空間位置で少なくとも２つのオーディオレシーバによって記録される少なくとも２つの受信された透かしを入れたオーディオ信号を処理するステップであって、レシーバに特有の情報は、受信された透かしを入れたオーディオ信号に埋め込まれる埋め込まれた透かしに依存する、ステップと、受信された透かしを入れたオーディオ信号ごとにレシーバに特有の情報に基づいて方向情報を提供するステップと、少なくとも２つのオーディオレシーバのアレイの位置を推定するステップであって、位置は、方向情報に基づいて決定される、ステップとを含む。
【0023】
可能なアプリケーションの例は、例えば、特定のオーディオ信号の再生に反応することができる玩具であり、例えば、アクション人形が、特定のＴＶ連続番組が再生されるときにＴＶの方にその頭部を動かすことができる。
【0024】
さらなるアプリケーションの例は、再生システムの較正であり、本発明を、会議がすでに進行しまたはオーディオアイテムが再生される間に、再生システム、例えば通信会議のためのセットアップまたはホームシアタシステムを自動的に校正するために、用いることができる。この場合、前の較正は、必要でない。
【0025】
さらに、オーディオ信号のチャンネルを、提供された方向情報に応じて特定の位置で特定のラウドスピーカのサウンドを大きくしまたは小さくするために操作することができる。さらに、ユーザには、提供された方向情報に応じてサウンドシステムのラウドスピーカを最適に配置する方法を、システムによって指示することができる。
【0026】
さらなるアプリケーションの例は、空間位置推定のための上述の装置である。
【0027】
好適な実施形態が、図面に関して説明される。
【図面の簡単な説明】
【0028】
【発明を実施するための形態】
【0029】
１． 図１による方向情報を提供するための装置
【0030】
図１は、実施形態による埋め込まれた透かしを有する再生されたオーディオ信号に基づいて方向情報を提供するための装置１００を示す。装置１００は、信号プロセッサ１１０を含む。信号プロセッサ１１０は、異なる空間位置で少なくとも２つのオーディオレシーバによって記録される少なくとも２つの受信された透かしを入れたオーディオ信号ｒｘ１、ｒｘ２を処理するように構成される。少なくとも２つのオーディオレシーバは、少なくとも２つの受信された透かしを入れたオーディオ信号を得るために再生されたオーディオ信号の音波を記録するように構成される。それぞれの受信された透かしを入れたオーディオ信号ｒｘ１、ｒｘ２は、埋め込まれた透かしを含む。さらに、信号プロセッサ１１０は、受信されたオーディオ信号ｒｘ１、ｒｘ２ごとにレシーバに特有の情報ｒｓｉ１、ｒｓｉ２を得るために受信された透かしを入れたオーディオ信号を処理するように構成される。レシーバに特有の情報ｒｓｉ１、ｒｓｉ２は、受信された透かしを入れたオーディオ信号ｒｘ１、ｒｘ２に埋め込まれる透かしに依存する。さらに、方向情報を提供するための装置１００は、方向情報プロバイダ１２０を含む。方向情報プロバイダは、受信されたオーディオ信号ｒｘ１、ｒｘ２ごとにレシーバに特有の情報ｒｓｉ１、ｒｓｉ２に基づいて方向情報ｄｉを提供するように構成される。
【0031】
２． 図２によるアプリケーションシナリオ
【0032】
図２は、方向情報を提供するための装置１００が、２つのオーディオレシーバ２２１、２２２から２つの透かしを入れたオーディオ信号ｒｘ１、ｒｘ２を受信するシナリオを示す。図２において、透かしを含むオーディオ信号ａｗｍは、音波ｓｗとしてラウドスピーカ２１０によって再生される。音波ｓｗは、少なくとも２つの受信されたオーディオ信号ｒｘ１、ｒｘ２を得るために少なくとも２つのオーディオレシーバ２２１、２２２、例えば２つのマイクロホンによって記録される。それぞれの受信されたオーディオ信号ｒｘ１、ｒｘ２は、埋め込まれた透かしを含む。
【0033】
そして、受信された透かしを入れたオーディオ信号ｒｘ１、ｒｘ２は、方向情報を提供するための装置１００の信号プロセッサ１１０に入力される。信号プロセッサ１１０は、受信された透かしを入れたオーディオ信号ｒｘ１、ｒｘ２ごとにレシーバに特有の情報ｒｓｉ１、ｒｓｉ２を得るために受信された透かしを入れたオーディオ信号ｒｘ１、ｒｘ２を処理するように構成される。レシーバに特有の情報は、受信された透かしを入れたオーディオ信号に含まれる透かしに依存する位相情報であってもよい。さらに、位相情報は、オーディオレシーバの空間位置に依存する。例えば、透かしを含む再生されたオーディオ信号の音波は、第２のオーディオレシーバ２２２よりも、第１のオーディオレシーバ２２１に、わずかに早く到着し得る。したがって、第１の受信された信号ｒｘ１における透かしは、第２の受信された信号ｒｘ２におけるものよりもわずかに早く受信される。一般に、両方の受信された信号ｒｘ１、ｒｘ２は、よく似ている。しかしながら、両方の信号が互いに時間的にわずかにずれているので、両方の受信された信号ｒｘ１、ｒｘ２を時間領域から時間周波数領域に変換することは、一般に、同じ周波数サブバンドおよび時間インデックスに関する両方の周波数領域信号の異なる位相値をもたらす。
【0034】
信号プロセッサ１１０は、レシーバに特有の情報ｒｓｉ１、ｒｓｉ２を方向情報プロバイダ１２０に送る。方向情報プロバイダ１２０は、受信されたオーディオ信号ｒｘ１、ｒｘ２ごとにレシーバに特有の情報ｒｓｉ１、ｒｓｉ２に基づいて方向情報ｄｉを提供するように構成される。例えば、方向情報ｄｉは、位相情報に基づいて提供され得る。第１の受信された信号ｒｘ１の第１の位相値および第２の受信された信号ｒｘ２の第２の位相値は、例えば位相差を計算することによって処理され得る。計算された位相差に基づいて、方向情報プロバイダ１２０は、方向情報ｄｉを決定し得る。例えば、再生されたオーディオ信号の音波が生じ得る可能な方向が、決定され得る。
【0035】
３． 透かし生成
【0036】
以下において、透かしに関する背景情報を提供するために、エンコーダにおける透かし生成は、図３ａ〜図５に表される図面に関して説明される。時間周波数領域において透かしを生成する透かしを入れる技術は、参照によりここに組み込まれる、欧州特許出願、出願番号第１０１５４９５３．３、１０１５４９６０．８、１０１５４９６４．０、１０１５４９４８．３、１０１５４９５６．６および１０１５４９５１．７に示される。
【0037】
基本的に、透かしは、別の信号、例えばオーディオ信号において隠される符号化されたビット署名である。ビット署名は、複数の周波数バンド（サブバンド）を使用して符号化され得る。
【0038】
図３ａ〜図３ｃは、異なる周波数バンドにおいて符号化される透かし署名の２進値を示す。透かしが情報を送信するために用いられ得るにもかかわらず、以下において、透かし署名を送信するために透かしを用いる態様に注目する。
【0039】
一般に、透かし署名は、ビットの任意のシーケンス、例えばビットシーケンス［１，１，−１，１，−１，−１］であってもよい。図３ａは、対応する透かし署名３１０を示す。
【0040】
透かしビットシーケンスは、拡散シーケンスを用いることによって周波数において拡散される。例えば、透かし署名をｍ個の周波数バンドに拡散するために、ｍ個の値を含む拡散ベクトルが、使用され得る。最も単純な場合、１ｓ、例えば［１，１，１］だけを含む拡散ベクトルが、使用され得り、それは、透かし署名がそれぞれの周波数バンドごとにコピーされることををもたらす。より高度な実施形態において、拡散ベクトルは、−１ｓ、例えば［１，−１，１］を含んでもよく、それは、透かし署名がそれぞれの−１ビットのためのそれぞれの周波数バンドにおいて符号化されるためにコピーされる前に反転されることをもたらす。図３ｂは、周波数拡散された透かし３２０を得るために拡散ベクトル［１，−１，１，−１］を使用することによって周波数拡散される上述の透かし署名を示す。
【0041】
周波数拡散された透かしは、拡散ベクトルを使用することによって時間領域において拡散されてもよい。例えば、時間拡散のためのベクトル［１，−１］を使用することによって、周波数拡散された透かし署名のそれぞれは、最初にその元の形式で符号化され得り、そして、さらに、符号化されるために反転され得る。図３ｃは、周波数拡散されさらに時間拡散された透かし署名３３０を示し、時間拡散は、拡散ベクトル［１，−１］を使用することによって行われている。
【0042】
周波数においておよびおそらく時間において拡散された後に、透かし署名は、繰り返して符号化され得る。
【0043】
【0044】
ストリームの開始時に、すなわちｊ＝０の場合に、ｂdiff（ｉ，ｊ−１）が１に設定される。
【0045】
【0046】
上述の埋め込みプロセスは、対蹠的ＢＰＳＫ変調スキームを参照し、すなわち、符号化された情報ビットが、単にビット形成関数の符号を変える。あるいは、２つ以上のビットをグループ化することができ、さらに、より高次の変調コンステレーション（例えばＱＡＭまたはＭ−ＰＳＫなど）を用いることができる。差動符号化を、例えば、差動的に符号化されたＱＰＳＫにおいて、共通に行うように、さらに適用することができる。
【0047】
ビットごとのビット整形は、心理音響処理モジュール１０２によって制御される反復プロセスにおいて繰り返される。反復は、それを聞こえなく保つ間に透かしにできるだけ多くのエネルギーを割り当てるために、重みγ（ｉ，ｊ）を微調整することが必要な場合がある。
【0048】
【0049】
ビット形成ベースバンド関数ｇiT（ｔ）は、通常、Ｔbよりも非常に長い時間間隔の間、ゼロでないが、主要なエネルギーは、ビット間隔内に集中している。例が図９ａに示され、同じビット形成ベースバンド関数が２つの隣接するビットのためにプロットされる。図９ａにおいて、Ｔb＝４０ｍｓである。Ｔbの選択および関数の形は、システムにかなりの影響を及ぼす。実際に、より長いシンボルは、より狭い周波数応答を提供する。これは、特に反響する環境において有益である。実際に、そのようなシナリオにおいて、透かしを入れた信号は、それぞれが異なる伝搬時間によって特徴づけられるいくつかの伝搬経路を介してマイクロホンに達する。結果として生じるチャンネルは、強い周波数選択性を示す。時間領域において解釈すると、より長いシンボルは、ビット間隔に匹敵する遅延を有する反響が建設的干渉を生じるように有益であり、それらは、受信された信号エネルギーを増加することを意味する。それにもかかわらず、より長いシンボルは、いくつかの欠点ももたらし、より大きい重なりは、シンボル間干渉（ＩＳＩ）をもたらし得り、さらに、心理音響処理モジュールがより短いシンボルの場合よりも少ないエネルギーを可能にするようにオーディオ信号において隠すことを確かにより困難にする。
【0050】
【0051】
図５は、透かし挿入器５００のブロック概略図を示す。エンコーダ側で、透かし信号５０１ｂは、２進データ５０１ａから、さらに、心理音響処理モジュール５０２で交換される情報５０４、５０５に基づいて、処理ブロック５０１（また透かしジェネレータとしても指定される）において生成される。ブロック５０２から提供される情報は、透かしが聞こえないことを典型的に保証する。透かしジェネレータ５０１によって生成される透かしは、オーディオ信号５０６に加えられる。
【0052】
上述したように、重み付け係数γ（ｉ，ｊ）は、サブバンドごとに波形ｓi;j（ｔ）を計算するために必要である。重み付け係数γ（ｉ，ｊ）の目的は、結果として生じる透かしを入れた信号５０７において聞こえない透かしを隠すことである。重み付け係数γ（ｉ，ｊ）は、３つの部分を含む心理音響処理モジュール５０２によって提供される。第１の部分は、時間オーディオ信号を時間／周波数領域に変換する分析モジュールである。この分析モジュールは、異なる時間／周波数分解能において平行分析を行い得る。分析モジュールの後、時間／周波数データは、心理音響モデル（ＰＡＭ）に転送され、そこにおいて、透かし信号のためのマスキング閾値は、心理音響的な考慮に従って計算される。マスキング閾値は、サブバンドおよび時間ブロックごとにオーディオ信号において隠すことができるエネルギー量を示す。心理音響処理モジュール５０２において最後のブロックは、振幅計算モジュールである。このモジュールは、マスキング閾値が満足されるように、すなわち、埋め込まれたエネルギーがマスキング閾値によって定義されるエネルギー以下であるように、透かし信号の生成において用いられる振幅ゲインを決定する。
【0053】
図６ａにおいて、単一のラウドスピーカ６１０が、透かしを入れたオーディオ信号ａｗｍの再生のために用いられる。最初のステップとして、透かし信号ｗｍは、透かしを入れたオーディオ信号ａｗｍを得るために結合ユニット６０５によってオーディオ信号ａと結合される。透かし信号ｗｍは、図３ａ〜図４に関して述べられるようにつくられ得る。透かしを入れた信号ａｗｍは、図５に関して述べられるように、透かしジェネレータによって生成され得る。例えば、透かし信号ｗｍは、オーディオ信号ａに加えられ得る。
【0054】
そして、結合ユニット装置６０５によって行われる結合から生じる透かしを入れたオーディオ信号ａｗｍは、ラウドスピーカ６１０によって再生され、さらに、Ｎ個の信号ｓ1，ｓ2，・・・，ｓNが得られるように、センサ６２１、６２２、６２Ｎ、例えばマイクロホンアレイのＮ個のマイクロホンによって記録される。記録された信号ｓ1，ｓ2，・・・，ｓNは、透かしを入れたラウドスピーカ信号を含むだけでなく、干渉ノイズ、例えば室内の話し手および反響によって生じる効果も含む。そして、記録された信号ｓ1，ｓ2，・・・，ｓNは、実施形態による方向情報を提供するための装置１００に入力される。装置１００は、方向情報を決定しさらに出力し、例えば、それは、到来方向（ＤｏＡ）を決定しさらに出力し得る。
【0055】
しかしながら、他の構成において、複数のラウドスピーカ６１１，６１２，・・・，６１Ｎは、複数の透かしを入れた信号ａｗｍ1，ａｗｍ2，・・・，ａｗｍMを出力するように構成され得る。これは、図６ｂに示される。異なる透かし信号ｗｍ1，ｗｍ2，・・・，ｗｍMは、オーディオ信号ａ1，ａ2，・・・，ａM、例えばホームシアタ再生のために用いられるオーディオアイテムのパンされたチャンネルに加えられる。現在のシナリオのための処理は、１つのラウドスピーカだけが透かしを入れた信号を再生している状況と似ている。
【0056】
４． 図７による方向情報を提供するための装置
【0057】
図７は、実施形態による方向情報を提供するための装置１００を示す。複数の受信された透かしを入れたオーディオ信号ｓ1，ｓ2，・・・，ｓN、例えば図６に表されるマイクロホン６２１，６２２，・・・，６２Ｎによって記録され得る信号が示される。時間領域において表される受信された透かしを入れた信号ｓ1，ｓ2，・・・，ｓNは、時間周波数領域に変換されさらに正規化されるために分析モジュール７１１，７１２，・・・，７１Ｎに送られる。
【0058】
４．１ 分析モジュール７１１，７１２，・・・，７１Ｎ
【0059】
分析モジュール７１１，７１２，・・・，７１Ｎを説明するために、受信された透かしを入れたオーディオ信号のうちの１つが考慮される。分析モジュールのうちの１つは、分析フィルタバンクを使用することによって透かしを入れたオーディオ信号を時間領域から時間周波数領域に変換する。フィルタバンクの入力は、それぞれの透かしを入れたオーディオ信号である。その出力は、時刻ｊでｉ番目のブランチまたはサブバンドのための複素係数ｂiAFB（ｊ）である。これらの値は、中心周波数ｆiおよび時間ｊ・Ｔｂで信号の振幅およびの位相に関する情報を含む。
【0060】
【0061】
比率１＝Ｔbを用いて係数ｂiAFB（ｔ）を得るために、連続出力ｂiAFB（ｔ）は、サンプリングされなければならない。ビットの正しいタイミングがレシーバによって知られている場合、比率１＝Ｔbを用いるサンプリングが、十分である。しかしながら、ビット同期がまだ知られていないので、サンプリングは、比率Ｎos／Ｔbを用いて行われ、Ｎosは、分析フィルタバンクオーバーサンプリング係数である。十分に大きいＮos（例えばＮos＝４）を選択することによって、少なくとも１つのサンプリングサイクルが理想的なビット同期に十分に近いことを保証することができる。最良のオーバーサンプリング層についての決定は、同期化プロセスの間、行われるので、すべてのオーバーサンプリングされたデータは、その時まで保たれる。
【0062】
ｉ番目のブランチの出力で、係数ｂiAFB（ｊ，ｋ）を有し、ｊは、ビットナンバーまたは時刻を示し、さらに、ｋは、この単一のビット内のオーバーサンプリング位置を示し、ｋ＝１；２；・・・，Ｎosである。
【0063】
図８ａは、時間周波数平面上の係数の位置の例示的な概要を与える。図８ａにおいて、オーバーサンプリング係数は、Ｎos＝２である。長方形の高さおよび幅は、それぞれ、対応する係数ｂiAFB（ｊ，ｋ）によって表される信号の部分の帯域幅および時間間隔を示す。
【0064】
サブバンド周波数ｆiが特定の間隔Δｆの倍数として選択される場合、分析フィルタバンクを、高速フーリエ変換（ＦＦＴ）を用いて効率的に実施することができる。
【0065】
【0066】
ｎ＞１のための正規化は、上述の式の直接的な拡張である。正規化は、サブバンドｉごとにおよび時刻ｊごとに行われる。
【0067】
さらに、正規化係数は、１つのマイクロホンだけのために計算され得り、そして、到来方向推定がレシーバに特有の情報の振幅も用いる場合に、すべてのマイクロホンに適用され得る。
【0068】
図８ｂは、サブバンド信号を示し、２つの透かし信号部分ＷＭ１およびＷＭ２は、時間多重化される。サブバンド信号は、第１のラウドスピーカからの第１のオーディオソースＬＳ１のサウンド部分と第２のラウドスピーカからの第２のサウンドソースＬＳ２のサウンド部分とを含む。さらに、サブバンド信号は、第１のラウドスピーカからの透かし信号部分ＷＭ１または第２のラウドスピーカからの透かし信号部分ＷＭ２も含む。
【0069】
４．２ 選択モジュール７２０
【0070】
図７に戻って、時間周波数領域への変換および正規化の後、時間周波数領域信号Ｓ1，Ｓ2，・・・，ＳNは、選択モジュール７２０に送られる。選択モジュール７２０は、利用できる信号Ｓ1，Ｓ2，・・・，ＳNのいずれが後の同期を実行するために用いられるべきかを決定する。いくつかの可能性が、信号のいずれかを選ぶ選択モジュール７２０のために存在する。実施形態において、選択モジュール７２０は、入力信号Ｓ1，Ｓ2，・・・，ＳNのうちの１つをランダムに選択するように構成される。例えば、選択モジュールは、時間周波数領域信号Ｓ1を選択し得る。他の実施形態において、選択モジュール７２０は、信号Ｓ1，Ｓ2，・・・，ＳNを平均化しさらに平均化された信号を用いるように構成される。
【0071】
４．３ 差動デコーダ７３０
【0072】
【0073】
これは、チャンネルが、通常、それぞれのサブバンドにおいて異なる位相回転を導入するので、サブバンドごとに別に行われなければならない。
【0074】
差動デコーダ７３０は、最初に２つの連続した係数の位相における差を計算し、そして、位相の実数部分をとることによって、いわゆるソフトビットを得るために、入力された信号を差動的に復号化する。結果として生じるソフトビットが任意の実数値をとることができ、さらに、ビットについてのハード決定がまだ行われていないことに留意すべきである。ソフトビットが任意の実数値をとることができるので、それらは、必ずしも、−１または１である必要がないが、その代わりに、−１または１と異なる実数値、例えば０．９２、−０．８８、０．９７などを有し得る。
【0075】
【0076】
そして、差動デコーダ７３０は、ソフトビットストリームを統合モジュール７４０に送り、それは、同期の精度をさらに改善するためにいくつかの同期署名にわたって時間においてソフトビットストリームを統合する。
【0077】
４．４ 統合モジュール７４０
【0078】
統合モジュール７４０が、これからさらに詳細に説明される。単一のラウドスピーカによって生成される１つの透かし署名ｗｍ１だけが使用されるときに、透かし署名ｗｍ１は、透かし署名ｗｍ１の最後のビットが送信されるときに透かし署名ｗｍ１の第１のビットが次に続くなどのように、繰り返して送信される。図９ａは、対応するシーケンスを表す。使用された（例えば時間拡散された）透かし署名ｗｍ１だけがＮ個のビットを含む場合、ビットシーケンスは、Ｎ個のビットの後に繰り返され、そして、透かし署名だけが、長さＮ個のビットの同期ブロックｓｙｎｃを形成する。
【0079】
しかしながら、すでに上で説明したように、システムは、複数のラウドスピーカを含み得る。それぞれのラウドスピーカの到来方向の推定を得るために、記録された信号のどの部分が特定のラウドスピーカによって放出されたかを決定することが必要である。したがって、透かし信号は、多重化されなければならない。異なる可能な方法があり、それらは、通信、すなわち符号分割多元接続（ＣＤＭＡ）、周波数分割多元接続（ＦＤＭＡ）および時分割多元接続（ＴＤＭＡ）においてよく知られている。実施形態において、時分割多元接続が使用される。記録された信号のどの部分が特定のラウドスピーカに属するかを決定するために、異なる透かし署名が、異なるラウドスピーカ信号に埋め込まれる。図１０は、２つのラウドスピーカおよび６つのシーケンスを含む同期署名の使用のための時間多重化を示す。
【0080】
このように、異なるラウドスピーカは、異なる透かし、例えば、時間多重化され得る２つの透かしｗｍ１、ｗｍ２を送信し得る。両方の（例えば時間拡散された）透かしのビット数がＮであると仮定する。最初に、第１の透かし署名ｗｍ１が、送信される。その後、第２の透かし署名が、送信される。そして、第１の透かし署名ｗｍ１は、再び送信され、第２の透かし署名ｗｍ２などが続く。それから、同期ブロックｓｙｎｃは、透かしｗｍ１、ｗｍ２を含み、さらに、２・Ｎ個のビットを有する。図９ｂは、２つの多重化された透かし署名を用いる述べられたシナリオを表す。
【0081】
【0082】
【0083】
統合モジュールは、異なる同期ブロックの複数のソフトビットが透かし復号化プロセスの堅牢性を改善するために加えられるように、ソフトビットを統合するように構成される。
【0084】
最初に、差動的に復号化されたビットを含むビットストリームは、Ｎsync個のビットを有する後の周期的なブロックｐ１、ｐ２、ｐ３に分割される。この時点で、統合モジュール７４０は、同期ブロックの開始位置を認識していない。しかしながら、これは、差動的に復号化されたビットストリームの周期性が同期ブロックの開始点に依存しないが、その代わりに同期ブロックの長さに依存するので、必要でない。そのために、同期ブロックの第１のビットは、周期的なブロック内のどこかに位置し得る。図９ｃは、このシナリオを示す。
【0085】
【0086】
この式において、ｉは、考慮されたサブバンドであり、Ｋは、平均化される同期ブロックの数を表し、ｋは、考慮される現在の同期ブロックを表し、さらに、ｊは、周期的なブロック内に考慮されるビット位置である。平均化された同期ブロックは、Ｎsync個のビット、すなわちｂiavg（０），ｂiavg（１），ｂiavg（２），・・・，ｂiavg（Ｎsync−１）を有する。
【0087】
第１の透かし署名の第１のビットは、平均化された同期ブロックｐ０においてどこかに位置し得る。図９ｄは、平均化された同期ブロックｐ０を示すシナリオを示す。
【0088】
【0089】
統合モジュール７４０によって行われる統合は、平均化されたソフトビットを生成し、または、オーバーサンプリングの場合には、平均化された同期ブロックｐ０のビットの１つごとに複数のＮosのソフトビット値候補を生成する。
【0090】
スピーチ信号が透かしキャリアとして働くさらなる実施形態において、統合は、特に重要であり、なぜなら、それらが透かし信号なしでたびたびギャップを含むからである。これによって、ソフトビットストリームにおいて実在するエラーは、通常、時間において統合が行われるときに低減される。
【0091】
４．５ 同期モジュール７５０
【0092】
ビットストリームが時間において統合された後、統合モジュール７４０は、統合されたソフトビットストリームを堅牢な同期を実行する同期モジュール７５０に送る。さらに詳細には、同期モジュール７５０は、埋め込まれた同期署名を用いる相関を実行する。これから生じるものは、同期ヒット位置である。同期モジュール７５０における同期は、これからさらに詳細に説明される。
【0093】
同期モジュール７５０のタスクは、平均化された同期ブロック内の１つ以上の透かしの時間的アライメントを見つけることである。
【0094】
符号化されたデータにデコーダを同期する問題が２つある。最初のステップにおいて、分析フィルタバンクは、符号化されたデータによってアライメントされなければならなく、すなわち、モジュレータにおいて合成に用いられるビット整形関数ｇiT（ｔ）は、分析のために用いられるフィルタｇiR（ｔ）によってアライメントされなければならない。この問題は、図１２ａに示され、分析フィルタは、合成フィルタと同一である。上部に、３つのビットが見える。説明を簡単にするために、全３つのビットのための波形は、スケールされない。異なるビット間の時間的オフセットは、Ｔbである。下部は、デコーダで同期の問題を示し、フィルタを、異なる時刻に適用することができるが、曲線１２９９ａだけが、正しく、さらに、最良の信号対ノイズ比ＳＮＲおよび信号対妨害比ＳＩＲで第１のビットを抽出することができる。実際に、正しくないアライメントは、ＳＮＲおよびＳＩＲの両方の劣化をもたらす。この第１のアライメントの問題を「ビット同期」と呼ぶ。一旦、ビット同期が達成されると、ビットを、最適に抽出することができる。しかしながら、透かし署名がどこで開始するかを知ることが必要な場合がある。この問題は、図１２ｂに示され、メッセージ同期と呼ばれる。復号化されたビットのストリームにおいて、太い矢印１２９９ｂによってマークされる開始位置だけが、正しく、さらに、ｋ番目のメッセージを復号化することができる。
【0095】
基本的な同期概念を説明するために、最初に、１つのラウドスピーカだけが単一の透かし署名を出力するシステムを参照する。したがって、平均化された同期ブロックは、単一の透かし署名のビットだけを含む。透かし署名は、同期署名と呼ばれる場合がある。
【0096】
さらに、用語同期シーケンスを参照する。同期署名は、複数の同期シーケンスを含み得る。最も単純な場合、同期シーケンスは、単一のビットだけを含み得る。しかしながら、同期署名が複数のビットを含むことも可能である。
【0097】
最初にメッセージ同期について述べる。同期署名は、透かしを入れたオーディオ信号において連続的にさらに周期的に埋め込まれる所定の順序においてＮs個の同期シーケンスからなると仮定される。同期モジュール７５０は、同期シーケンスの時間的アライメントを検索することができる。
【0098】
同期モジュールは、同期シーケンスの時間的アライメントを見つけることによって、それぞれの同期署名の開始を確認することができる。新しい同期署名が開始する時間的位置を同期ヒットと呼ぶ。
【0099】
同期モジュールの処理ブロックは、図１１ａおよび図１１ｂに表される。同期サポートユニットは、同期署名相関器１２０１の出力を分析することによって、すぐにビット同期およびメッセージ同期を行う。時間／周波数領域におけるデータ２０４は、分析モジュールによって提供される。ビット同期がまだ利用できないので、分析モジュールは、係数Ｎosを用いてデータをオーバーサンプリングする。
【0100】
入力データの説明が、図１２ｃに与えられる。この例のために、Ｎos＝４、Ｎt＝２およびＮs＝３をとっている。また、Ｎosは、オーバーサンプリング係数を示し、Ｎtは、時間拡散係数を示し、さらに、Ｎsは、同期シーケンスの数を示す。このように、換言すれば、同期署名は、（ａ、ｂ、およびｃで示される）３つのシーケンスからなる。時間拡散は、拡散シーケンスｃt＝［１ １］Tを用いるこの場合に、単に時間領域において２回それぞれのビットを繰り返す。
【0101】
正確な同期ヒットは、矢印で示され、さらに、それぞれの同期署名の開始に対応する。同期署名の周期は、Ｎt・Ｎos・ｎs＝Ｎsblであり、それは、２・４・３＝２４である。
【0102】
平均化された同期ブロックの周期性のために、統合モジュール７４０によって出力されるような平均化された同期ブロックを考慮するだけで十分である。同期ブロックは、図１２ｄに表されるように１つの同期ヒットを含まなければ（または典型的に含まなければ）ならない。平均化された同期ブロックのビットのそれぞれは、候補同期ヒットである。図１２ｄにおいて、平均化された同期ブロックは、説明のためだけに図において複製された形式で示される。ブロック１２０１のタスクは、同期ブロックの候補ビットのそれぞれのための尤度測度を計算することである。そして、この情報は、同期ヒットを計算するブロック１２０４に送られる。
【0103】
Ｎsbl個の候補同期位置のそれぞれのために、同期署名相関器は、尤度測度を計算し、後者が大きいほど、時間的アライメント（ビットおよび部分的なまたは完全なメッセージ同期の両方）が見られるという可能性が大きい。処理ステップは、図１１ｃに表される。
【0104】
したがって、異なる位置選択と関連した尤度値のシーケンス１２０１ａが得られ得る。ブロック１３０１は、時間的逆拡散を行い、すなわち、すべてのＮt個のビットに時間的拡散シーケンスｃtを乗算し、そして、それらを合計する。これは、Ｎf個の周波数サブバンドのそれぞれのために行われる。
【0105】
図１３ａは例を示す。前のセクションにおいて述べられるような同じパラメータをとり、すなわち、Ｎos＝４、Ｎt＝２およびＮs＝３をとる。候補同期位置が、マークされる。Ｎosオフセットを用いて、そのビットから、Ｎt・Ｎsは、Ｎs個のビットが残されるように、ブロック１３０１およびシーケンスｃtを用いる時間逆拡散によってとられる。
【0106】
ブロック１３０２において、ビットは、Ｎs個の拡散シーケンスでエレメントごとに乗算される（図１３ｂを参照）。
【0107】
ブロック１３０３において、周波数逆拡散が行われ、すなわち、それぞれのビットが、拡散シーケンスｃfで乗算され、そして、周波数に沿って合計される。
【0108】
この時点で、同期位置が正しい場合、Ｎs個の復号化されたビットを有する。ビットがレシーバに知られないので、ブロック１３０４は、Ｎs個の値の絶対値および合計をとることによって尤度測度を計算する。
【0109】
ブロック１３０４の出力は、原理的に、同期署名を探す非コヒーレント相関器である。実際に、小さいＮsを選択するとき、すなわち部分的なメッセージ同期モードのときに、相互に直交する同期シーケンス（例えば、ａ、ｂ、ｃ）を用いることが可能である。そうすることで、相関器が署名によって正しくアライメントされないときに、その出力は、非常に少なく、理想的にはゼロである。完全なメッセージ同期モードを用いるときに、できるだけ多くの直交する同期シーケンスを用いることがアドバイスされ、そして、それらが用いられる順序を注意深く選択することによって署名をつくる。この場合、良好な自動相関関数を用いて拡散シーケンスを探すときのように、同じ理論を適用することができる。相関器がわずかにミスアライメントされるだけのときに、相関器の出力は、理想的な場合においてさえゼロでないが、とにかく、分析フィルタが信号エネルギーを最適に捕えることができないので、完全なアライメントと比較してより小さい。
【0110】
この同期ヒット計算ブロックは、同期位置がどこにあるかを決定するために、同期署名相関器の出力を分析する。システムがＴb／４までのミスアライメントに対してかなり堅牢であり、さらに、Ｔbとして通常約４０ｍｓがとられるので、より安定な同期を達成するために時間とともに１２０１の出力を統合することが可能である。これの可能な実施は、指数的に減衰するインパルス応答を用いて時間に沿って適用されるＩＩＲフィルタによって与えられる。あるいは、従来のＦＩＲ移動平均フィルタを適用することができる。一旦、平均化が行われると、異なるＮt・Ｎsに沿った第２の相関が行われる（「異なる位置選択」）。実際に、同期関数の自己相関関数が知られるという情報を利用したい。これは、最大尤度推定器（Ｍａｘｉｍｕｍ Ｌｉｋｅｌｉｈｏｏｄ ｅｓｔｉｍａｔｏｒ）に対応する。その考えが図１３ｃに示される。曲線は、時間的統合の後のブロック１２０１の出力を示す。同期ヒットを決定する１つの可能性は、単にこの関数の最大を見つけることである。図１３ｄにおいて、同期署名の自己相関関数でフィルタにかけられる（黒色の）同じ関数が見られる。結果として生じる関数は、より太い線によって示される。この場合、最大が、際立っており、さらに、同期ヒットの位置を与える。２つの方法は、高いＳＮＲのためにかなり類似しているが、第２の方法は、低いＳＮＲ領域において非常により良好に機能する。一旦、同期ヒットが見られると、それらは、データを復号化する透かし抽出器２０２に送られる。
【0111】
複数の透かし署名
【0112】
システムは、異なるラウドスピーカによって出力される２つ以上の透かし署名を使用してもよく、透かし署名は、時間多重化される。図１０は、そのような時間多重化された透かし署名を示す。そのような場合、同期モジュール７５０は、埋め込まれた透かし署名の１つごとに別に検索する。したがって、それは、用いられるラウドスピーカおよび異なる透かし信号と同数の同期ヒット位置を検出し、さらに、これらの同期ヒット位置を方向推定器７６０に送る。
【0113】
これによれば、同期署名の同期ヒット位置を見つける上述の概念は、透かしごとに繰り返して適用される。このように、透かしごとに、平均化された同期ブロック内の同期ヒット位置が決定される。それぞれの透かしの同期ヒット位置の決定は、透かしの１つごとに図１１ａ〜図１３ｄに関して説明されるように、繰り返して行われ、考慮された透かしの透かし署名は、同期署名として使用される。
【0114】
そして、記録された信号は、Ｍ個のセグメントに分割され、Ｍ個のセグメントのそれぞれは、特定のラウドスピーカの特定の透かしに属する。それから、到来方向の推定が、セグメントごとに行われる。その結果、方向推定器７６０は、Ｍ個の出力を有し、それぞれは、特定のラウドスピーカによって放出されるサウンドの到来方向を表す。
【0115】
同期モジュール７５０は、平均化された同期ブロック内の１つ以上の同期ヒット位置を提供し、さらに、同期ヒット位置を方向推定器７６０に送る。
【0116】
他の実施態様において、透かしが連続的に埋め込まれ、さらに、１つのラウドスピーカだけが用いられる場合、同期ヒットが計算されることが必ずしも必要でない。これがそうでない場合、同期は、方向推定のための開始点を見つけるために実行されなければならない。
【0117】
４．６ 統合モジュール７４１，７４２，・・・，７４Ｎ
【0118】
図７に戻って、分析モジュール７１１，７１２，・・・，７１Ｎは、時間周波数領域信号Ｓ1，Ｓ2，・・・，ＳNを選択モジュール７２０に提供するだけでなく、信号Ｓ1，Ｓ2，・・・，ＳNを統合モジュール７４１，７４２，・・・，７４Ｎにも提供する。統合モジュール７４１，７４２，・・・，７４Ｎに送られるものは、実際に、選択モジュール７２０に提供されるものと同じ係数である（オーバーサンプリングされた）正規化された複素係数ｂinorm（ｊ，ｑ）である。
【0119】
しかしながら、差動復号化の後に失われる、複素係数に含まれる位相情報が必要であるので、差動復号化は、オーバーサンプリングされた正規化された複素係数が統合モジュール７４１，７４２，・・・，７４Ｎに送られる前に、実行されない。その代わりに、信号の位相情報は、保たれなければならない。差動復号化を適用することによって、この情報は廃棄される。
【0120】
統合モジュール７４１，７４２，・・・，７４Ｎのそれぞれにおいておよびサブバンドｉごとに、最初に、オーバーサンプリングされた正規化された複素係数を含むストリームは、後の周期的なブロックｐ１１、ｐ１２、ｐ１３に分割される。複素係数ストリームは、差動的に復号化されたビットストリームが周期的なブロックｐ１、ｐ２、ｐ３に分割されるように、ブロックにおいて正確に同じ方法で分割される。対応する時間インデックスおよび（オーバーサンプリング位置）を用いるビットおよびサンプルは、対応する周期的なブロックに含まれる。
【0121】
これは、図７および図１４に関して説明される。図７において、信号ｓ１は、分析モジュール７１１に提供され得る。分析モジュール７１１は、複数のサブバンド信号を含む時間周波数領域信号Ｓ１を生成し、サブバンド信号のそれぞれは、複素係数のストリームとして表される。実施形態において、選択モジュール７２０は、後の同期が時間周波数領域信号Ｓ１に基づいて実行されるように、Ｓ１を選択し得る。
【0122】
図１４において、時間周波数領域信号Ｓ１の特定のサブバンドが考慮される。このサブバンドは、複素係数ｃ（ｉ，ｊ）を含み得り、ｉは、サブバンドを示し、さらに、ｊは、時間インデックスを示す。例えば、このサブバンドの複素係数ｃ（ｉ，１）、ｃ（ｉ，２）、ｃ（ｉ，３）、ｃ（ｉ，４）、ｃ（ｉ，５）およびｃ（ｉ，６）を考慮する。差動デコーダによるこれらの値に基づく差動復号化は、６つのソフトビット、すなわち、ｃ（ｉ，１）および前のサブバンドサンプルに基づくｄ（ｉ，１）、ｃ（ｉ，２）および前のｃ（ｉ，１）に基づくｄ（ｉ，２）、ｃ（ｉ，３）および前のｃ（ｉ，２）に基づくｄ（ｉ，３）、ｃ（ｉ，４）および前のｃ（ｉ，３）に基づくｄ（ｉ，４）、ｃ（ｉ，５）および前のｃ（ｉ，４）に基づくｄ（ｉ，５）、およびｃ（ｉ，６）および前のｃ（ｉ，５）に基づくｄ（ｉ，６）を提供する。ｄ（ｉ、ｊ）において、ｉは、サブバンドを表し、さらに、ｊは、時間インデックスを表す。
【0123】
周波数バンドｉの複素係数は、図７の統合モジュール７４１にも送られる。統合モジュール７４０は、これから、ソフトビットｄ（ｉ，１）、ｄ（ｉ，２）、ｄ（ｉ，３）、ｄ（ｉ，４）、ｄ（ｉ，５）、ｄ（ｉ，６）を含む差動的に復号化されたビットストリームを、ｄ（ｉ，１）、ｄ（ｉ，２）およびｄ（ｉ，３）を含む第１の周期的なブロックｐ１と、ｄ（ｉ，４）、ｄ（ｉ，５）およびｄ（ｉ，６）を含む第２の周期的なブロックｐ２とに分割する場合、複素係数ｃ（ｉ，１）、ｃ（ｉ，２）、ｃ（ｉ，３）、ｃ（ｉ，４）、ｃ（ｉ，５）およびｃ（ｉ，６）も、２つのブロックに、すなわち、複素係数ｃ（ｉ，１）、ｃ（ｉ，２）およびｃ（ｉ，３）を含む第１のブロックと、複素係数ｃ（ｉ，４）、ｃ（ｉ，５）およびｃ（ｉ，６）を含む第２のブロックとに分割される（図１４を参照）。
【0124】
同じことが、これらの信号が差動デコーダによって実行される差動復号化のために用いられなかった場合であっても、他の分析モジュール７１Ｎによって生成される他の時間周波数領域信号ＳNのために適用される。
【0125】
上述の概念は、オーバーサンプリングが考慮される場合、等しく適用できる。オーバーサンプリングされたソフトビットｂ（ｉ，ｊ，ｑ）が第１および第２の周期的なブロックｐ１およびｐ２に分割される場合、複素係数ｃ（ｉ，ｊ，ｑ）も、２つのブロックｐ１１およびｐ１２に分割される。（ここで、ｉは、サブバンドを示し、ｊは、時間インデックスを示し、さらに、ｑは、オーバーサンプリング位置を示す。）第１の周期的なブロックｐ１がソフトビットｂ（ｉ，ｊ，ｑ）を含む場合、第１のブロックｐ１１は、同じインデックスｊ、ｑを用いる複素係数ｃ（ｉ，ｊ，ｑ）を含む。第２の周期的なブロックｐ２がソフトビットｂ（ｉ，ｊ，ｑ）を含む場合、第２のブロックｐ１２も、同じインデックスｊ、ｑを用いる複素係数ｃ（ｉ，ｊ，ｑ）を含む。
【0126】
このように、統合モジュール７４１，７４２，・・・，７４Ｎによって生成される周期的なブロックｐ１１、ｐ１２、ｐ１３のそれぞれの長さは、統合モジュール７４０によって生成される周期的なブロックｐ１、ｐ２、ｐ３の長さに対応する。
【0127】
【0128】
この式において、Ｋは、平均化される考慮されたサブバンドｉの周期的なブロックの数を表し、ｋは、考慮される現在の周期的なブロックを表し、さらに、ｊは、周期的なブロック内の複素係数の位置である。
【0129】
【0130】
平均化された周期的なブロックは、周波数バンドおよび信号ごとに決定される。
【0131】
平均化された周期的なブロックを形成するこの効果が、図１５ａおよび図１５ｂに関して説明される。図１５ａおよび図１５ｂは、統合が透かし信号の求められている位相情報を得る際にどのように役立つかを説明する。
【0132】
いくつかのラウドスピーカを用いるときに、よく知られた現象、すなわちファントムイメージソースが起こる。このシナリオにおいて、放出されたサウンドは、それがラウドスピーカ間に位置するソースによって再生されたかのように知覚される。これは、到来方向の推定のための場合でもあり、その理由は、記録された透かし信号のオーディオ部分が、透かし部分に比例して倍増するからである。この問題のための解決策は、これからさらに詳細に説明される統合モジュール４４１，４４２，・・・，４４Ｎの使用である。
【0133】
【0134】
【0135】
ビット統合の後、異なるマイクロホン６１１，６１２，・・・，６１Ｎの受信された信号Ｓ1，Ｓ2，・・・，ＳNごとの、および、周波数バンドｉごとの統合された複素係数が、利用できる。
【0136】
しばらくの間、オーバーサンプリングを考慮せず、本発明が基づくいくつかの原理を説明する。この実施形態との関連で使用されるような位相変調は、いくつかの基本的な考えに基づく。それぞれのサンプリングされた複素係数が符号化されたビット位置に対応すると仮定すれば、現在のサンプルの位相値は、前のサンプルの位相値と比較される。例えば、２進位相シフトキーイング（ＢＰＳＫ）を考慮する。両方のサンプルの位相値が同一である場合、これは、第１の符号化されたビット値に対応し、例えば、符号化されたビット値は、１である。しかしながら、両方の位相値が例えば１８０度（または±π）だけ異なる場合、これは、第２の符号化されたビット値に対応し、例えば、符号化されたビット値は、−１である。このように、例えば、２進位相シフトキーイングを使用する位相変調のために、後のビット位置のサンプルは、同じ位相値または１８０度（±π）だけ異なる位相値を有することが必須である。したがって、位相変調された値を符号化するときに、変調は、後のビット位置に対応するサンプルの位相値が等しいかまたは符号化されたビット値に応じて１８０度だけ異なるように使用される。
【0137】
特定の透かし署名および特定の周波数バンドに関して、ラウドスピーカは、位相変調によって符号化されるビットシーケンスを送信する。すべてのオーディオレシーバ、例えばマイクロホンは、位相調整されたビットシーケンスを受信する。受信されたオーディオ信号Ｓ1，Ｓ2，・・・，ＳNの後のビット位置に対応するサンプルの位相差は、異なるマイクロホンのすべての信号のために（ほとんど）同じであるべきである。２つのマイクロホンが同時にオーディオ信号の同じ部分を受信する場合、絶対位相値も同一であるべきである。しかしながら、マイクロホンが間隔を離して置かれるので（それらがわずかにだけ間隔を離して置かれ得るにもかかわらず）、第１のマイクロホンは、例えば、第１のマイクロホンが第２のマイクロホンよりもラウドスピーカに近い場合、第２のマイクロホンよりもわずかに早くオーディオ信号の同じ部分を受信し得る。２つの受信された時間領域信号の時間におけるそのような差は、２つの受信された周波数領域信号、例えば時間周波数領域信号の位相における差をもたらす。したがって、２つのマイクロホンによって受信される２つの透かしを入れた信号の位相差は、２つのマイクロホンの位置に関連して透かしを入れた信号を放出したラウドスピーカの位置に関する情報を含む。
【0138】
４．７ 方向推定器７６０
【0139】
統合モジュール７４１，７４２，・・・，７４Ｎは、周波数バンドおよび信号ごとに決定される平均化された周期的なブロックを、すでに同期ヒット位置を受信している方向推定器７６０に送る。そして、方向推定器７６０は、平均化された周期的なブロックごとに同期ヒット位置によって示される入力データの部分において、到来方向の推定を実行する。
【0140】
以下において、システムが単一の透かしを送信する１つのラウドスピーカだけを含む状況に注目する。しかしながら、本発明は、複数の透かしが送信される場合において、等しく適用できる。この場合、１つの同期ヒット位置は、送信された透かしごとに提供され、そして、平均化された周期的なブロックは、同期ヒット位置に基づいてさらに透かしの長さに基づいて、異なるセグメントに分割される。そして、以下の概念は、透かし署名および平均化された周期的なブロックのそのセグメントごとに適用される。
【0141】
４．７．１ 正しくないオーバーサンプリング位置でのサンプルの廃棄
【0142】
最初のステップにおいて、方向推定器は、平均化された周期的なブロックに基づいてサンプル統合を実行する。そのオーバーサンプリング位置だけが、同期ヒット位置による正しいオーバーサンプリング位置として示されるビットごとに考慮される。他のすべてのオーバーサンプリング位置は、廃棄されさらにサンプル統合において考慮されない。
【0143】
４．７．２ −１ビットの反転
【0144】
そして、透かし署名は、第１の透かし署名の第１のビットから開始してビットごとに考慮される。平均化された周期的なブロックにおいて対応するサンプル値の位置は、同期ヒット位置によって示される。透かし署名のすべてのビットおよびそれらの対応するサンプル値が考慮される。変調スキームとしてＢＰＳＫを用いる実施形態において、１のビット値は、現在のおよび前のサンプルの等しい位相値によって示される一方で、−１のビット値は、現在のおよび前のサンプルの１８０度の位相差によって示される。これは、図１５ｃに示される。複素係数のサンプル値のシーケンスは、１５１０で表される。ビットシーケンス１５１５は、差動符号化が使用されると仮定する符号化されたビットを示す。同期モジュールは、これから、すべての複素係数が不変の複素係数をそのままにすることによってまたはその位相値を１８０度だけ変えることによっておおよそ同じ位相値を有するように、平均化された複素係数１５２０の処理されたシーケンスを生成する。複素係数の位相値が１８０度だけ変えられるかどうかの決定は、透かしの符号化されたビットシーケンスを評価することに基づいて決定される。
【0145】
例えば、透かし署名に基づいて、装置は、ビット値が所望の第１の位相値を有する複素係数を用いることによって符号化されているかどうか、または、ビット値が望まれていない第２の位相値を有する複素係数を用いることによって符号化されているかどうかを計算し得る。対応するサンプル値が望まれていない第２の位相値を有すると決定されている場合、この複素係数の位相値は、１８０度だけ変えられる。
【0146】
これによって、第１の絶対位相値を有するかまたは第１の位相値と約１８０度だけ異なる第２の絶対位相値を有する周波数バンドの複素係数を処理する前の間に、平均化された複素係数の処理されたシーケンスの特定の周波数バンドのための複素係数の絶対位相値は、特定のマイクロホンの特定の周波数領域信号に関するすべての複素係数について現在ほとんど同じである。
【0147】
４．７．３ サンプル統合
【0148】
サンプルの位相を調整した後に、すべての複素係数は、おおよそ同じ値を用いる位相値を有する。同期モジュール７５０は、これから、サンプルごとに基づいて統合を行う。考慮された透かし署名に関するすべての残りのサンプル値（正しいオーバーサンプリング位置を用いるサンプリング値）は、統合され、すなわち平均化され、例えば、平均化された複素係数１５３０を得るために、加えられさらに加えられたサンプルの数で分割される。
【0149】
２つの効果が得られる。第１の効果として、より安定な絶対位相値が得られる。異なるサンプルは、異なる位相値が正確に同じ絶対位相値でないがおおよそ同じ絶対位相値を有するように、チャンネル内の変動にさらされ得る。第２の効果として、平均化されたサンプル内のオーディオ信号の効果が最小化される一方で、透かし署名の効果が強調される。
【0150】
このように、異なるマイクロホン６１１，６１２，・・・，６１Ｎのための平均化された複素係数の１つごとにさらに周波数バンドｉごとに、（絶対）位相値を決定することができる。位相値は、平均化された位相値である。複素係数が複素数であるので、複素係数の絶対位相値は、複素係数の位相値（偏角）を決定することによって決定され得る。
【0151】
しかしながら、異なる周波数バンドの複素係数が図１５ｄに示されるように異なる位相値を有し得ることに留意すべきである。
【0152】
４．７．４ 方向決定
【0153】
決定された位相情報に基づいて、様々なタイプの方向情報が、他の決定概念に基づいて決定され得る。マイクロホンアレイの構成および入力信号間の位相差の使用に依存する方法、例えば方向オーディオ符号化（Ｄｉｒｅｃｔｉｏｎａｌ Ａｕｄｉｏ Ｃｏｄｉｎｇ（ＤｉｒＡＣ））または回転不変技術を介する信号パラメータの推定（Ｅｓｔｉｍａｔｉｏｎ ｏｆ Ｓｉｇｎａｌ Ｐａｒａｍｅｔｅｒｓ ｖｉａ Ｒｏｔａｔｉｏｎａｌ Ｉｎｖａｒｉａｎｃｅ Ｔｅｃｈｎｉｑｕｅｓ（ＥＳＰＲＩＴ））を用いることによって、到来方向の推定が得られる。
【0154】
ＤｉｒＡＣにおいて、音場は、Ｂ−フォーマットマイクロホン信号を用いることによって分析され、それは、全方向性信号ｗ（ｔ）およびデカルト座標系のｘ、ｙおよびｚ軸に対応する３つダイポール信号ｘ（ｔ）、ｙ（ｔ）、ｚ（ｔ）を含む。
【0155】
図１６は、それらが３つのマイクロホン対を形成するように、６つのマイクロホンのマイクロホン配置を示す。第１のマイクロホン対ｍｘ１、ｍｘ２は、デカルト座標系のｘ軸上に位置すると仮定される。第２のマイクロホン対ｍｙ１、ｍｙ２は、それがデカルト座標系のｙ軸上に位置すると仮定することができるように配置される。さらに、第３のマイクロホン対ｍｚ１、ｍｚ２は、それがデカルト座標系のｚ軸上に位置すると仮定することができるように配置される。
【0156】
【0157】
方位角の決定
【0158】
【0159】
【0160】
【0161】
【0162】
【0163】
【0164】
【0165】
【0166】
【0167】
【0168】
【0169】
【0170】
【0171】
到来方向ベクトルの他の決定
【0172】
実施形態において、到来方向ベクトルは、以下のように計算された位相値に基づいて決定される。
【0173】
上で説明したように、図１７に戻って、絶対位相値のための位相差Δνｘ、ΔνｙおよびΔνｚは、Δνｘ＝νｘ１−νｘ２、Δνｙ＝νｙ１−νｙ２、およびΔνｚ＝νｚ１−νｚ２を適用することによって計算され得る。
【0174】
実施形態において、マイクロホンｍｘ１およびｍｘ２間の距離ｄｘと、マイクロホンｍｙ１およびｍｙ２間の距離ｄｙと、マイクロホンｍｚ１およびｍｚ２間の距離ｄｚとが、等しいと仮定される。
【0175】
【0176】
【0177】
【0178】
到来方向ベクトルは、図１８ａ〜図１８ｄに関して説明される。より良好な説明のために、２次元のｘｙ平面における状況が説明される。マイクロホンｍｘ１およびｍｘ２間の距離ｄｘと、マイクロホンｍｙ１およびｍｙ２間の距離ｄｙとが、等しいと仮定される。しかしながら、与えられる説明も、３次元の場合に、さらに、マイクロホンの距離が等しくないが位相差ΔνｘおよびΔνｙが例えば距離係数を適用することによって調整されている状況に、適用される。
【0179】
到来方向ベクトルａ＝（Δνｘ，Δνｙ，Δνｚ）を考慮する。その成分Δνｘ、Δνｙ、Δνｚは、上述の実施形態によって得られるような位相差である。説明のために、ベクトルａ’＝（Δνｘ，Δνｙ）のｘおよびｙ成分だけを考慮する。
【0180】
図１８ａにおいて、２成分の到来方向ベクトルａ’＝（０，１）を考慮する。
【0181】
ベクトルΔνｘのｘ成分が０であり、すなわち、位相差が両方のマイクロホンｍｘ１およびｍｘ２によって受信される信号の絶対位相値に関して存在しない。このように、対応するオーディオ波は、同時に両方のマイクロホンｍｘ１およびｍｘ２をヒットし、さらに、サウンドソースが両方のマイクロホンｍｘ１およびｍｘ２から等間隔を離して置かれると仮定される。その結果、到来方向ベクトルａ’は、負でもなく正でもない。
【0182】
ベクトルΔνｙのｙ成分は、１である。Δνｙ＝νｙ１−νｙ２であるので、これは、絶対位相値νｙ１が絶対位相値νｙ２よりも大きく、ひいては、それぞれのオーディオ波がマイクロホンｍｙ２よりもマイクロホンｍｙ１に早く到着したことを示す。このように、到来方向ベクトルａ’は、ｙ軸の正の方向を示す。
【0183】
図１８ｂにおいて、２成分の到来方向ベクトルａ’＝（−１，０）が考慮される。
【0184】
ベクトルΔνｙのｙ成分が０であり、すなわち、位相差が両方のマイクロホンｍｙ１およびｍｙ２によって受信される信号の絶対位相値に関して存在しない。このように、対応するオーディオ波は、同時に両方のマイクロホンｍｙ１およびｍｙ２をヒットし、さらに、サウンドソースが両方のマイクロホンｍｙ１およびｍｙ２から等間隔を離して置かれると仮定される。その結果、到来方向ベクトルａ’は、負でもなく正でもない。
【0185】
ベクトルΔνｘのｘ成分は、−１である。Δνｘ＝νｘ１−νｘ２であるので、これは、絶対位相値νｘ２が絶対位相値νｘ１よりも大きく、ひいては、それぞれのオーディオ波がマイクロホンｍｘ１よりもマイクロホンｍｘ２に早く到着したことを示す。このように、到来方向ベクトルａ’は、ｙ軸の負の方向を示す。
【0186】
図１８ｃにおいて、２成分の到来方向ベクトルａ’＝（１，１）を考慮する。
【0187】
ベクトルΔνｘのｘ成分は、１である。Δνｘ＝νｘ１−νｘ２であるので、これは、絶対位相値νｘ１が絶対位相値νｘ２よりも大きく、ひいては、それぞれのオーディオ波がマイクロホンｍｘ２よりもマイクロホンｍｘ１に早く到着したことを示す。このように、到来方向ベクトルａ’は、ｘ軸の正の方向を示す。
【0188】
ベクトルΔνｙのｙ成分は、１である。Δνｙ＝νｙ１−νｙ２であるので、これは、絶対位相値νｙ１が絶対位相値νｙ２よりも大きく、ひいては、それぞれのオーディオ波がマイクロホンｍｙ２よりもマイクロホンｍｙ１に早く到着したことを示す。このように、到来方向ベクトルａ’は、ｙ軸の正の方向を示す。
【0189】
位相差ΔνｘおよびΔνｙが等しいので、さらに、対応するオーディオ波がｘ方向においてもｙｘ方向においても同じように速く伝搬すると仮定することができるので、到来方向ベクトルのｘ成分およびｙ成分は、等しい値を有する。
【0190】
図１８ｄにおいて、２成分の到来方向ベクトルａ’＝（２，１）が考慮される。
【0191】
ベクトルΔνｘのｙ成分は、２である。Δνｘ＝νｘ１−νｘ２であるので、これは、絶対位相値νｘ１が絶対位相値νｘ２よりも大きく、ひいては、それぞれのオーディオ波がマイクロホンｍｘ２よりもマイクロホンｍｘ１に早く到着したことを示す。このように、到来方向ベクトルａ’は、ｘ軸の正の方向を示す。
【0192】
ベクトルΔνｙのｙ成分は、１である。Δνｙ＝νｙ１−νｙ２であるので、これは、絶対位相値νｙ１が絶対位相値νｙ２よりも大きく、ひいては、それぞれのオーディオ波がマイクロホンｍｙ２よりもマイクロホンｍｙ１に早く到着したことを示す。このように、到来方向ベクトルａ’は、ｙ軸の正の方向を示す。
【0193】
位相差ΔνｘおよびΔνｙが等しいので、さらに、対応するオーディオ波がｙ方向においてよりもｘ方向において速く伝搬し、さらに、ｘ方向におけるその速度がｙ方向における速度の２倍であると仮定することができるので、ｘ成分は、到来方向ベクトルのｙ成分のサイズの２倍である。
【0194】
複数の周波数バンドに基づく到来方向ベクトルの決定
【0195】
【0196】
そして、平均到来方向ベクトルが決定され得る。平均化は、例えば、複数の到来方向ベクトルを加えることによって、さらに、得られたベクトルの成分を平均化される正規化された到来方向ベクトルの数で分割することによって、達成され得る。
【0197】
実施形態において、方位角および仰角は、方向オーディオ符号化（Ｄｉｒｅｃｔｉｏｎａｌ Ａｕｄｉｏ Ｃｏｄｉｎｇ（ＤｉｒＡＣ））との関連で使用される方法を用いて決定された到来方向ベクトルに基づいて計算され得る。
【0198】
複素数のレシーバに特有の情報を用いる到来方向ベクトルの他の推定
【0199】
さらなる実施形態において、考慮された周波数バンドｉのための考慮された透かし署名に関する複素数値を、方向オーディオ符号化（Ｄｉｒｅｃｔｉｏｎａｌ Ａｕｄｉｏ Ｃｏｄｉｎｇ（ＤｉｒＡＣ））技術を用いて到来方向を推定するために用いることができる。
【0200】
Δｐｘは、図１６からマイクロホンｍｘ１およびｍｘ２から得られる複素数値間の差を示す。同様に、ΔｐｙおよびΔｐｚは、ｙおよびｚ軸のために得られる。さらなるｐ０は、すべてのマイクロホンで得られる複素数値の平均である。
【0201】
【0202】
【0203】
記録ユニットの位置推定
【0204】
図１９は、２次元のシナリオにおいて位置推定を示す。そこで、ラウドスピーカの位置が知られていると仮定する。ラウドスピーカおよび記録マイクロホンのアレイが同じ平面に位置するとさらに仮定する。
【0205】
到来方向ベクトルは、上述の実施形態のうちの１つに従って、ラウドスピーカの１つごとに決定される。第１のラウドスピーカの到来方向ベクトルは、第１のラウドスピーカを示す。第２のラウドスピーカの到来方向ベクトルは、第２のラウドスピーカを示す。
【0206】
基本的に、到来方向ベクトルは、ラウドスピーカから音波の到来方向を示し、ベクトルの成分は、デカルト座標系に関して表され得る。しかしながら、実施形態において、座標系の軸は、マイクロホンの位置によって定義される。ｍｘ１およびｍｘ２の位置は、ｘ軸を定義し、さらに、ｍｙ１およびｍｙ２の位置は、到来方向ベクトルが参照する座標系のｙ軸を定義する。
【0207】
マイクロホンアレイの方向が知られている場合、さらに、２つのラウドスピーカの（絶対）位置が知られている場合、２つの到来方向ベクトルは、マイクロホンアレイの位置を定義するために２次元の場合において十分である。これは、図１９に示される。
【0208】
そのような実施形態において、位置推定のための装置は、透かし署名を含む音波を出力するラウドスピーカごとに到来方向ベクトルを計算するように構成される。２次元の平面において第１の線が計算され、それは、第１のラウドスピーカの到来方向ベクトルと平行であり、さらに、それは、第１のラウドスピーカの位置を横切る。さらに、２次元の平面において第２の線が計算され、それは、第２のラウドスピーカの到来方向ベクトルと平行であり、さらに、それは、第２のラウドスピーカの位置を横切る。そして、２次元の平面において第１および第２の線の交点が計算され、交点は、マイクロホンアレイの位置を決定する。
【0209】
さらなる実施形態において、述べられた概念が環境において適用され、マイクロホンアレイおよびラウドスピーカは、２次元の平面に位置せず、３次元の到来方向ベクトル（３つの成分を用いる到来方向ベクトル）を適用する。そこで、ラウドスピーカの位置が知られていると仮定される。装置は、決定された到来方向ベクトルと平行する線を計算し、計算された線は、それらの到来方向ベクトルのラウドスピーカのラウドスピーカ位置を横切る。すべての計算された線が互いに交差する点が、マイクロホンアレイの決定された位置である。
【0210】
説明のために、２次元の場合に戻る。マイクロホンアレイの方向が知られていない場合、２つのラウドスピーカの２つの到来方向ベクトルは、マイクロホンアレイの位置を決定するために十分でない。そのようなシナリオにおいて、第１および第２の到来方向ベクトル間の角度αを計算することができるが、マイクロホンアレイの方向ひいてはマイクロホンアレイによって定義される座標系の方向が知られていないので、マイクロホンアレイの位置は、（例えば第２の座標系を参照して表される）ラウドスピーカの位置が知られていた場合であっても、一義的に定義することができない。これは、図２０ａに示される。
【0211】
しかしながら、透かし署名を含む第３のオーディオ波を出力する第３のラウドスピーカを使用することによって、曖昧さを解決することができる。これは、図２０ｂに関して説明される。少なくとも３つのラウドスピーカ（Ｍ≧３）の到来方向が推定される場合、マイクロホンアレイの空間位置も、決定することができる。図２１は、対応する位置推定器を示す。３つのラウドスピーカを用いるときに、ラウドスピーカおよび記録ユニットが共通の平面にあると仮定される。しかしながら、ラウドスピーカの空間位置は、レシーバで知られなければならない。この情報に依存して、位置推定器８００において連立非線形方程式を解くことによって記録位置を得ることが可能である。
【0212】
図２０ｂの実施形態において、位置推定のための装置は、第１のラウドスピーカの第１の到来方向ベクトル、第２のラウドスピーカの第２の到来方向ベクトルおよび第３のラウドスピーカの第３の到来方向ベクトルを計算する。そして、第１および第２の到来方向ベクトル間の第１の角度αと、第２および第３の到来方向ベクトル間の第２の角度δとが、計算され得る。それから、決定推定のための装置は、３つの線のそれぞれがラウドスピーカ位置を横切り、さらに、決定された点が互いに決定された角度関係を有するように、２次元の平面において点を決定する。すなわち、第１のラウドスピーカ位置を横切る第１の線および第２のラウドスピーカ位置を横切る第２の線は、それらの交差角度が第１の角度に等しいように、決定された点において互いに交差する。第２のラウドスピーカ位置を横切る第２の線および第３のラウドスピーカ位置を横切る第３の線は、それらの交差角度が第２の角度に等しいように、決定された点において互いに交差する。決定された点は、マイクロホンアレイの位置である。
【0213】
さらなる実施形態において、位置推定器は、その方向が３次元の場合のために、すなわちラウドスピーカおよびマイクロホンアレイのすべてが２次元の平面において位置しない立体配置のために、知られていないマイクロホンアレイの位置を決定する。決定は、３次元の到来方向ベクトル、すなわち３つの成分を有する到来方向ベクトルを使用することによって、上述の概念に基づいて達成される。
【0214】
図２２は、実施形態による空間位置推定のための装置を示す。空間位置推定のための装置は、上述の実施形態の１つによる方向情報を提供するための装置１００を含み、それは、受信された透かしを入れたオーディオ信号ｒｘ１、ｒｘ２を処理する。さらに、空間位置推定のための装置は、空間位置推定のための装置の位置を推定するための位置推定器３００を含む。位置推定器は、方向情報を提供するための装置によって提供される方向情報に基づいて空間位置推定のための装置の位置を推定するように構成される。
【0215】
いくつかの態様が装置との関連で記載されているにもかかわらず、これらの態様は、対応する方法の説明も表すことが明らかであり、ブロックまたは装置は、方法ステップまたは方法ステップの特徴に対応する。同様に、方法ステップとの関連で記載されている態様は、対応するブロック若しくはアイテムまたは対応する装置の特徴の説明も表す。
【0216】
本発明の分解された信号は、デジタル記憶媒体に保存することができ、または、例えば無線伝送媒体や例えばインターネットなどの有線伝送媒体などの伝送媒体で伝送することができる。
【0217】
特定の実施要件に応じて、本発明の実施形態は、ハードウェアにおいてまたはソフトウェアにおいて実施することができる。実施は、それぞれの方法が実行されるように、プログラム可能なコンピュータシステムと協働する（または協働することができる）電子的に可読の制御信号が格納される、デジタル記憶媒体、例えばフロッピー（登録商標）ディスク、ＤＶＤ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭまたはＦＬＡＳＨメモリを用いて実行することができる。
【0218】
本発明によるいくつかの実施形態は、ここに記載される方法のうちの１つが実行されるように、プログラム可能なコンピュータシステムと協働することができる電子的に可読の制御信号を有する一時的でないデータキャリアを含む。
【0219】
一般的に、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実施することができ、そのプログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときに、それらの方法のうちの１つを実行するために働く。プログラムコードは、例えば、機械可読のキャリアに格納されてもよい。
【0220】
他の実施形態は、機械可読のキャリアに格納される、ここに記載される方法のうちの１つを実行するためのコンピュータプログラムを含む。
【0221】
したがって、換言すれば、本発明の方法の実施形態は、コンピュータプログラムがコンピュータ上で実行されるときに、ここに記載される方法のうちの１つを実行するためのプログラムコードを有するコンピュータプログラムである。
【0222】
したがって、本発明の方法のさらなる実施形態は、それに記録される、ここに記載される方法のうちの１つを実行するためのコンピュータプログラムを含むデータキャリア（またはデジタル記憶媒体またはコンピュータ可読の媒体）である。
【0223】
したがって、本発明の方法のさらなる実施形態は、ここに記載される方法のうちの１つを実行するためのコンピュータプログラムを表すデータストリームまたは一連の信号である。データストリームまたは一連の信号は、例えば、データ通信接続を介して、例えばインターネットを介して、転送されるように構成されてもよい。
【0224】
さらなる実施形態は、ここに記載される方法のうちの１つを実行するように構成されまたは適している処理手段、例えばコンピュータまたはプログラム可能な論理デバイスを含む。
【0225】
さらなる実施形態は、ここに記載される方法のうちの１つを実行するためのコンピュータプログラムがインストールされているコンピュータを含む。
【0226】
いくつかの実施形態において、プログラム可能な論理デバイス（例えばフィールドプログラム可能なゲートアレイ）は、ここに記載される方法の機能のいくらかまたはすべてを実行するために用いられてもよい。いくつかの実施形態において、フィールドプログラム可能なゲートアレイは、ここに記載される方法のうちの１つを実行するために、マイクロプロセッサと協働してもよい。一般的に、その方法は、好ましくは、いかなるハードウェア装置によっても実行される。
【0227】
上述の実施形態は、本発明の原理のために単に例示するだけである。ここに記載される構成および詳細の修正および変更が他の当業者にとって明らかであるものと理解される。したがって、本発明は、特許請求の範囲によってだけ制限され、ここに実施形態の記述および説明として示される具体的な詳細によって制限されないと意図される。